Goodnote - 李歘歘的朋友圈

李歘歘的朋友圈

Goodnote

公众号「Goodnote」系列原创文章

Goodnote【算法面试必备】导航页

Goodnote Featured

Goodnote【算法面试必备】导航页

🎉🎉 欢迎各位朋友来到Goodnote（好评笔记）。 👯 Goodnote（好评笔记），我们的初衷和这个名字一样，产出好评连连的笔记。 🔭 这里专注于分享人工智能知识点，包括但不限于人工智能、大模型、机器学习基础、深度学习、AIGC、多模态等内容，如果你是初学者，或者正在准备面试，需要这方面的准备，那么恭喜你，来对了！ 🌱 本系列涵盖人工智能领域面试/学习过程中的众多相关知识点。

多模态论文

多模态论文笔记——CLIP

大家好，这里是Goodnote（好评笔记）。本文详细介绍这几年AIGC火爆的隐藏功臣，多模态模型：CLIP，通过对比学习进行图像-文本联合学习。文章目录 * CLIP（Contrastive Language-Image Pre-training） * 1. CLIP 的核心思想 * 2. CLIP 的模型架构 * 2.1 图像编码器 * 2.2 文本编码器 * 2.3 对比学习机制 * 2.4 对比损失（Contrastive Loss） * InfoNCE * 图像编码器损失函数 * 文本编码器损失函数 * 总损失函数 * 2.5 共享嵌入空间 * 3. CLIP 的训练方式 * 4. CLIP 的推理过程 * 4.1 图像分类 * 4.2

多模态论文笔记——ViT、ViLT

多模态论文

多模态论文笔记——ViT、ViLT

大家好，这里是Goodnote（好评笔记）。本文详细介绍Transformer架构在计算机视觉方面的成功模型，将Transformer引入图像领域：ViT、ViLT。文章目录 * ViT * 1. ViT的基本概念 * 2. ViT的结构与工作流程 * 1. 图像分块（Image Patch Tokenization） * 2. 位置编码（Positional Encoding） * 3. Transformer 编码器（Transformer Encoder） * 4. 分类标记（Classification Token） * 3. ViT的关键组件 * 1. 图像分块（Patch Embedding） * 2. 多头自注意力机制（Multi-Head Self-Attention） * 3. 位置编码（Positional Encoding） * 4. ViT与CNN的对比 * 5. V

深度学习笔记——归一化、正则化

深度学习笔记——归一化、正则化

深度学习笔记——归一化、正则化大家好，这里是Goodnote（好评笔记）。本笔记介绍深度学习中常见的归一化、正则化。文章目录 * 各种优化的归一化介绍（本质上进行标准化） * 普通归一化过程 * 1. 确定归一化范围 * 2. 计算均值和方差 * 3. 标准化 * 4. 缩放和平移 * 普通归一化分类 * 1. 批归一化（Batch Normalization, BN） * 原理 * 优点 * 缺点 * 使用场景 * 2. 层归一化（Layer Normalization, LN） * 原理 * 优点 * 缺点 * 使用场景 * 3. 实例归一化（Instance Normalization, IN）

深度学习笔记——优化算法、激活函数

深度学习笔记——优化算法、激活函数

大家好，这里是Goodnote（好评笔记）。本笔记介绍深度学习中常见的优化算法、激活函数。文章目录 * 优化算法 * 方法 * 梯度下降 (Gradient Descent, GD) * 动量法 (Momentum) * AdaGrad (Adaptive Gradient Algorithm) * RMSProp (Root Mean Square Propagation) * Adam (Adaptive Moment Estimation) * AdamW 优化算法 * 总结 * 经验和实践建议 * 使用 Adam 进行初始训练，之后用 SGD 进行微调 * 冷启动策略（Cold Start Strategy） * 大批量与小批量交替训练 * 学习率逐步衰减（Learning Rate Decay） * 总结 * 主要考虑的参数

机器学习笔记——特征工程、正则化、强化学习

机器学习笔记——特征工程、正则化、强化学习

大家好，这里是Goodnote（好评笔记）。本笔记介绍机器学习中常见的特征工程方法、正则化方法和简要介绍强化学习。文章目录 * 特征工程（Fzeature Engineering） * 1. 特征提取（Feature Extraction） * 手工特征提取（Manual Feature Extraction）： * 自动特征提取（Automated Feature Extraction）： * 2. 特征选择（Feature Selection） * 1. 过滤法（Filter Methods） * 2. 包裹法（Wrapper Methods） * 3. 嵌入法（Embedded Methods） * 4. 其他方法 * 5. 选择方法的应用场景 * 总结 * 3. 特征构造（Feature Construction） * 4. 特征缩放 * 4.1

机器学习笔记——损失函数、代价函数和KL散度

机器学习笔记——损失函数、代价函数和KL散度

大家好，这里是Goodnote（好评笔记）。本笔记介绍机器学习中常见的损失函数和代价函数，各函数的使用场景。文章目录 * 损失函数 * 一、回归问题中的损失函数 * 1. 均方误差（Mean Squared Error, MSE） * 2. 平均绝对误差（Mean Absolute Error, MAE） * 3. 对数余弦损失（Log-Cosh Loss） * 4. Huber 损失（Huber Loss） * 5. 平均平方对数误差（Mean Squared Logarithmic Error, MSLE） * 总结 * 二、分类问题中的损失函数 * 1. 0-1 损失（0-1 Loss） * 2. 对数损失（Log Loss）或交叉熵损失（