深度学习笔记——归一化、正则化 大家好，这里是Goodnote（好评笔记）。本笔记介绍深度学习中常见的归一化、正则化。 文章目录 * 各种优化的归一化介绍（本质上进行标准化） * 普通归一化过程 * 1. 确定归一化范围 * 2. 计算均值和方差 * 3. 标准化 * 4. 缩放和平移 * 普通归一化分类 * 1. 批归一化（Batch Normalization, BN） * 原理 * 优点 * 缺点 * 使用场景 * 2. 层归一化（Layer Normalization, LN） * 原理 * 优点 * 缺点 * 使用场景 * 3. 实例归一化（Instance Normalization, IN）

大家好，这里是Goodnote（好评笔记）。本笔记介绍深度学习中常见的优化算法、激活函数。 文章目录 * 优化算法 * 方法 * 梯度下降 (Gradient Descent, GD) * 动量法 (Momentum) * AdaGrad (Adaptive Gradient Algorithm) * RMSProp (Root Mean Square Propagation) * Adam (Adaptive Moment Estimation) * AdamW 优化算法 * 总结 * 经验和实践建议 * 使用 Adam 进行初始训练，之后用 SGD 进行微调 * 冷启动策略（Cold Start Strategy） * 大批量与小批量交替训练 * 学习率逐步衰减（Learning Rate Decay） * 总结 * 主要考虑的参数