正则动量是什么意思?

正则动量是一种优化技术，常用于深度学习训练中。它能帮助模型更快收敛，减少震荡。通过引入动量项，优化过程会累积之前的梯度方向，加速参数更新。比如，在训练神经网络时，正则动量能让模型像滚雪球一样，越跑越快。

正则动量的作用

正则动量能避免优化陷入局部最小值，提升训练稳定性。它相当于给参数更新加了“惯性”，让方向更平滑。例如，当梯度方向频繁变化时，动量会抑制抖动，保持前进趋势。这种方法在大型模型训练中效果显著，能缩短训练时间。