学习率

学习率是深度学习模型训练中最为关键的超参数之一。它控制着模型参数在每次迭代中更新的步长大小。一个恰当的学习率能够引导模型高效、稳定地收敛至性能优良的最优解；而一个设置不当的学习率则可能导致训练过程陷入困境。 具体而言，学习率过大，会导致参数更新步伐过大，可能越过最优解，甚至在最优解附近震荡，无法收敛；学习率过小，则会导致参数更新缓慢，收敛过程耗时极长，甚至可…