深度学习LeeDL_Tutorial_v.1.0.2

我们在优化的时候，怎样将梯度下降做得更好?首先，要理解为什么优化会失败，我们在 做优化的时候经常会发现，随着参数不断更新，训练的损失不会再下降， 但是我们对这个损失 仍然不满意。把深层网络(deep network)跟线性模型(linear model)和浅层网络(shallow network)做比较，可以发现深层网络没有做得更好——深层网络没有发挥出它完整的力量， 所以优化是有问题的. 但有时候，模型一开始就训练不起来，不管我们怎么更新参数，损失都 降不下去。