动手学深度学习v2

课程链接：https://courses.d2l.ai/zh-v2/

优化问题

• 一般形式：minimize f(x) subject to x belongs to C

• 全局最小 - 局部最小

• 凸集

• 凸函数

• 凸优化问题：f 凸函数，C 凸集，则局部最小便是全局最小

• 梯度下降：求多个样本的平均梯度

• 随机梯度下降：随机选取样本求梯度

• 小批量随机梯度下降 sgd：采样一个随机子集求梯度

• 冲量法：

• Adam：对学习率不敏感

t 比较小时进行修正

t 较大时同样进行修正