1
首先上一个定理：
定理
在最优化中，包括现在的机器学习和深度学习最后迭代需要更新的方向，都应该是往沿函数值下降的方向移动，那么有了上面的定理之后，我们只需要判断一下，走的方向是否和当前点梯度方向的内积小于0（也就是夹角大于90度）。
下面不会严格证明，只给出直观理解。
2
我们这边举出能够可视化的二维进行直观理解。
而此时对于y=x^2俩说，自变量只有x一个，能走的方向只有两个，一个是x轴正方向，一个是x轴负方向，那么我们下面来看一下，这两个方向移动之后，函数值的升降情况：
我们通过上图可以看到，红色箭头代表的一个移动方向，很容易看到它与梯度方向的夹角是大于90度，并且局部函数值是在下降，而绿色箭头代表着另一个方向，x轴正方向，很明显看到它与梯度的方向夹角是小于90度，并且从图中可以看到，局部函数值的变化是上升。
所以通过上图可以看出，直观上可以看出定理是正确的。
其中三维的例子完全与上面类似，只是这个时候,y=f(x1,x2),任意一点的移动方向已经变为二维平面上的任意一个方向了。但是图示和原理和上面完全一致，高维空间也是如此。
希望能给大家一点直观感觉。
