Jacobian矩阵和Hessian矩阵的作用是什么？

王飞扬

作者：浮生六记
链接：https://www.zhihu.com/question/271654098/answer/2198273249
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

1.定义和几何性质

Jacobian矩阵： $f:R^n\rightarrow R^m$ : $J_{i,j} = \frac{\partial}{\partial{x_j}}f(x)_i$

Hessian矩阵： $f: R^n\rightarrow R$ : $\frac{{\partial}^2}{\partial{x_i}\partial{x_j}}f$

Jacobian是一阶导数，告诉我们函数如何变化，如果f是标量的话，Jacobian就是一个矢量，指向f增大最快的方向。Jacobian为零的点叫临界点，可能是最大、最小或者鞍点。

f在特定方向e的一阶导数为 $e*J$

Hessian是二阶导数，相当于曲率，告诉我们函数的凹凸性质，如下图所示：

从左到右分别是凹、平、凸，当一个点的Jacobian为0时，可以通过Hessian判断这个点为极大、极小、鞍点。

如果f二阶偏导连续，那么Hessian是对称的，实对称的情况下Hessian可以进行特征值分解，分解为：

$H=Q\Lambda Q^T$ （参见如何理解矩阵特征值？）

f在特定方向e的二阶导数为 $e^THe$ 。由此我们可以知道在H的特征向量方向的截面的曲率相对应的，就是这个特征向量对应的特征值。如果某个临界点（Jacobian为0的点）处H为正定的话，沿着任何特征值方向这个函数都是凸的，这个点一定是最小值，如果H为负定的话这个局部是凹的这个点一定是最大值，H有为零的特征值或者有正有负的话，无法判断。

2. 利用Jacobian和Hessian进行梯度下降

此时我们考虑 f 是一个值为标量的函数，那么 J 为一个一维向量，H为一个二维矩阵。

最普通版的梯度下降：

$x'=x-\epsilon J$

加强版：对 f(x) 进行二阶泰勒展开：

$f(x)\approx f(x^0)+(x-x^0)^TJ+\frac{1}{2}(x-x^0)^TH(x-x^0)$

使用学习率 $\epsilon$ ： $x'=x-\epsilon J$ ，有：

$f(x)- f(x^0)\approx\epsilon J^TJ+\frac{1}{2}(\epsilon)^2J^THJ$

显然，如果无脑梯度下降， $\frac{1}{2}(\epsilon)^2J^THJ$ 可能很大，使得这一步更新之后函数反而大了。求一下 $\epsilon J^TJ+\frac{1}{2}(\epsilon)^2J^THJ$ 这个二次函数的最小值，得到比较合适的更新率：

$\epsilon^*=\frac{J^TJ}{J^THJ}$

但是上面还是限制在沿着梯度方向迭代的思路里面，格局小了，Hessian矩阵的条件数（最大本征值和最小本征值的比值的绝对值）很大的时候，沿着不同方向的变化率各向异性很大，梯度的反方向不一一定是长期看来变化最快的方向。

你看，下面这个图里头是沿着梯度方向优化的路线，跌跌撞撞不如直指圆心：

那咋办？我们直接进行一个强制的二阶泰勒级数展开，暴力认为就是一个二阶函数，直接调到二阶函数的极值点去：

$f(x)\approx f(x^0)+(x-x^0)^TJ+\frac{1}{2}(x-x^0)^TH(x-x^0)$

极值点为： $x^*=x^0-H^{-1}J^T$

这个就是牛顿法。

（关于梯度下降，我在另一个问题里有一个回答：如何理解随机梯度下降（stochastic gradient descent，SGD）？

关于机器学习和深度学习，我在另一个另一个问题里有一个回答：深度学习与机器学习的关系是什么？）