1、梯度向量：定义：目标函数f为单变量，是关于自变量向量x=(x1,x2,…,xn)T的函数，单变量函数f对向量x求梯度，结果为一个与向量x同维度的向量，称之为梯度向量；
3、Hessian矩阵：实际上，Hessian矩阵是梯度向量g(x)对自变量x的Jacobian矩阵：
5、海森矩阵在牛顿法中的应用牛顿法主要应用在两个方面：求方程的根; 最优化；1)求解方程：并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解秀吁碹歌困难；利用牛顿法, 可以迭代求解；原理：利用泰勒公式, 在x0处一阶展开,即f(x)=f(x0)+(x-x0)f’(x0);求解方程f(x)=0,即f(x0)+(x-x0)f’(x0)=0, 求解x=x1=x0-f(x0)/f’(x0),因为利用泰勒公式的一阶展开, f(x)=f(x0)+(x-x0)f’(x0)处是近似相等;f(x1)的值比f(x0)更接近f(x)=0,于是迭代求解;推出xn+1=xn–f(xn)/f’(xn)通过迭代, 这个式子必然在f(x^∗)=0的时候收敛;整个过程如下图：
