深度学习原理与应用
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

2.2 微积分

2.2.1 微分

1. 切线

如图2-1所示,如果方程y=f(x)的图像是曲线C,求曲线C在点P(a, f(a))的切线。

图2-1 函数的切线

考虑点P的邻近点Q(x, f(x)), xa,计算直线PQ的斜率:

通过让x趋近a,使得Q沿曲线C趋近P。如果mPQ接近一个数值m,则经过点P的切线t的斜率为m

由此,曲线Cy=f(x)在点P(a, f(a))的切线是通过点P的斜率为m的直线t

2. 导数

函数f(x)的导数记为f′(x),定义为:

导数的运算法则

如果函数f(x),(x)可导,则:

复合函数导数的链式法则

如果函数y=f(u),u=g(x)都是可导函数,则:

高阶导数

如果函数f(x)的导数f′(x)仍然可以求导,则称这个导数是函数f(x)的二阶导数,记为:

推广到n阶导数,记法为:

偏导数

如果f(x, y)是一个二元函数,其偏导数为分别对两个变量求导数:

偏导数的几何解释

如图2-2所示,方程z=f(x, y)为曲面S,如果f(x, y)=c,表示点P(a, b, c)位于曲面S上。固定y=b,得到垂直平面y=b与曲面S的相交曲线C1,同样可以得到垂直平面x=a与曲面S的相交曲线C2C1C2都经过点P(a, b, c)。

图2-2 偏导数的几何意义

曲线C1是函数g(x)=f(x, b)的图像,因此,它在P点的切线T1的斜率为g′(a)=fx(a, b),曲线C2是函数G(y)=f(a, y)的图像,因此,它在P点的切线T2的斜率为G′(b)=fy(a, b)。

因此,偏导数可以几何解释为,在点P(a, b, c)处,fx(a, b)是曲线C1的切线T1的斜率,fy(a, b)是曲线C2的切线T2的斜率。

高阶偏导数

如果二元函数f(x, y)的偏导数fx(x, x)、fy(x, y)仍然可导,则它们的偏导数称为f(x, y)的二阶偏导数,记作:

注意,偏导数与求偏导数的先后次序无关,即有:

类似可以得到3阶、4阶,甚至n阶偏导数。

偏导数的链式法则

如果函数u=u(x, y), v=v(x, y)在点(x, y)处可偏导,复合函数f(u, v)在点(u, v)处可偏导,那么有:

方向导数与梯度

函数f(x, y)在点(x0, y0),沿着单位向量的方向导数为:

如果f(x, y)是x, y的可导函数,那么,f(x, y)在单位向量方向上的方向导数为:

Duf(x, y)=fx(x, y)a+fy(x, y)b

如果f(x, y)是x, y的可导函数,f(x, y)的梯度是一个向量函数,定义为:

因此有:

3. 单变量函数的极值

函数有极值的必要条件:如果函数f(x)在x=c处有局部极大值或极小值,而且f′(c)存在,那么,必有

f′(c)=0

注意,f′(x)=0的点称为驻点,驻点不一定是极值点。

函数的单调性判别定理:

① 如果在一个区间内有:f′(x)>0,那么,函数f(x)在该区间内是上升函数;

② 如果在一个区间内有:f′(x)<0,那么,函数f(x)在该区间内是下降函数。

函数的凹凸性判别定理:

① 如果在一个区间内有:f′′(x)>0,那么,函数f(x)在该区间内的曲线是下凹的;

② 如果在一个区间内有:f′′(x)<0,那么,函数f(x)在该区间内的曲线是上凸的。

所谓曲线下凹,是指曲线上的每一条切线位于曲线下方,曲线上凸是指曲线上的每一条切线位于曲线上方。

函数极值判别定理:

如果f′′(x)在点c附近连续,那么:

① 如果f′(c)=0,f′′(c)>0,那么,函数f(x)在x=c处有局部极小值;

② 如果f′(c)=0,f′′(x)<0,那么,函数f(x)在x=c处有局部极大值。

4. 多变量函数的极值

函数有极值的必要条件:如果函数f(x, y)在点(a, b)处有局部极大值或极小值,而且f(x, y)的一阶偏导数存在,那么,必有

fx(a, b)=0, fy(a, b)=0

函数极值判别定理:

如果f′′(x)在点(a, b)的某个邻域连续,而且,fx(a, b)=0, fy(a, b)=0,令

D=D(a, b)=fxx(a, b)fyy(a, b)−[fxy(a, b)]2

① 如果D>0,fxx(a, b)>0,那么,f(a, b)是函数的局部极小值;

② 如果D>0,fxx(a, b)<0,那么,f(a, b)是函数的局部极大值;

③ 如果D<0,那么,f(a, b)不是极值,点(a, b)称为函数的鞍点。

2.2.2 积分

积分分为定积分和不定积分两种。函数f(x)的不定积分可以写为:

F(x)=∫f(x)dx

其中,F(x)称为f(x)的原函数或反导函数,dx表示积分变量为x。当f(x)是F(x)的导数时,F(x)是f(x)的不定积分。根据导数的性质,一个函数f(x)的不定积分是不唯一的,若F(x)是f(x)的不定积分,F(x)+C也是f(x)的不定积分,其中C为一个常数。

如图2-3所示,一元正实值函数的定积分可以理解为在坐标平面上,由函数曲线、定积分区间直线和坐标轴围成的曲边梯形的面积。

图2-3 定积分的几何意义

定积分比较严格的定义是由黎曼(Riemann)给出的:

如果函数f(x)定义在区间axb内,将区间[ab]划分为n个宽度为的子区间,设这些子区间的端点为x0(=a), x1, x2, …, xn(=b),在这n个子区间中,每个子区间任意选取一个样本点,得到n个样本点:位于第i子区间中,那么函数f(x)从ab的定积分是:

n足够大时,上述极限值与样本点的选取无关。