图像处理中的数学修炼(第2版)
上QQ阅读APP看书,第一时间看更新

1.2 微分中值定理

通常所说的微分中值定理一般包括三个,分别是罗尔(Rolle)中值定理、拉格朗日(Lagrange)中值定理和柯西(Cauchy)中值定理。在这三个中值定理的基础之上,可以证明泰勒(Taylor)公式。泰勒公式一方面可以用来证明重要的欧拉(Euler)公式,另一方面在图像处理中也常被用到。

1.2.1 罗尔中值定理

定理 若函数fx)满足条件:fx)在闭区间[ab]上连续;fx)在开区间(ab)内可导;并且在区间端点处的函数值相等,即fa)=fb),则在(ab)内至少存在一点ξ,使得f′ξ)=0。

证明 因为fx)在[ab]上连续,所以有最大值和最小值,分别用Mm表示,分两种情况讨论。

(1)若m=M,则fx)在[ab]上必为常数,从而结论显然成立;

(2)若mM,因fa)=fb),使得最大值M与最小值m不可能同时在端点处取得,即至少有一个在(ab)内某点ξ处取得,从而ξfx)的极值点。因为fx)在(ab)内处处可导,故由费马定理推知f′ξ)=0。

定理得证。

罗尔定理的几何解释:在每一点都可导的一段连续曲线上,如果曲线的两端点高度相等,则曲线上至少存在一点,由该点处引出的切线与x轴平行,如图1-4所示。

图1-4 罗尔中值定理的几何解释

1.2.2 拉格朗日中值定理

定理 若函数fx)满足条件:fx)在闭区间[ab]上连续;fx)在开区间(ab)内可导;则在(ab)内至少存在一点ξ,使得

证明 构造辅助函数

显然Fx)在闭区间[ab]上连续,在开区间(ab)上可导。

x=ax=b分别代入上述函数,可得

化简后可知Fa)=Fb)。于是,Fx)满足罗尔中值定理的条件,则至少存在一点ξ∈(ab),使得

因此,

可见至少存在一点ξ,使得

定理得证。

设函数fx)在区间[ab]上符合拉格朗日中值定理的条件,x为区间[ab]内一点,xx为该区间内另外一点(Δx>0或Δx<0),则根据拉格朗日中值定理,在区间[xxx](Δx>0)或在区间[xxx](Δx<0)上有

fx+Δx-fx=f′x+θΔx)·Δx, 0<θ<1

由于0<θ<1,所以x+θΔx就是在xxx之间的一个数。如果把fx)记作y,则上式又可以记作

Δy=f′x+θΔx)·Δx, 0<θ<1

图1-5 拉格朗日中值定理的几何解释

这个定理就称为有限增量定理,上式则被称为有限增量公式。

拉格朗日中值定理的几何解释是:在每一点都可导的一段连续曲线上,至少存在一点,由该点处引出的切线平行于曲线两端点的连线,如图1-5所示。拉格朗日中值定理显然是罗尔中值定理的推广,而罗尔中值定理则是拉格朗日中值定理的一个特例。

1.2.3 柯西中值定理

定理 设函数fx)与gx)满足条件:在闭区间[ab]上连续;在开区间(ab)可导;对于任意x∈(ab),g′x)≠0,在(ab)内至少存在一点ξ,使得

证明 首先注意到gb)-ga)≠0,因为gb)-ga)=g′η)(b-a),这一点从拉格朗日中值定理可知,另外aηb,即b-a≠0,根据假定g′η)≠0,所以得出gb)-ga)≠0。

如图1-6所示,设曲线由如下参数方程表示

做有向线段NM,并用函数φx)表示向线段NM的值。点M的纵坐标为Y=fx),点N的纵坐标为

于是,

容易验证,这个辅助函数φx)符合罗尔中值定理的条件φa)=φb)=0;φx)在闭区间[ab]上连续,且在开区间(ab)上可导。

根据罗尔中值定理,可知在(ab)内必定有一点ξ,使得φ′ξ)=0,即

由此得

定理得证。

在柯西中值定理中,若取gx)=x时,则其结论形式与拉格朗日中值定理的结论形式相同。因此,拉格朗日中值定理是柯西中值定理的一个特例;反之,柯西中值定理可看作是拉格朗日中值定理的推广。

柯西中值定理的几何解释:满足定理条件的由fx)与gx)所确定的曲线上至少有一点,由该点处引出的切线,平行于两端点的连线,如图1-6所示。

图1-6 柯西中值定理的几何解释

1.2.4 泰勒公式

高等数学的研究对象是函数,有时一个复杂的函数求其在某一点时的函数值并不容易。例如,对于fx)=ex这个函数,当x=0.1时,其函数值显然是不容易求得的。这时应该比较容易想到去寻找一个简单的表达式近似等于ex这样函数值,这样就可以近似求得其在某一点的函数值了。例如,当x比较小时可以用1+x近似表示ex这个表达式,这样函数值也就很容易近似求得。

x为函数fx)在定义域上的一点,x0为定义域上的另一点,x0=xx(Δx>0或Δx<0)。函数fx)在点x0处可导时,fx)在点x0处也可微,其微分为dy=f′x0)Δx,而dy是增量Δy的近似表达式,当且仅当Δx趋近于零时,用dy近似替代Δy时所产生的误差也趋近于零。

Δy=fx-fx0=f′x0)(x-x0+ox-x0

Δy=fx-fx0)≈dy=f′x0)(x-x0

即有fx)≈fx0)+f′x0)(x-x0),这样函数fx)就被近似地表示成一个关于x的一次多项式,将这个关于x的一次多项式记作P1x)。显然,用P1x)近似表示fx)存在两点不足:首先,这种表示的精度仍然不够高(它仅仅是比Δx高阶的一个无穷小);其次,这种方法难以具体估计误差的范围。

若干个单项式的和组成的式子叫做多项式。多项式中每个单项式叫做多项式的项,这些单项式中的最高次数,就是这个多项式的次数。多项式有许多优良性质,它是简单、平滑的连续函数,且处处可导。可以很容易想到通过提高多项式次数的方法提高函数近似表达式的精度。因此,现在问题就演化成要用一个多项式Pnx)=a0+a1x-x0)+a2x-x02+…+anx-x0nx0附近近似表示函数fx),而且要求提高精度,并且能够给出误差的表达式。

从前面的分析中可知,当Δx→0,即x0x时,P1x)就会趋近于fx);而当x=x0时,二者就会相等,即有P1x0)=fx0)。换言之,用P1x)表示fx),而在x=x0这一点处,它们是相等的。而且可知在x=x0它们的导数也是相等的,即f′x0)=x0)。因此,可以从“在x0fx)和Pnx)的各阶导数对应相等”这一条出发求解多项式的各个系数。

因此,首先设函数fx)在含有x0的开区间(ab)内具有1至n+1阶导数,且fkx0)=x0),k=0,1,2,…,n。其中

k=0时,   fx0)=Pnx0)=a0

k=1时,   

k=2时,   

k=3时,   

以此类推,可得fnx0)=x0)=n!·an。进而可得a0=fx0),a1=f′x0),a2=(1/2!)·f(2)x0),a3=(1/3!)·f(3)x0),…,an=(1/n!)·fnx0)。

这样,Pnx)这个多项式就构造成功了,即有

注意,Pnx)是近似逼近fx),而非完全等于fx),所以fx)应该等于Pnx)再加上一个余项,这也就得到了泰勒公式(泰勒公式也称为泰勒中值定理),现将其描述如下:

设函数fx)在包含点x0的开区间(ab)内具有n+1阶导数,则当x∈(ab)时,有fx)的n阶泰勒公式为

其中

被称作是拉格朗日余项,ξxx0之间。在不需要余项的精确表达式时,Rnx)可以记作o[(x-x0n],其被称作是皮亚诺余项。

证明 对于任意x∈(ab),xx0,以x0x为端点的区间[xx0]或者[x0x],记为II⊂(ab)。构造一个函数Rnt)=ft)-Pnt),Rnt)在I上具有1至n+1阶导数,通过计算可知

又因为t)=0,所以t)=fn+1)t)。

再构造一个函数qt)=(t-x0n+1qt)在I上具有1至n+1阶的非零导数,通过计算可知

于是,对函数Rnt)和qt)在I上反复使用n+1次柯西中值定理,则有

ξ1x0x之间

ξ2x0ξ1之间

ξ3x0ξ2之间

ξn+1x0ξn之间

即有

ξ=ξn+1ξxx0之间,则有

定理得证。

Pnx)多项式可以在点x0处近似逼近函数fx),因此要加一个余项Rnx),或者可以说ft)≈Pnx)。那么,在什么样的情况下(如果不追加一个余项),Pnx)可以等于fx)呢?一方面可以想到,当n→+∞时,二者就是相等的,即有(这也就是用极限形式表示的泰勒公式)

另一方面,如果当函数ft)的形式本来就是一个多项式时,二者也是相等的。例如,已知二项式展开为

其为初等数学的精华。中国古代数学家用一个三角形形象地表示二项式展开式的各个系数,这被称为杨辉三角(或贾宪三角),在西方则称为帕斯卡三角,它是二项式系数在三角形中的一种几何排列。

a=x0b=x-x0,则上式可以表示为

由此惊讶地发现,上式竟然是fx)=xn的泰勒展开式。幂函数是微积分中最简单、最基本的函数类型,而泰勒公式的实质在于用幂函数组合生成多项式逼近一般函数。初等数学中的二项式展开实际上是高等数学中的泰勒公式的原型。

在数学史上有很多公式都是欧拉发现的,它们都叫做欧拉公式,分散在各个数学分支中。最著名的有复变函数中的欧拉辐角公式——将复数、指数函数与三角函数联系起来;拓扑学中的欧拉多面体公式;初等数论中的欧拉函数公式等。其中,在复变函数领域的欧拉公式为:对于任意实数φ,存在

ejφ=cosφ+jsinφ

其中,当φ=π时,欧拉公式的特殊形式为

e+1=0

图1-7为在复平面上对欧拉公式几何意义进行的图形化表示。

图1-7 欧拉公式的图形表示

在正式运用泰勒公式证明欧拉公式之前,先来看看泰勒公式的一种简化形式。在泰勒公式中,如果取x0=0,记ξ=θx(0<θ<1),则得到麦克劳林公式如下

例如,可以将函数ex用麦克劳林公式展开,则

x=1时,就得到了此前已经推导过的纳皮尔常数e的级数表示形式。

下面由麦克劳林公式出发,证明欧拉公式。首先,由麦克劳林公式展开得

在ex的展开式中,把x换成jφ,代入可得

定理得证。

泰勒逼近存在严重的缺陷。它的条件很苛刻,要求fx)足够光滑并提供出它在点x0处的各阶导数值;此外,泰勒逼近的整体效果较差,它仅能保证在展开点x0的某个邻域内——即某个局部范围内有效。泰勒展开式对函数fx)的逼近仅能够保证在x0附近有效,而且只有当展开式的长度不断变长时,这个邻域的范围才会随之变大。

斗转星移,百年之后的19世纪初,傅里叶指出:“任何函数,无论怎样复杂,都可以表示为三角级数的形式。”对于这一观点,后续还将进一步讨论。

傅里叶在《热的解析理论》(1822年)这部数学经典文献中,肯定了现今被称为傅里叶分析的重要数学方法。

傅里叶的成就使人们从解析函数或强光滑的函数中解放了出来。傅里叶分析法不仅放宽了光滑性的限制,还可以保证整体的逼近效果。

从数学美的角度看,傅里叶逼近也比泰勒逼近更加优美,其基函数系(三角函数系)是一个完备的正交函数集。尤其值得注意的是,这个函数系可以看作是由一个函数cosx经过简单的伸缩平移变换加工生成的。傅里叶逼近表明,在某种意义上,任何复杂函数都可以用一个简单函数cosx刻画。这是一个惊人的事实。被逼近函数的“繁”与逼近工具cosx的“简”两者反差很大,因此傅里叶逼近很优美。

1.2.5 黑塞矩阵与多元函数极值

回想一下以前是如何处理一元函数求极值问题的。例如,函数fx)=x2,通常先求一阶导数,即f′x)=2x,根据费马定理,极值点处的一阶导数一定等于0。但这仅仅是一个必要条件,而非充分条件。对于fx)=x2,函数的确在一阶导数为零的点取得了极值,但是对于fx)=x3,显然只检查一阶导数是不足以下定论的。

这时需要再求一次导,如果二阶导数f″x)<0,那么说明函数在该点取得局部极大值;如果二阶导数f″x)>0,则说明函数在该点取得局部极小值;如果f″x)=0,则结果仍然是不确定的,就不得不通过其他方式确定函数的极值性。

在多元函数中求极值点的方法与此类似。作为一个示例,不妨用一个三元函数f=fxyz)作为示例。首先,对函数中的每个变量分别求偏导数,这时可知该函数的极值点可能出现在哪里,即

接下来,要继续求二阶导数,此时包含混合偏导数的情况一共有9个,如果用矩阵形式表示,则得到

这个矩阵就称为黑塞(Hessian)矩阵。当然上面所给出的仅仅是一个三阶的黑塞矩阵。稍作扩展,可以对一个在定义域内二阶连续可导的实值多元函数fx1x2,…,xn)定义其黑塞矩阵H如下

当一元函数的二阶导数等于零时,并不能确定函数在该点的极值性。类似地,面对黑塞矩阵,仍然存在无法断定多元函数极值性的情况,即当黑塞矩阵的行列式为零时,无法确定函数是否能取得极值。甚至可能会得到一个鞍点,也就是一个既非极大值也非极小值的点,如图1-8所示。

基于黑塞矩阵,可以判断多元函数的极值情况,结论如下:

图1-8 鞍点

(1)如果是正定矩阵,则临界点处是一个局部极小值;

(2)如果是负定矩阵,则临界点处是一个局部极大值;

(3)如果是不定矩阵,则临界点处不是极值。

如何判断一个矩阵是否是正定的,负定的,还是不定的呢?一个最常用的方法就是借助其顺序主子式。实对称矩阵为正定矩阵的充要条件是各顺序主子式都大于零。当然这个判定方法的计算量比较大。对于实二次型矩阵还有一个判定方法:实二次型矩阵为正定二次型的充要条件是矩阵的特征值全大于零。为负定二次型的充要条件是矩阵的特征值全小于零,否则是不定的。

如果对二次型的概念仍然不很熟悉,这里也稍作补充。定义含有n个变量x1x2,…,xn的二次齐次函数为fx1x2,…,xn)=++…++2a12x1x2+2a13x1x3+…+2an-1nxn-1xn为二次型。取aij=aji,则aijxixj=ajixjxi,于是上式可以写成

更进一步,如果用矩阵对上式进行改写,则有

则二次型可记作f=xTAx。其中,A为对称阵。

设有二次型f=xTAx,如果对任何x0,都有f>0,则称f为正定二次型,并称对称矩阵A是正定的;如果对任何x0,都有f<0,则称f为负定二次型,并称对称矩阵A是负定的。

正定矩阵一定是非奇异的。对称矩阵A为正定的充分必要条件是A的特征值全为正。由此还可得到下面这个推论。

对阵矩阵A为正定的充分必要条件是A的各阶主子式都为正。如果将正定矩阵的条件由xTAx>0弱化为xTAx≥0,则称对称矩阵A是半正定的。

现在把上一小节给出的一元函数泰勒公式稍微推广一下,从而给出二元函数的泰勒公式。设二元函数z=fxy)在点(x0y0)的某一邻域内连续且有直到n+1阶的连续偏导数,则有

其中,0<θ<1,记号

表示

记号

表示

一般地,

表示

当然,可以用一种更加简洁的形式重写上面的和式,则有

其中,0<θ<1。

当余项Rnxy)采用上面这种形式时称为拉格朗日余项,如果采用皮亚诺余项,则二元函数的泰勒公式可以写成

特别地,对于一个多维向量x,以及在点x0的邻域内有连续二阶偏导数的多元函数fx),可以写出该函数在点x0处的(二阶)泰勒展开式为

其中,o(‖x-x02)是高阶无穷小表示的皮亚诺余项,而2fx0)显然是一个黑塞矩阵。所以上述式子也可以写成

已知n元函数u=fx1x2,…,xn)在点M处有极值,则有

也就是说这是一个必要条件,而充分条件则在本节前面已经给出。