3.2 线性判别函数
判别函数分为线性判别函数和非线性判别函数。最简单的判别函数是线性判别函数，它是由所有特征量线性组合构成的。
1.两类情况
两类情况分类器如图3-1所示，根据计算结果的符号将X分类。
图3-1 两类情况分类器
(1)2个特征：每类模式有2个特征，样本是二维的，在二维模式空间中存在线性判别函数，为
d(X)=ω1x1+ω2x2+ω3=0
(3-1)
式中，ω1、ω2、ω3为参数，可称为权值；x1和x2为坐标变量，即模式的特征值。
可以很明显地看到，属于ω1类的任一模式代入d(X)后为正值，而属于ω2类的任一模式代入d(X)后为负值，如图3-2所示。
图3-2 两类模式的线性判别函数
因此，d(X)可以用来判断某一模式所属的类别，在此称d(X)为判别函数。给定某一未知类别的模式X，若d(X)>0，则X属于ω1类；若d(X)<0,则X属于ω2类；若d(X)=0，则此时X落在分界线上，即X的类别处于不确定状态，这一概念不仅局限于两类别情况，还可推广到有限维欧氏空间的非线性边界的一般情况中。
(2)3个特征：每类模式有3个特征，样品是三维的，判别边界为一平面。
(3)3个以上特征：每类模式有3个以上特征，判别边界为一超平面。
对于n维空间，用矢量X=(x1,x2,…,xn)T来表示模式，一般的线性判别函数形式为
(3-2)
式中，W0=(w1,w2,…,wn)T称为权矢量或参数矢量。如果在所有模式矢量的最末元素后再附加元素1，则式(3-2) 可以写成
d(X)=WTX
(3-3)
的形式。式中X=(x1,x2,…,xn,1)T和W=(w1,w2,…,wn,wn+1)T分别称为增1模式矢量和权矢量。式(3-3)仅仅是为了方便而提出来的，模式类的基本几何性质并没有改变。
在两种类别情况下，判别函数d(X)有下述性质，即
(3-4)
满足d(X)=WTX=0的点为两类的判别边界。
2.多类情况
对于多类别问题，假设有M类模式ω1,ω2,…,ωM。对于n维空间中的M个类别，就要给出M个判别函数：d1(X),d2(X),…,dM(X)，分类器基本形式如图3-3所示，若X属于第i类，则有
di(X)=dj(X) j=1,2,…,M;i≠j
(3-5)
图3-3 判别函数构成的多类分类器基本形式
(1)第一种情况：每一个类别可用单个判别平面分割，因此M类有M个判别函数，具有下面的性质
(3-6)
如图3-4所示，有3个模式类，每一类别可用单个判别边界与其余类别划分开。
图3-4 多类情况(1)
(2)第二种情况：每两个类别之间可用判别平面分开，有M(M-1)/2个判别函数，判别函数形式为
且dij(X)=-dji(X)
(3-7)
若dij(X)>0，∀j≠i，则X属于ωi类。
没有一个类别可以用一个判别平面与其他类分开，如图3-5所示，每个边界只能分割两类。
(3)第三种情况：存在M个判别函数，判别函数形式为
(3-8)
把X代入M个判别函数中，判别函数最大的那个类就是X所属类别。与第一种情况的区别在于此种情况下可以有多个判别函数的值大于0，而第一种情况下只有一个判别函数的值大于0，如图3-6所示。
图3-5 多类情况(2)
图3-6 多类情况(3)
若可用以上几种情况中的任一种线性判别函数来进行分类，则这些模式类称为线性可分的。如表3-1所示为线性分类器判别函数形式。
表3-1 线性分类器判别函数形式
模式分类方案取决于两个因素：判别函数d(X)的形式和系数W。前者和所研究模式类的集合形式直接有关。一旦前者确定后，需要确定的就是后者，它们可通过模式的样本来确定。