模式识别 第五章 几何分类器.doc

第五章几何分类器
几何分类器的基本概念
Bayes决策需要知道统计规律。
一个模式通过某种变换影射为一个特征向量后,该特征向量可以理解为特征空间的一个点,在特征空间中属于一个类的点集,在某种程度上总是与属于另一个类的点集相分离,各个类之间是确定可分的,因此如果能够找到一个分离函数(线性或非线性函数),把不同类的点集分开,则分类任务就解决了。几何分类器是通过几何的方法,把特征空间分解为对应于不同类别的子空间,而且呈线性的分离函数将使计算简化。
假定样品X有两个特征,即,每一个样品都对应二维空间中的一个点。共分三类:,那么待测X属于哪一类?对这个问题就要看它最接近哪一类,若最接近于则为类,若最接近于则为类,否则为类。在各类之间要有一个边界,若能知道各类之间的边界,那么就知道待测样品属于哪一类了。所以,要进一步知道如何去找这个分界线。找分界线的方法就是几何分类法,几何分类法的结果能提供一个确定的分界线方程,这个分界线方程叫做判别函数,因此判别函数描述了各类之间的分界线是什么形式。
几何分类法按照分界函数的形式可以分为线性判别函数和非线性判别函数两大类。线性分类器由于涉及的数学方法简单,在计算机上容易实现,故在模式识别中被广泛应用。但是这并不意味着在模式识别中只有线性分类器就足够了。在模式识别的许多问题中,由于线性分类器固有的局限性,它并不能提供理想的识别效果,必须求助于非线性分类器。而且有些较为简单的线性分类器对某些模式识别问题的解决,既简单,效果又好。
线性判别函数
判别函数分为线性判别函数和非线性判别函数。最简单的判别函数是线性判别函数,它是由所有特征量的线性组合构成的。
两类情况
两类别分类器框图如图5-1所示,根据计算结果的符号将X分类。
d
两类情况分类器
+1w1
-1w2
决策
阈值单元
判别计算
x1
x2
xm
…
两个特征
每类模式有两个特征,样品是二维的,在二维模式空间中存在一线性判别函数
(5-1)
式中是参数或者称为权值,,为坐标变量,即模式的特征值。可以很明显地看到属于类的任一模式代入d(X)后为正值,而属于类的任一模式代入d(X)后为负值,如图5-2所示。
w2
····
······
·······
·········· -
×××××
×××××
×××××
×××××
××××
+ w1
d(X)= w1x1+ w2x2+ w3=0
x2
x1
图5-2 两类模式的线性判别盘函数
因此,d(X)可以用来判断某一模式所属的类别,在这里把d(X)称为判别函数。给定某一未知类别的模式X,若d(X)>0,则X属于类;若d(X)<0,则X属于类;若d(X)=0,则此时X落在分界线上,即X的类别处于不确定状态。这一概念不仅适用于两类别情况,还可推广到有限维欧式空间中的非线性边界的更一般情况。
三个特征
每类模式有三个特征,样品是三维的,判别边界为一平面。
三个以上特征
每类模式有三个以上特征,判别边界为一超平面。
对于n维空间,用矢量来表示模式,一般的线性判别函数形式为:
(5-2)
式中称为权矢量或参数矢量。如果在所有模式矢量的最末元素后再附加元素1,则式(5-2)可以写成
(5-3)
的形式。式中和分别称为增1模式矢量和权矢量。式(5-3)仅仅是为了方便而提出来的,模式类的基本几何性质并没有改变。
在两类别情况下,判别函数d(X)有下述性质,即
(5-4)
满足的点为两类的判别边界。
d1
dm
MAX
xn
决策
d2
x2
x1
最大值选择器
图5-3 判别函数构成的多类分类器形式
多类情况
对于多类别问题,假设有m类模式。对于n维空间中的m个类别,就要给出m个判别函数:d1(X), d2(X),…, dm(X),分类器基本形式如图5-3所示,若X属于第i类,则有
(5-5)
第一种情况
每一个类别可用单个判别平面分割,因此m类有m个判别函数,具有下面的性质
(5-6)
如图5-4所示,有3个模式类,每一类别可用单个判别边界与其余的类别划分开。
例如手写数字共有10个类,m=10。对任一未知的手写数字,代入判别函数后若只有d7(X)>0,而其他的均小于0,则该未知的手写数字是7。
例5-1 设有一个二维三类问题,判别函数已求得:
有一模式x=(6,5)’,试判别其类别。
解:将该模式特征矢量代入上面三式,有
根据上面三式,最后判
d1(X)=0
d2(X)=0
d3(X)=0
+
+
+
-
-
-
w2
w1
w3
图5-4 多类情况(1)
第二种情况
每两个类别之间可用判别平面分开,