模式识别课件总顺序No5第二章NO4陈艳071021非参数估计.ppt

该【模式识别课件总顺序No5第二章NO4陈艳071021非参数估计 】是由【相惜】上传分享，文档一共【30】页，该文档可以免费在线阅读，需要了解更多关于【模式识别课件总顺序No5第二章NO4陈艳071021非参数估计 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。5总体分布的非参数估计方法整理ppt前述都设总体分布〔即概密〕,但实际不然。因此如何用样本来估计总体分布的问题,就是本节的目的—即非参数估计。含有p(x),p(x|wi),p(wi|x)等的估计。而p(wi|x)的估计的一种根本方法是绕过概率的估计而直接求决策函数的方法—即近邻法那么。(1)根本方法整理ppt1)本节所述估计的目的从样本集?估计样本空间任何一点X的概率密度P’(X);如果?来自某一类别〔如wi类〕,那么估计结果为类条件概密P’(X|wi);如果?来自c个类别,但不具体涉及类别,那么估计结果为混合密度P’(X)。整理ppt2)非参数估计的根本思想①随机向量X落入到区域R的概率P为:这表示概率P是概密函数P(X)的一种平均,对P作估计就是估计出P(X)的这个平均值。P(X)RX整理ppt②设N个样本x1,x2,…,xn是从概密为P(x)的总体中独立抽取的,那么N个样本中有k个样本落在区域R中的概率Pk自然服从二项分布,即其中,P为样本X落入R的概率,Pk为k个样本落入R的概率。整理ppt使Pk取最大的k值称为众数〔记为m〕,即 〔众数的意义是:在抽出的N个样本中有m个样本落入区域R的概率最大。〕 对二项分布,众数m为(N+1)?P的整数局部,即 这样,在Pm处,就有 m=k?(N+1)?P’?N?P’ 即 P’?k/N式中P’是P的估计,即P’是总体密度P(x)在区域R上的一个估计。整理ppt③设P(x)连续,且区域R的体积V足够小,那么设P’(x)是P(x)的估计,由上面二式得:于是可得:上式就是X点概率密度P(x)的估计值,它与k、N、V有关。整理ppt说明:①从理论上讲,要使P’(x)趋于P(x),就须让积分域R无限小〔即让其V近于零〕,同时让N、k无穷大,但实际估计时体积V不是任意的小,且样本总数也是有限的,所以P’(x)总是存在误差。②如果把体积V固定,样本取得足够多,那么K/N将在概率上收敛,但这时得到的是一个R区域上P(x)的平均估计。即而要想得到P’(x),而不是P(x)在R上的平均,那么须让V趋于零。整理ppt③如果把样本数目固定,而令V趋于零,由于样本数目总是有限的,所以当V趋于零时,会使区域R不断缩小以致于可能不包含任何样本,这就会得出P’(x)=0(无价值的估计〕; 如果恰巧有一个或几个样本同X〔点〕重合的出现在R中,那么会使估计发散到无穷大〔这也是无价值的估计〕。整理ppt3)理论上的解决方案为了提高X处的概密P(x)的估计精度,据极限理论,采取如下步骤以尽量满足理论要求。①构造一包含样本X的区域序列R1、R2、…、RN、…各区域RN(N=1,2,…)的体积VN满足:②在RN域中取N个样本进行估计实验,并设有kN个样本落入RN中,样本数目应满足:整理ppt