非参数回归的介绍.ppt

非参数回归简介
A brief introduction to nonparametric regression
1
参数回归与非参数回归的优缺点比较:
参数回归:
非参数回归:
优点:(1).模型形式简单明确,仅由一些参数表达
(2).在经济中,模型的参数具有一般都具有明确的经济含义
(3).当模型参数假设成立,统计推断的精度较高,能经受实际检验
(4).模型能够进行外推运算
(5).模型可以用于小样本的统计推断
缺点:(1).回归函数的形式预先假定
(2).模型限制较多:一般要求样本满足某种分布要求,随机误差满足
正态假设,解释变量间独立,解释变量与随机误差不相关,等
(3)需要对模型的参数进行严格的检验推断,步骤较多
(4).模型泛化能力弱,缺乏稳健性,当模型假设不成立,拟合效果
不好,需要修正或者甚至更换模型
优点;(1)回归函数形式自由,受约束少,对数据的分布一般不做任何要求
(2)适应能力强,稳健性高,回归模型完全由数据驱动
(3)模型的精度高;(4)对于非线性、非齐次问题,有非常好的效果
缺点:(1)不能进行外推运算,(2)估计的收敛速度慢
(3)一般只有在大样本的情况下才能得到很好的效果,
而小样本的效果较差
(4)高维诅咒, 光滑参数的选取一般较复杂
2
非参数回归
方法
样条光滑
正交回归
核回归:N-W估计、P-C估计、G-M估计
局部多项式回归:线性、多项式
光滑样条:光滑样条、B样条
近邻回归:k-NN、k近邻核、对称近邻
正交级数光滑
稳健回归:LOWESS、L光滑、R光滑、M光滑
局部回归
Fourier级数光滑
wavelet光滑
处理高维的非参数方法:多元局部回归、薄片样条、
可加模型、投影寻踪、
回归树、张量积,等
3
核函数K :函数K(.)满足:
常见的核函数:
Boxcar核:
Gaussian核:
Epanechnikov核:
tricube核:
为示性函数
4
回归模型:
(1)模型为随机设计模型,样本观测(X i, Yi)~iid
(2)模型为固定设计模型
Xi 为R中n个试验点列, i=1,2,…,n
Yi为固定Xi的n次独立观测,i=1,2,…,n
m(x)为为一未知函数,用一些方法来拟合
定义:线性光滑器(linear smoother)
5
光滑参数的选取
风险(均方误差) (mean squared error , MSE)
理想的情况是希望选择合适的光滑参数h,使得通过样本数据拟合的回归曲线能够最好的逼近真实的回归曲线(即达到风险最小),这里真实回归函数m(x)一般是未知的。
可能会想到用平均残差平方和来估计风险R(h)
但是这并不是一个好的估计,会导致过拟合(欠光滑),原因在于两次利用了数据,一次估计函数,一次估计风险。我们选择的函数估计就是使得残差平方和达到最小,因此它倾向于低估了风险。
是的估计,h是光滑参数,称为带宽或窗宽
6
光滑参数的选取
缺一交叉验证方法(leave-one-out cross validation , CV)
这里是略去第i个数据点后得到的函数估计
交叉验证的直观意义:
因此:
7
光滑参数的选取
定理:若那么缺一交叉验证得分

能够写成:
这里是光滑矩阵L的第i个对角线元素
广义交叉验证(generalized cross-validation,GCV)
其中: 为有效自由度
8
光滑参数的选取
其他标准
(1)直接插入法(Direct Plug-In , DPI)
相关文献可以参考:
Wolfgang Härdle(1994),Applied Nonparametric Regression,Berlin
Jeffrey (1997), Nonparametric Smoothing and Lack-of-Fit Tests, Springer Series in Statistics
李竹渝、鲁万波、龚金国(2007),经济、金融计量学中的非参数估计技术,科学出版社,北京
吴喜之译(2008),现代非参数统计,科学出版社,北京
(2)罚函数法(penalizing function)
(3)单边交叉验证(One Sided Cross Validation,OSCV)
(4)拇指规则(Rule Of Thumb)
9
(核光滑)
N-W估计是一种简单的加权平均估计,可以写成线性光滑器:
局部回归
由Nadaraya(1964) 和 Watson(1964)分别提出,
(1)N-W估计
形式:
其中: , 为核函数, 为