SAS讲义 第三十三课逐步回归分析.docx

SAS讲义 第三十三课逐步回归分析.docx第三十三课逐步回归分析逐步回归分析在一个多元线性冋归模型中,并不是所有的自变量都与因变量有显著关系,有时有些自变景的作用可以忽略。这就产生了怎样从人量可能有关的白变量屮挑选出对因变量有显著影响的部分自变量的问题。在可能白变量的整个集合有40到60个,其至更多的自变量的那些情况下,使用“最优”子集算法可能并不行得通。那么,逐步产生回归模型要含有的X变量子集的自动搜索方法,可能是有效的。逐步冋归方法可能是应用最广泛的自动搜索方法。这是在求适度“好”的自变量子集吋,同所有可能冋归的方法比较,为节省计算工作最而产生的。本质上说,这种方法在每一步增加或剔除一个X变量时,产生一系列冋归模型。增加或剔除一个X变量的准则,可以等价地用谋差平方和缩减量、偏相关系数或F统计量來表示。无疑选择自变量要靠有关专业知识,但是作为起参谋作用的数学工具,往往是不容轻视的。通常在多元线性模型屮,我们首先从有关专业角度选择有关的为数众多的因子,然后用数学方法从屮选择适当的子集。本节介绍的逐步冋归法就是人们在实际问题屮常用的,并且行之有效的方法。逐步回归的基本思想是,将变景一个一个引入,引入变量的条件是偏冋归平方和经检验是显箸的,同吋每引入一•个新变量后,对已选入的变量要进行逐个检验,将不显著变量剔除,这样保证最后所得的变量子集中的所有变量都是显著的。这样经若T•步以后便得“最优”变量子集。逐步冋归是这样一种方法,使用它时每一步只有一个单独的冋归因子引进或从当前的冋归模型中剔除。Efroymoson(1966)编的程序中,有两个F水平,记作F加和化如,在每一步时,只有一个冋归因子,比如说X’,如果剔除它可能引起RSS的减少不超过残差均方MSE(即ESS/(N・k・\))的尸⑷倍,则将它剔除;这就是在当前的回归模型屮,川来检验0尸()的F比=(RSS(“,勺,…兀_i,毎)一RSS(兀|,勺,…S))/MSE是小于或等于尸的。若剔除的变量需要选择,则就选择使RSS减少最少的那一个(或等价的选择F比最小的)。用这种方式如果没有变量被剔除,则开始引进一个冋归因子,比如如果引进它厉使RSS的增加,至少是残差均方的尺“倍,则将它引进。即若在当前模型加X)项后,为了检验p}=0的F比,F纣」寸,贝忖进兀,其次,若引进的变量需要选择,则选择F比最人的。程序按照上面的步骤开始拟合,当没有冋归因子能够引进模型时,该过程停止。二、变量选择的方法若在冋归方程屮增加自变量称为“引入”变量X,,将己在冋归方程中的自变量兀从冋归方程屮删除,则称为“剔除”变量X厂无论引入变量或剔除变量,都要利用F检验,将显著的变量引入冋归方程,而将不显著的从冋归方程屮剔除。记引入变量F检验的临界值为&“(进),剔除变量F检验的临界值为化切(出),一般取F祈如,它的确定原则一般是对比个自变量的加个(加WQ,则对显著性水平劝=1,df2=N-m-\的F分布表的值,记为则取Fh=Fou=F。一般來说也可以直接取F,=Fh/=°当然,为了回归方程屮还能够多进入一些自变量,。变量增加法首先对全部k个自变量,分别对因变量涎立一元冋归方程,并分别计算这R个一元冋归方程的k个回归系数F检验值,记为{F,,F?,…F;),选其最大的记为F;=max{F;,F;,・・・F;},若有片|2Fjn,则首先将禺引入回归方程,不失一•般性,设X,就是接着考虑X]分别与XvXv...,Xk与因变量Y二元回归方程,对于这比一1个回归方程中X2,...,Xk的冋归系数进行F检验,计算得的F值,并选其最大的F值F;,若F冷仏,则接着就将X/I入回归方程,不失一般性,设£就是X?。对已经引入回归方程的变量X|和X2,如同前面的方法做下去,直至所有末被引入方程的变量的尸值均小于心时为止。这时的回归方程就是最终选定的回归方程。显然,这种增加法有一定的缺点,主要是,它不能反映后來变化的情况。因为对于某个白变量,它可能开始是显著的,即将其引入到冋归方程,但是,随着以后其他白变量的引入,它也可能乂变为不显箸的了,但是,也并没有将其及时从冋归方程屮剔除掉。也就是增加变量法,只考虑引入而不考虑剔除。变量减少法与变量增加法相反,变量减少法是首先建立全部白变量X,,Xr...^对因变变量Y的回归方程,然后对R个冋归系数进行F检验,记求得的F值为{尺,尺‘…用},选其最小的记为F/=min{F;,F;,・・・F;},若有F;WF创,则可以考虑将自变量兀从回归方程中剔除掉,不妨设X:就取为X]。再对禺兀,…兀对因变量Y建立的冋归方程屮重复上述过程,取最小的F值为F;,若有F;W%,则将X,也从冋归方程屮剔除掉。不妨设兀就是禺。重复前面的做法,直至在冋归方程中的白变量F检验值均人于化皿,即没有变量可剔除为止。这时的回归方程就是