上課材料之九
第八章 古典線性回歸的大樣本理論 迄今為止的討論涉及了最小二乘估計量的有限樣本性質。根據(jù)非隨機回歸量和擾動項 正態(tài)分布這兩個假設，我們知道了最小二乘估計量的精確分布和一些檢驗統(tǒng)計量。 在本章中，我們去總結前一章關于最小二乘法的有限樣本特性，然后我們重點討論古 典回歸模型的大樣本結果。 第一節(jié) 最小二乘法的有限樣本特性 古典回歸模型的基本假設是 Ⅰ.y=Xβ+ε。 Ⅱ.X是秩為K的n×K非隨機矩陣。 Ⅲ.E[ε]=0。 Ⅳ.E[εε′]=σ2I。 未知參數(shù)β和σ2的最小二乘估計量是 [pic] 和 [pic] 通過分析 [pic] 并且 [pic] 我們可得下列精確的有限樣本結果： 1. E[b]=β（最小二乘估計是無偏的） 2. Var[b]=σ2(X′X)-1 3. 任意函數(shù)r′β的最小方差線性無偏估計量是r′b。（這就是高斯—馬爾科夫定理） 4. E[s2]=σ2 5. Cov[b,e]=0 為了構造置信區(qū)間和檢驗假設，我們根據(jù)正態(tài)分布的假設 [pic] 推導額外了的結果，即 6. b和e在統(tǒng)計上是相互獨立的。相應的，b和s2無關并在統(tǒng)計上相互獨立。 7. b的精確分布依賴于X，是[pic]。 8. [pic]的分布是[pic]。s2的均值是σ2，方差是2σ4/（n－K）。 9. 根據(jù)6至8結果，統(tǒng)計量[pic]服從自由度為n－K的t分布。 10. 用于檢驗一組J個線性約束Rβ=q的檢驗統(tǒng)計量 [pic] 服從自由度為J和n－K的F分布。 注意，利用I至IV建立起來的b的各種性質和根據(jù)擾動項更進一步的正態(tài)分布假設而得 到的額外推斷結果之間的區(qū)別。第一組中最重要的結果是高斯—馬爾科夫定理，它與擾動 項的分布無關。根據(jù)正態(tài)分布假設得到的重要的附加結果是7、8、9、10。正態(tài)性沒有產 生任何額外的有限樣本的最優(yōu)性結果。（沒有得出額外的有關統(tǒng)計量好壞的結論） 第二節(jié) 古典回歸模型的漸近分布理論 為什么要用大樣本理論？ 在OLS的方法中，我們如果用數(shù)據(jù)得到的wald統(tǒng)計量： [pic]～[pic] 通不過檢驗，即假設[pic]不滿足，這樣的話我們就不能用OLS完成相關的假設檢驗問題 ，所以我們要用到中心極限定理：在n足夠大的情況下，Y 和 [pic] 都服從正態(tài)分布。這樣，相應的判別估計量好壞的方法和標準要捉相應的調整，其中重 要的概念是一致估計量。雖然估計量有可能相同，但我們關心的是他們的一致性，而不 是無偏性。 所以我們要區(qū)分那些結論是可以在沒有正態(tài)性的假設下仍然成立的，利用這些條件來 推斷最小二乘系數(shù)估計量的一致性。 對于滿足I到IV假設的模型，可以直接推導大樣本最小二乘估計量的特性。 最小二乘系數(shù)向量的一致性 復習：依概率分布 定理 從具有有限均值μ和有限方差[pic]的任何總體中抽取的隨機樣本的均值都是μ的一個一致 估計量。 證明：[pic]，所以，[pic]依均方收斂于μ，或[pic]。 斯拉茨基定理（Slutsky） 對一個不是n的函數(shù)的連續(xù)函數(shù)g(xn)，有 [pic] 假設 [pic] 是正定矩陣， （1） 這個假設在大多數(shù)時候是不過份的，考慮一元的情況： X=[pic] [pic] (我們知道，p[pic] p[pic]). [pic] which is positive definite as its principal submatrices all have positive determinants. 最小二乘估計量可以寫成 [pic] （2） 假設Q-1存在，因為逆矩陣是原矩陣的連續(xù)函數(shù)，我們得到 [pic] 現(xiàn)在我們需要最后一項的概率極限。令 [pic]，其中[pic],為[pic]的列向量 那么 [pic] 且 [pic] 因為，X是非隨機矩陣，所以 [pic] 且 [pic] 于是可得 [pic] 由于[pic]的均值是0，并且它的方差收斂于0，所以[pic]按均方收斂于0，且[pic]。 （下面定理揭示了r-階收斂與依概率收斂的關系 定理8 [pic]。） 因此 [pic] （4） 所以 [pic] （5） 這表明了在古典回歸模型中，在假設（1）條件下b是β的一致估計量。 二、最小二乘估計量的漸近正態(tài)性 為了導出最小二乘估計量的漸近分布，利用以前結果可得 [pic] 由于逆矩陣是原矩陣的連續(xù)函數(shù)，[pic]。因此，如果極限分布存在，則統(tǒng)計量的極 限分布與下式相同： [pic] （6a） 因此，我們必須建立下式的極限分布， [pic] 其中[pic]。我們可以利用林德伯格- 費勒形式的中心極限定理得到[pic]的極限分布。利用定理中的表達式， [pic] 是n個互不相關的隨機向量[pic]的平均值，其中[pic], εi的均值為0，方差為 [pic] [pic]的方差 [pic] [pic] 只要總和不被任一特定項占據(jù)主導地位并且回歸量表現(xiàn)良好，在這種情況中，這意味著 （1）成立，則 [pic]Var([pic])=[pic]Var([pic])=[pic] 下列結果的正式證明是根據(jù)林德伯格- 費勒形式的中心極限定理，由施密特（1976）和懷特（1984）給出。如果 1. 擾動項都服從具有零均值和有限方差[pic]的同樣的分布。 2. X的元素受到限制使得[pic]有限并且[pic]是一個有限正定矩陣。則 [pic] （6） (這也是為什么我們要假設Q是正定的，因為正態(tài)的協(xié)方差都是正定的) 我們利用這一結果可得, 即作一個變換： [pic] 根據(jù)(6a): [pic] 我們可以得到b的漸近分布(不加證明)： [pic] 三、標準檢驗統(tǒng)計量的漸近行為 如果沒有ε的正態(tài)性，前面給出的t，F(xiàn)和[pic]統(tǒng)計量則不會服從相應的這些分布。因 為 [pic] 由此得出 [pic] 的漸近分布是標準正態(tài)分布。 由于[pic]（在下一節(jié)中將證明[pic]這個結果） [pic] 將與θk有同樣的漸近分布。因此，我們可以認為，關于β的一個元素的假設的通常統(tǒng)計量 服從標準正態(tài)分布，而不是t分布。(也就是大樣本情況下，沒有t分布了，相應的t分布 是正態(tài)分布。) 用于檢驗一組線性約束的F統(tǒng)計量， [pic] 不再是F分布，因為分子和分母都不是要求的[pic]分布。不過, 沃爾德統(tǒng)計量JF[J,n－K]漸近地服從[pic]分布并可以用來替代使用。這與擾動項正態(tài)分 布情況的結果相同。在通常的假設下，無論擾動項是否服從正態(tài)分布，在處理古典模型 的大樣本時，沃爾德統(tǒng)計量都可使用。 定理 沃爾德統(tǒng)計量的極限分布定理 如果[pic] 以及[pic]是正確的，那么 [pic] 依分布收斂于自由度為J的[pic]統(tǒng)計量。（我們不要求正式嚴格證明）。 特別提醒與注意：模型的整體檢驗統(tǒng)計量 這個沃爾德統(tǒng)計量就是可以用來作為我們模型的整體檢驗，只不過檢驗時，這里的R =I，而q=0而已。但注意沃爾德統(tǒng)計量W 是自由度為J的[pic]統(tǒng)計量，而不再是用F 分布來檢驗了。但W=JF。 定理的證明：由于R是常數(shù)矩陣， [pic] （1） 又Rβ=q，因此 [pic] （2） 為方便起見，將此寫成 [pic] （3） 令T滿足T2=P-1，并把T記為[pic]，即T是P的逆平方根。 如果[pic]，那么[pic] （4） 現(xiàn)在，我們對隨機變量函數(shù)的極限分布利用斯拉茨基（Slutsky）定理，無關的（即，相 互獨立）標準正態(tài)分布變量的平方和服從[pic]分布。因此，有下面的極限分布 [pic] （5） 再結合前面的各部分， 不難證明： [pic] （6） 即我們已經(jīng)證明了其極限分布是自由度為J的[pic]分布。 由于[pic]（在下一節(jié)中將證明這個結果），這樣： [pic] 的極限分布式與（6）的極限分布是一樣的。 約去ｎ，對左邊進行整理就得到沃爾德統(tǒng)計量W。證明完畢。 注意：沃爾德統(tǒng)計量W可以用J 乘以通常的F 的統(tǒng)計量而得到。F仍然是OLS得到的F統(tǒng)計量。 三、s2的一致性和Var[b]的估計量 本節(jié)證明上節(jié)用到的結果plim[pic]的假設,即證明s2對[pic]的一致性，也就是證明 [pic]。展開 [pic] 可得 [pic] [pic] 最前面的常數(shù)顯然收斂于1，括號中第一項依概率收斂于[pic]，因為：[pic]=[pic] 而且：[pic] [pic] 因為有：（定理 從具有有限均值μ和有限方差[pic]的任何總體中抽取的隨機樣本的均值都是μ的一個一致 估計量。P357(大Green)） 所以只有在[pic]為有限的情況下，[pic]是[pic]的一致估計量。 所以我們要假設[pic]是有限的。 這意味著 [pic] 單獨看plims2的第二項，略微整理之后，我們有 [pic] 這個統(tǒng)計量的大樣本特性與 [pic] 的相同。注意q等于[pic]乘以正態(tài)分布向量的二次型，該向量[pic]漸近方差矩陣是[pic] Q。因此，利用沃爾德統(tǒng)計量極限分布證明的結果，我們發(fā)現(xiàn)q可以寫成 [pic] 這樣 [pic] [pic] 而且[pic]，q是二階收斂的，所以保證了概率收斂，即[pic]由此可得q本身依均方收斂 于0。這表明了s2對[pic]的一致性。由此b的漸近協(xié)方差的適當?shù)墓烙嬃渴牵?[pic] B的函數(shù)的漸近分布——得爾塔方法 利用泰勒展開，把f(x)線性化。 令f(b)是一組關于最小二乘估計量J個連續(xù)的線性或非線性的函數(shù)并令 [pic] G是J×K矩陣，其中第j行是第j個函數(shù)關于b的導數(shù)。利用斯拉茨基（Slutsky）定理， [pic] 并且 [pic]， 于是 [pic] （2） 實際上，漸近協(xié)方差矩陣的估計量是 [pic] 如果某個函數(shù)是非線性的，則b的無偏的性質不會傳給f(b)。不過從（2）中可得f(b)是 f(β)的一致估計量，而且漸近協(xié)方差矩陣很容易獲得。 例 P324（小Green） 小 結 有限樣本和大樣本的結果比較 有限樣本 大樣本 在條件[pic]下的結果 在不滿足條件[pic]下的結果 1. E[b]=β 1. [pic] 最小二乘估計是無偏的 b是β的一致估計量 2. E[s2]=σ2 2. s2是方差[pic]的一致估計量 σ2估計是無偏的 s2是[pic]的一致估計量 3. [pic]Var[b]=s2(X′X)-1 3。 [pic] 4．b的精確分布是 4. b的漸近分布是正態(tài)分布 [pic] [pic] 5．統(tǒng)計量[pic] 5. 統(tǒng)計量 [pic] 服從自由度為n－K的t分布 服從標準正態(tài)分布，而不是t分布 6．用于檢驗一組J個線性約束Rβ=q的檢驗統(tǒng)計量 [pic] 服從自由度為J和n－K的F分布 6. [pic] 依分布收斂于自由度為J的[pic]統(tǒng)計量 非線性問題的處理：（利用泰勒展開，轉換為線性）
上課材料之九