単回帰分析と不偏性

 単回帰分析の不偏性について説明します。

要約

(1)結論

 単回帰分析の最小二乗推定量は、次の不偏性を持ちます。

$$E(\widehat{\beta_1})=\beta_1$$

(2)着眼点

 最小二乗推定量を母回帰係数で表して、バイアスがあるのかどうかを数式上で確かめます。また、これをRによるシミュレーションで確かめます。 

前提

(1)定義

不偏性

 不偏性とは、パラメーターの推定量の期待値が、パラメーターに等しい性質を言います。

$$E \big( \widehat{\theta} \big)=\theta$$

$$\theta:母集団で成立するパラメーター$$

$$\widehat{\theta}:標本から得られる推定量$$

最小二乗推定量の不偏性とは

 次の単回帰モデル

$$Y=\beta_0+\beta_1X+U$$

のパラメーターを推定して、推定量

$$\widehat{\beta_0}, \widehat{\beta_1}$$

の期待値が母回帰係数と等しいとき、不偏性があると言います。

$$E(\widehat{\beta_1})=\beta_1$$

(2)仮定する条件

 この記事では

  • 仮定1:データ(X,Y)は独立で同一の分布に従い、単回帰モデルに従う

$$単回帰モデル:Y_i=\beta_0 +\beta_1 X_i +誤差項U_i$$

$$i:データ番号(1〜n)、n:サンプル・サイズ$$

  • 仮定2:標本が無作為抽出
  • 仮定3:説明変数Xの分散が0でない

に加えて

$$仮定4:E(U_i|X_i)=0$$

を仮定します。

(3)仮定しない条件

 以下の条件は仮定しません

  • 系列相関なし
  • 均一分散
  • 誤差項の正規性

(4)事実

最小二乗推定量

 仮定1〜3が満たされるとき、単回帰分析の最小二乗推定量は

$$\widehat{\beta_1}=\beta_1+ \frac{\sum\limits_{i=1}^n(X_i-\overline{X})U_i } {\sum\limits_{i=1}^n(X_i-\overline{X})^2 }・・・式(1)$$

となります。詳しくは「単回帰分析/ 最小二乗推定量とパラメーターの関係」をご覧ください。

繰り返し期待値の法則

 次の繰り返し期待値の法則

$$E(X)=E(E(X|Z))$$

が成り立つことが知られています。くわしくは「繰り返し期待値の法則のイメージ」をご覧ください。

結果1

(1)最小二乗推定量

 最小二乗推定量を、母回帰係数で表すと

$$\widehat{\beta_1}=\beta_1+ \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } $$

です。したがって、最小二乗推定量の期待値は

$$E(\widehat{\beta_1})=\beta_1+E \left(  \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }   \right)$$

です。

(2)繰り返し期待値の法則

 繰り返し期待値の法則※1を用いて、Xの条件付き期待値に変形します

$$E(\widehat{\beta_1})=\beta_1+E\left(E \left(  \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } \Bigg|X_i \right)   \right )$$

Xの条件は、誤差項にEを移せます

$$=\beta_1+E \left(  \frac{\sum\limits_{i=1}^n(x_i-\overline{x})E(U_i|X_i) } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }   \right)・・・式(2)$$

外生性の仮定 E(U|X)=0 を思い出して

$$=\beta_1+E\left(  \frac{\sum\limits_{i=1}^n(x_i-\overline{x})×0} {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }   \right )$$

したがって

$$E(\widehat{\beta_1})=\beta_1$$

ですから、不偏性が示されました。

結果2

 Rによるシミュレーションで、不偏性を図解します。一致性と比較すると、よりわかりやすいと思います。Rコードは記事最後に載せました。

(1)シミュレーションの前提

 シミュレーションは次のように行いました。

①母集団の設定

 次のモデル

$$Y=2+X+U$$

に従う母集団を想定します。

②標本抽出と標本回帰係数の計算

 ここからサンプル・サイズnの要素を無作為抽出して、標本とします。そして、回帰係数を最小二乗法で推定します。

 例えば、n=100でやってみると、次のようになりました。

 回帰分析すると次の推定値が出力されました。↓

$$Y_i=1.864+1.090X_i+U_i$$

③繰り返し処理

 ②を1万回繰り返して、推定値を記録します。この推定値の分布が、推定量の分布と見なせます。

(2)推定値の分布

 この標本抽出と回帰分析を1万回繰り返して、推定値のヒストグラムを作成すると、下図になりました。横軸は標本回帰係数、縦軸は度数(=出現回数)です。

 このとき、推定値の平均は

$$\widehat{\beta_1}の平均=0.9982847$$

でした。これは、母回帰係数の1と非常に近いです。これが不偏性です。

$$E(\widehat{\beta_1})=\beta_1$$

考察

$$外生性:E(U_i|X_i)=0$$

があるのであれば、最小二乗推定量が不偏性をもちます。つまり、バイアスがないのです。

$$バイアス=E(推定量\widehat{\beta_1})-パラメーター\beta_1$$

 ですので、計量経済学ではこの外生性を非常に重視します。

 なお、外生性の逆は

$$内生性:E(U_i|X_i)≠0$$

と言われます。

付録:Rコード

trial_number <- 10000 #試行回数10000
sample_size <- 100 #サンプル・サイズ100
beta_1 <- rep(NA, trial_number) #データ列作成
 
#繰り返し処理
for(i in 1:trial_number){
  x <- rnorm(n=sample_size, mean =3, sd=1) #説明変数x
  u <- rnorm(n=sample_size, mean =0, sd=1) #誤差項u
  y <- 2 + 1*x+ u #目的変数y
  answer <- lm(y~x) #回帰分析
  
  #回帰分析の係数の2番目(要はxの回帰係数)を取り出して、箱beta_1のi番目に格納する
  beta_1[i] <- answer$coef[2]
}
 
#ヒストグラムを描画(横軸は0.5から1.5の範囲、階級数は30)
hist(beta_1,xlim=c(0.5,1.5),breaks=30)
 
#平均を計算
mean(beta_1)

コメント欄 お気軽にコメントをお寄せください!

タイトルとURLをコピーしました