単回帰分析/ 最小二乗推定量とパラメーターの関係

 最小二乗法で求めた標本回帰係数(推定量)を、母回帰係数(パラメーター)で表します。

要約

 最小二乗法で求めた標本回帰係数(推定量)を母回帰係数(パラメーター)で表すと

$$\widehat{\beta_1}=\beta_1+ \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } $$

$$\widehat{\beta_1}:標本回帰係数(推定量、確率変数)$$

$$\beta_1:母回帰係数(パラメーター、定数)$$

$$x_i:i番目の説明変数xのデータ(定数)$$

$$U_i:i番目の誤差項(確率変数)$$

になります。なお、説明変数Xのデータは確定していて、目的変数Yのデータが確定していない場合を考えています。

準備

(1)最小二乗推定量

 最小二乗法を用いた単回帰分析の標本回帰係数は

$$\widehat{\beta_1}= \frac{\sum\limits_{i=1}^n(x_i-\overline{x})(y_i-\overline{y}) } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }$$

です。証明は「単回帰分析と最小二乗推定量」です。

(1)仮定

 母集団にて

$$Y_i =\beta_0+\beta_1 X_i +U_i$$

が成立している必要があります。この母集団から無作為抽出した標本は、小文字で表して

$$y_i =\beta_0+\beta_1 x_i +u_i$$

です。また、分母=0だといけないので、

$$\sum\limits_{i=1}^n(x_i-\overline{x})^2≠0$$

を仮定します。

(2)特殊な仮定

 この記事では、説明変数Xのデータは確定していて、目的変数Yのデータが確定していない場合を考えます。つまり、

$$Y_i =\beta_0+\beta_1 x_i +U_i$$

の場合を考えます。これは他の記事の計算の手間を省くためです。

(3)単回帰分析の標本回帰係数

 (2)の仮定のもとで、最小二乗法を用いた単回帰分析の標本回帰係数は

$$\widehat{\beta_1}= \frac{\sum\limits_{i=1}^n(x_i-\overline{x})(Y_i-\overline{Y}) } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }$$

です。証明は「単回帰分析と最小二乗推定量」です。

議論

(1)目標

 標本から取得できる最小二乗推定量を、パラメーターである母回帰係数で表します。

(2)計算1

 最小二乗推定値は

$$\widehat{\beta_1}= \frac{\sum\limits_{i=1}^n(x_i-\overline{x})(Y_i-\overline{Y}) } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }$$

Σの性質で次に書き換えられる

$$=\frac{\sum\limits_{i=1}^n(x_i-\overline{x})Y_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }$$

(3)仮定の導入

Yについての仮定を踏まえると

$$=\frac{\sum\limits_{i=1}^n(x_i-\overline{x})(\beta_0+\beta_1x_i+U_i) } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 }$$

になります。

(4)計算2

Σを分割して

$$=\frac{\sum\limits_{i=1}^n(x_i-\overline{x})\beta_0 } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } + \frac{\sum\limits_{i=1}^n(x_i-\overline{x})\beta_1x_i} {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } + \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } $$

Σの性質を用いると

$$=0+ \frac{\beta_1\sum\limits_{i=1}^n(x_i-\overline{x})(x_i-\overline{x})} {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } + \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } $$

すると

$$\widehat{\beta_1}=\beta_1+ \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } $$

です。最小二乗推定値を母回帰係数で表現できます。

(5)最小二乗推定量

 最小二乗推定値は標本抽出によって定数になりますが、標本抽出前は確率変数です。これは最小二乗推定量といい

$$\widehat{\beta_1}=\beta_1+ \frac{\sum\limits_{i=1}^n(x_i-\overline{x})U_i } {\sum\limits_{i=1}^n(x_i-\overline{x})^2 } $$

です。

コメント欄 お気軽にコメントをお寄せください!

タイトルとURLをコピーしました