単回帰モデルの母回帰係数は、XとYの母共分散Cov(X,Y)をXの母分散Var(X)で割ったものと等しい。
$$単回帰モデル Y=\beta_0 +\beta_1 X +U$$
$$\betaは母集団のパラメーター$$
$$X,Yは確率変数、Uは誤差項$$
$$ただし 外生性E(U|X)=0が成り立つ$$
$$\beta_1 = \frac{Cov(X,Y)}{Var(X)}$$
これは外生性の仮定から導出できる。外生性E(U|X)=0は、同時にE(U)=0とE(XU)も意味する。ゆえに式１、式２が成り立つ。式1と式2をモーメント条件という。母共分散と母分散の定義と性質（式3、式4）を利用して、モーメント条件(式1,式2)を解いてやれば、上記の結論にたどりつく。
$$E(Y-\beta_0 -\beta_1 X)=0・・・式1$$
$$E[X(Y-\beta_0 -\beta_1 X)]=0・・・式2$$
$$Cov(X,Y)≡E[ (X-E(X))(Y-E(Y))]$$
$$=E(XY)-E(X)E(X)・・・式3$$
$$Var(X)≡E[ (X-E(X))^2]$$
$$=E \left(X^2 \right) -\left( E(X)\right)^2・・・式4$$
ここで《私》は、最小二乗法で得られる標本回帰係数が、母回帰係数に上手く対応していることに気づいて感動する。標本回帰係数は、xとyの標本共分散cov(x,y)をxの標本分散var(x)で割ったものと等しい(式5)。さらに、モーメント条件と似たものは、残差二乗和RSSを^β0と^β1で偏微分して、両辺を-2nで割ってやると得られる。式6と式7は、それぞれ式1と式2のモーメント条件に対応している。
$$単回帰分析 y_i=\widehat{\beta_0} +\widehat{ \beta_1} x_i +\widehat{u_i}$$
$$\widehat{\beta}は標本から得られた推定値$$
$$iはデータ番号で1からnまである$$
$$nはサンプル・サイズ$$
$$x_i,y_iは確定変数、\widehat{u}は残差$$
$$ただし \widehat{\beta}は残差二乗和\sum_{i=1}^n \widehat{u_i}を最小化する値$$
$$\widehat{\beta_1} = \frac{cov(x,y)}{var(x)}= \frac{ \frac{1}{n} \sum_{i=1}^n (x_i -\overline{x})(y_i -\overline{y}) }{ \frac{1}{n} \sum_{i=1}^n (x_i -\overline{x})^2 }・・・式5$$
$$-\frac{1}{2n}\frac {\partial RSS (\widehat{\beta_0},\widehat{\beta_1}) }{\partial \widehat{ \beta_0} }=\frac{1}{n}\sum_{i=1}^n (y_i-\widehat{\beta_0}-\widehat{\beta_1}x_i)=0・・・式6$$
$$-\frac{1}{2n}\frac {\partial RSS (\widehat{\beta_0},\widehat{\beta_1}) }{\partial \widehat{\beta_0}}=\frac{1}{n}\sum_{i=1}^n x_i(y_i-\widehat{\beta_1}-\widehat{\beta_1}x_i)=0・・・式7$$
【追記】
XとYとUについて、大文字と小文字の違いが気になったかもしれない。しまうま総研では、大文字は確率変数、小文字は確定変数と意識的に書き分けている。
母集団ではまだ確率分布しか決まっていないので、母集団モデルでの説明変数、目的変数、誤差項は確率変数であり、大文字のX,Y,Uで表した。一方で、標本抽出し、最小二乗法で推定したのならば、説明変数、目的変数、残差は確定変数であり、x,y,^uと小文字で表した。
なお、母回帰係数も標本回帰係数も確定変数であるため、小文字にしてある。ギリシア文字のベータは、小文字がβで、大文字がBである。
カテゴリー