【発展】FWL定理と重回帰分析

 FWL定理を使えば、線形代数なしで重回帰分析を理解できます。「FWL定理とは何か?」「線形代数を使わずにどう証明するか?」を説明します。

要約

 FWL定理は、重回帰分析を単回帰分析に帰着させて、理解する考え方です。証明では、最小二乗法の性質を用います。

直感的な理解

 重回帰分析におけるβ1は、ある条件で、X1が1単位増えるとYがβ1増えることを意味します。その条件は、X1以外のすべての説明変数が一定の場合、ラテン語でCeteris paribus(セテリス・パリブス)の場合です。

$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+u_i$$

 しかし、X1が独立に1単位増えるとは限りません。X1と他の変数に相関があることが考えられます。このとき「X1以外のすべての説明変数が一定で X1だけ動く場合」を考えるのは無意味です。

 FWL定理は重回帰分析におけるβ1の正確な解釈を与えてくれます。それは「他の変数がX1に与える影響を取り除いた」「X1固有の要因」

$$\widetilde{X_{1i}}=X_{1i}-(\gamma_0+\gamma_1 X_{2i}+\cdots+\gamma_k X_{ki})$$

が1単位増えるとYがβ1増えるというものです。

FWL定理とは

 FWL定理(フリッシュ・ウォー・ローヴェル定理)とは「重回帰モデルを、最小二乗法で推定した結果が
$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+u_i$$
のとき

$$\beta_1=\frac{\sum\limits_{i=1}^n Y_{i} \widetilde{X_{1i}}} {\sum\limits_{i=1}^n \widetilde{X_{1i}}^2}$$
と表せる」という定理です。ただし
$$\widetilde{X_{1i}}$$
はX1を目的変数、X2・・・Xkを説明変数にして重回帰したときの残差です。

$$X_{1i}=\gamma_0+\gamma_1 X_{2i}+\cdots+\gamma_k X_{ki}+\widetilde{X_{1i}}$$

 ちなみに、FWLのFにあたるラグナル・フリッシュさんは「ミクロ経済学Microeconomics」「マクロ経済学Macroeconomics」「計量経済学Econometrics」の用語を考案したノルウェーの経済学者で、初代ノーベル経済学賞受賞者です。

FWL定理の手順

$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+u_i$$

 FWL定理を用いて、β1を計算するときは次の手順で行います。

 第一にX1を目的変数、X2・・・Xkを説明変数にして重回帰
$$X_{1i}=\gamma_0+\gamma_1 X_{2i}+\cdots+\gamma_k X_{ki}+\widetilde{X_{1i}}$$
を計算し、残差(〜が上についているX1i)を導きます。

 第二にYを目的変数、求めた残差を説明変数にして単回帰
$$Y_{i}=\pi_0+\pi_1\widetilde{X_{1i}}+\epsilon_i$$
を計算し、回帰係数を導きます。このとき
$$\pi_1=\beta_1$$
となることを、FWL定理は意味します。

証明

FWL定理を証明します。

最小二乗法の性質

$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+u_i$$

↑の重回帰モデルを最小二乗法で推定して(※uは誤差項)、

$$Y_i=\widehat{\beta_0}+\widehat{\beta_{1}}X_{1i}+\cdots+\widehat{\beta_{k}}X_{ki}+ \widetilde{u_i}・・・式(1)$$

↑と推定されたとしましょう(※〜のついているuは残差、^のついているβは最小二乗法推定値)。

 このとき、残差の和は
$$\sum_{i=1}^n \widetilde{u_i}=0$$
になり、目的変数と残差の積の総和は
$$\sum_{i=1}^n X_{1i}\widetilde{u_i}=0$$
$$・・・$$
$$\sum_{i=1}^n X_{ki}\widetilde{u_i}=0$$

となることが知られています。

証明の方針

$$\sum_{i=1}^n X_{1i}\widetilde{u_i}=0$$
からスタートして、最小二乗法の性質を用いて次々に変数を削ぎ落としていき、単回帰に帰着させます。

最小二乗法で推定した式一覧

 式(1)と式(2)は最小二乗法で推定したもの。XとYについて、無印は実現値、^は予測値、〜は残差を意味します。βは最小二乗法推定値で、^をつけるべきですが、式が煩雑になるのでこれからは省略します。
$$Y_i=\widehat{Y_i}+\widetilde{u_i}$$$$=(\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki})+\widetilde{u_i}・・・式(1)$$
$$X_{1i}=\widehat{X_{1i}}+\widetilde{X_{1i}}$$$$=(\gamma_0+\gamma_1 X_{2i}+\cdots+\gamma_k X_{ki})+\widetilde{X_{1i}}・・・式(2)$$

証明1/7:出発点

まず、式(1)は最小二乗法で推定しているので
$$\sum_{i=1}^n X_{1i}\widetilde{u_i} =0・・・式(3)$$
が成り立ちます。

証明2/7:削ぎ落とし1

 式(3)と式(2)より

$$\sum_{i=1}^n (\gamma_0+\gamma_1 X_{2i}+\cdots+\gamma_k X_{ki}+\widetilde{X_{1i}})\widetilde{u_i} =0$$

よって

$$\sum_{i=1}^n \widetilde{u_i} (\gamma_0+\gamma_1 X_{2i}+\cdots+\gamma_k X_{ki }) $$$$+\sum_{i=1}^n \widetilde{u_i} \widetilde{X_{1i}}=0・・・式(4)$$


となりますが、式(2)は最小二乗法で推定しているので
$$\gamma_0\sum_{i=1}^n \widetilde{u_i}=0$$
$$\gamma_2\sum_{i=\gamma_k1}^n \widetilde{u_i} X_{2i}=0$$
$$・・・$$
$$\gamma_k\sum_{i=1}^n \widetilde{u_i} X_{ki}=0$$

という最小二乗法の性質がありますから、式(4)は
$$\sum_{i=1}^n \widetilde{u_i} \widetilde{X_{1i}}=0・・・式(5)$$
となります。このように最小二乗法の性質(残差と説明変数の関係性)を用いて、徐々に式(3)を削ぎ落としていくのがFWLの証明方法です。

証明3/7:削ぎ落とし2

式(5)は式(1)より

$$\sum_{i=1}^n (Y_i -\beta_0-\beta_1X_{1i} – \cdots – \beta_kX_{ki}) \widetilde{X_{1i}}=0$$

式(2)と最小二乗法の性質を用いて削ぎ落とすと、YとX1が残って
$$\sum_{i=1}^n Y_i \widetilde{X_{1i}}-\sum_{i=1}^n \beta_1X_{1i} \widetilde{X_{1i}}=0$$

となります。

証明4/7:削ぎ落とし3

X1に注目して、式(2)と最小二乗法の性質を用いて同じように削ぎ落とすと
$$\sum_{i=1}^n Y_i \widetilde{X_{1i}}-\widehat{\beta_1}\sum_{i=1}^n \widetilde{X_{1i}}^2 =0$$

証明5/7:重回帰の推定量β1をΣで表す

したがって、重回帰分析の最小二乗推定量は
$$\beta_1=\frac{\sum\limits_{i=1}^n Y_{i}\widetilde{X_{1i}}}{\sum\limits_{i=1}^n \widetilde{X_{1i}}^2}$$

となります。

証明6/7:単回帰

なお
$$Y_i=\pi_0+\pi_1 \widetilde{X_{1i}} +e_i$$
を単回帰したときの回帰係数は、上に棒線を引くことで平均を表現すると
$$\pi_1=\frac{
\sum\limits_{i=1}^n
(Y_{i}-\overline{Y})
( \widetilde{X_{1i}}-\overline{\widetilde{X_{1}}})
}{
\sum\limits_{i=1}^n
(\widetilde{X_{1i}}-\overline{\widetilde{X_{1}}})^2}
・・・式(6)$$

となります。(←詳しくは単回帰係数の求め方を調べてください)

 ここで最小二乗法の性質より残差の和がゼロであり、ゆえに残差の平均がゼロであること

$$ \overline{\widetilde{X_{1}}}=\frac{1}{n}\sum_{i=1}^n \widetilde{X_{1i}}=0$$

を式(6)の分子に反映させると、次のように式(6)の分子を展開できます。

$$\sum\limits_{i=1}^n
(Y_{i}-\overline{Y})(\widetilde{X_{1i}}-0)
=\sum\limits_{i=1}^n
Y_{i}\widetilde{X_{1i}}
-\sum\limits_{i=1}^n
\overline{Y}\widetilde{X_{1i}}$$
$$=\sum\limits_{i=1}^n
Y_{i}\widetilde{X_{1i}}- \overline{Y}\sum\limits_{i=1}^n
\widetilde{X_{1i}}=\sum\limits_{i=1}^n
Y_{i}\widetilde{X_{1i}}$$

一方で式(6)の分母は残差の平均がゼロであることより

$$\sum\limits_{i=1}^n
(\widetilde{X_{1i}}-0)^2 =\sum\limits_{i=1}^n
\widetilde{X_{1i}}^2$$

となります。したがって、式(6)は

$$\pi_1=\frac{\sum\limits_{i=1}^nY_{i} \widetilde{X_{1i}}}{\sum\limits_{i=1}^n \widetilde{X_{1i}}^2}$$

証明7/7:β1=ある種の単回帰係数

 よって、
$$\pi_1=\beta_1=\frac{\sum\limits_{i=1}^nY_{i} \widetilde{X_{1i}}}{\sum\limits_{i=1}^n \widetilde{X_{1i}}^2}$$

が示されました。

Q.E.D

参考資料:YouTube

コメント欄 お気軽にコメントをお寄せください!

タイトルとURLをコピーしました