FWL定理で重回帰分析を理解する

2023.04.23

要約

　FWL定理を解釈すると

=====

　次の重回帰分析

$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+U_i$$

におけるβ1とは、

・X2,X3・・・XkがX1に与える効果をすべて削ぎ落としたX1オリジナルな部分が

・1単位大きいとき

・Yに与える効果である

=====

という重回帰の理解が得られます。ちなみにこの考え方は「削ぎ落とし：Partialling Out」と呼ばれます。

全体像

（1）問題の構造

　「FWL定理は正しいか？」という問いを設定します。この問いを

①FWL定理とは何か

②FWL定理の使い方は何か？

②前提として何を使ってよいか？

③前提からFWL定理を導けるか？

に分解します。

（2）前提の選択

　①と②を前提として選択します。

（3）論点の選択

　③を論点として選択します。

（4）付録一覧

前提

（1）FWL定理

　FWL定理（フリッシュ・ウォー・ローヴェル定理）は、最小二乗法を用いた重回帰分析を単回帰分析っぽく理解することができる便利な定理です。

　ちなみに、FWLのFにあたるラグナル・フリッシュさんは「ミクロ経済学Microeconomics」「マクロ経済学Macroeconomics」「計量経済学Econometrics」の用語を考案したノルウェーの経済学者で、初代ノーベル経済学賞受賞者です。

　さて、FWL定理は次の定理です。

========

　重回帰モデルを、最小二乗法で推定した結果が

$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+u_i$$

$$i：データ番号。i=1,2・・・N。Nはサンプルサイズ$$

のとき

$$\beta_1=\frac{\sum\limits_{i=1}^n Y_{i} \widetilde{X_{1i}}} {\sum\limits_{i=1}^n \widetilde{X_{1i}}^2}$$

と表せる。ただし

$$\widetilde{X_{1i}}$$

はX1を目的変数、X2・・・Xkを説明変数にして重回帰したときの残差である。

$$X_{1i}=\gamma_0+\gamma_2 X_{2i}+\cdots+\gamma_k X_{ki}+\widetilde{X_{1i}}$$

======

（２）FWL定理の使い方

　FWL定理は次のことを意味します。

　まず、「X1を目的変数、X2・・・Xkを説明変数」の重回帰分析がすでにできているとします。

$$X_{1i}=\gamma_0+\gamma_2 X_{2i}+\cdots+\gamma_k X_{ki}+\widetilde{X_{1i}}$$

$$\widetilde{X_{1i}}：残差$$

　このとき、「Yを目的変数、X1・・・Xkを説明変数」の重回帰分析は、次の単回帰分析の結果で表せます。

$$Y_{i}=\pi_0+\pi_1\widetilde{X_{1i}}+\epsilon_i$$

$$\pi_1=\beta_1$$

　つまり、重回帰分析を単回帰分析っぽく理解できるのです。

　もっと言えば、β1とは、

・X2,X3・・・XkがX1に与える効果をすべて削ぎ落としたX1オリジナルな部分が

・1単位大きいとき

・Yに与える効果である

ということを意味します。

（3）最小二乗法の性質

　この記事では、次の内容を既知とします。

=====

　最小二乗法で重回帰分析して

$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+\widetilde{u_i}$$

となった場合、残差の和はゼロです。

$$\sum_{i=1}^n \widetilde{u_i}=0$$

になり、説明変数と残差の積の総和もゼロです。

$$\sum_{i=1}^n X_{1i}\widetilde{u_i}=0$$

$$・・・$$

$$\sum_{i=1}^n X_{ki}\widetilde{u_i}=0$$

=====

（４）単回帰分析の最小二乗推定量

　最小二乗法で単回帰分析して

$$Y_i=\beta_0+\beta_{1}X_{i}+残差$$

となった場合、

$$\beta_1=\frac{\sum\limits_{i=1}^nY_{i} X_{i}}{\sum\limits_{i=1}^n X_{i}^2}$$

であることが知られています。

　

方法

　次の単回帰分析

$$Y_i=\pi_0+\pi_{1}\widetilde{X_{1i}}+\widetilde{u_i}$$

における最小二乗推定量π1は

$$\pi_1=\frac{\sum\limits_{i=1}^n Y_{i}\widetilde{X_{1i}}}{\sum\limits_{i=1}^n \widetilde{X_{1i}}^2}$$

となります。ここで「説明変数と残差の積の総和もゼロ」

$$\sum_{i=1}^n X_{1i}\widetilde{u_i}=0$$

から出発してβ1を得て、β1=π1となれば、FWL定理は証明できたと言えます。

結果

　「説明変数と残差の積の総和はゼロ」より

$$\sum_{i=1}^n X_{1i}\widetilde{u_i} =0$$

が成り立ちます。「X1を目的変数にした重回帰」を思い出すと

$$\sum_{i=1}^n (\gamma_0+\gamma_2 X_{2i}+\cdots+\gamma_k X_{ki}+\widetilde{X_{1i}})\widetilde{u_i} =0$$

となり「残差の和はゼロ」「説明変数と残差の積の総和はゼロ」より

$$\sum_{i=1}^n \widetilde{u_i} \widetilde{X_{1i}}=0$$

です。「Yを目的変数にした重回帰」を思い出すと

$$\sum_{i=1}^n (Y_i -\beta_0-\beta_1X_{1i} – \cdots – \beta_kX_{ki}) \widetilde{X_{1i}}=0$$

となり「残差の和はゼロ」「説明変数と残差の積の総和はゼロ」より

$$\sum_{i=1}^n Y_i \widetilde{X_{1i}}-\sum_{i=1}^n \beta_1X_{1i} \widetilde{X_{1i}}=0$$

になります。「X1を目的変数にした重回帰」を思い出して「残差の和はゼロ」「説明変数と残差の積の総和はゼロ」を利用すると

$$\sum_{i=1}^n Y_i \widetilde{X_{1i}}-\beta_1\sum_{i=1}^n \widetilde{X_{1i}}^2 =0$$

　重回帰分析の最小二乗推定量は
$$\beta_1=\frac{\sum\limits_{i=1}^n Y_{i}\widetilde{X_{1i}}}{\sum\limits_{i=1}^n \widetilde{X_{1i}}^2}$$

になる。これは次の単回帰分析の推定量π1と等しいです。

考察

（1）結論

　FWL定理は正しい！

（2）妥当性評価

前提評価

方法評価

結論評価

（3）意義

　FWL定理を解釈すると

=====

　次の重回帰分析

$$Y_i=\beta_0+\beta_{1}X_{1i}+\cdots+\beta_{k}X_{ki}+u_i$$

におけるβ1とは、

・X2,X3・・・XkがX1に与える効果をすべて削ぎ落としたX1オリジナルな部分が

・1単位大きいとき

・Yに与える効果である

=====

という重回帰の理解が得られます。ちなみにこの考え方は「削ぎ落とし：Partialling Out」と呼ばれます

付録