母回帰係数β１は、説明変数X1が「オリジナル」に1増えると、目的変数Yが増える量である。しかし、説明変数X1は、独立して決まるわけではない。説明変数X1は、他の説明変数のX2やX3と相関している。これが標本から標本回帰係数を求める際に問題となる。他の説明変数がX1を経由してYに与えた効果を、「削ぎ落とし」て、β1を推定しなければならない。
$$母集団 Y=\beta_0 +\beta_1 X_1 + \cdots + \beta_k X_k+U$$
$$推定結果 y_i=\widehat{\beta_0} +\widehat{\beta_1} x_{1i} + \cdots + \widehat{\beta_k} X_{ki}+\widehat{u_i}$$
$$\beta：母回帰係数、\widehat{\beta}：標本回帰係数$$
$$U：誤差項、\widehat{u_i}：残差$$
$$i：データ番号。1からnまで$$
重回帰分析にて最小二乗法は、削ぎ落とし（partialling out）をしている。FWL定理によれば、最小二乗法で推定されたβ１は、X2・・・Xkで説明できる部分を削ぎ落としたオリジナルな~X1を説明変数、Yを目的変数とした単回帰分析で得られる値と等しい。オリジナルな~X1は、X2・・・Xkを説明変数、X1を目的変数として重回帰分析して得られた残差を用いる。
$$x_{1i}=\widehat{\gamma_0}+\widehat{\gamma_2} x_{2i}+\cdots+\widehat{\gamma_k} x_{ki}+\widetilde{x_{1i}}という$$
$$重回帰をして得られた残差\widetilde{x_{1i}}は$$
$$x_2・・・x_kがx_1に与えた影響を削ぎ落とした$$
$$オリジナルなx_1と解釈できる。$$
$$FWL定理によれば、\widetilde{x_{1i}}を用いて$$
$$y_i=\widehat{\delta_0} + \widehat{\delta_1} \widetilde{x_{1i}}+残差$$
$$という単回帰をして得られた$$
$$最小二乗推定値\widehat{\delta_1}は最小二乗推定値\widehat{\beta_1}と等しい。$$
$$つまり \widehat{\beta_1}=\frac{\sum\limits_{i=1}^n y_{i} \widetilde{x_{1i}}} {\sum\limits_{i=1}^n \widetilde{x_{1i}}^2}$$
表面的な関係性を見て短絡的に結論を下す前に、《私》は削ぎ落とし（partilling out）をすべきだ。諸要素が注目する要素Xに与えた影響を削ぎ落として、要素Xのもつオリジナルな要素が結果Yに与えた効果に目を向ける。定量的な線形な関係であれば、重回帰分析が上手く機能する。
【追記】
・Frisch–Waugh–Lovellの定理（FWL定理）：重回帰分析についての定理。
・ラグナル・フリッシュ：FWL定理のF。初代ノーベル経済学賞受賞者（1969）のノルウェー人。ミクロ経済学、マクロ経済学の二分法を考案。計量経済学（econometrics）の用語を考案した。Econometric Society（計量経済学会）の創設者である。計量経済学会は、エコノメトリカという最も権威のある経済学論文誌を発行している。
・FWL定理を証明する。そのために次のことを前提とする。
前提①：最小二乗法で重回帰分析して
$$y_i=\widehat{\beta_0}+\widehat{\beta_{1}}x_{1i}+\cdots+\widehat{\beta_{k}}x_{ki}+\widehat{u_i}$$
$$x_{1i}=\widehat{\gamma_0}+\widehat{\gamma_2} x_{2i}+\cdots+\widehat{\gamma_k} x_{ki}+\widetilde{x_{1i}}$$
となった場合を考える。前者を「yを目的変数にした重回帰」、後者を「x1を目的変数にした重回帰」を呼ぶ。
前提②：残差二乗和を最小化した際に、残差^uの和はゼロになる。
$$\sum_{i=1}^n \widehat{u_i}=0$$
前提③：残差二乗和を最小化した際に、説明変数xと残差^uの積の総和もゼロになる。
$$\sum_{i=1}^n x_{1i}\widehat{u_i}=0$$
$$・・・$$
$$\sum_{i=1}^n x_{ki}\widehat{u_i}=0$$
前提④：単回帰分析の推定値は
$$Y_i=\widehat{\beta_0}+\widehat{\beta_{1}}x_{i}+残差 ならば$$
$$\widehat{\beta_1}=\frac{\sum\limits_{i=1}^n y_{i} x_{i}}{\sum\limits_{i=1}^n x_{i}^2}$$
準備ができたので、FWL定理を証明しよう。
なお、以下のβ、γ、δは最小二乗推定値で、しまうま総研では「^」をつける対象となる。しかし、文字圧を抑えるために「^」は省略した。
「前提③：説明変数と残差の積の総和はゼロ」より
$$\sum_{i=1}^n x_{1i}\widehat{u_i} =0$$
が成り立つ。証明では、この式を最後まで変形し続ける。「x1を目的変数にした重回帰」から代入して
$$\sum_{i=1}^n (\gamma_0+\gamma_2 x_{2i}+\cdots+\gamma_k x_{ki}+\widetilde{x_{1i}})\widehat{u_i} =0$$
となる。「前提②：残差の和はゼロ」「前提③：説明変数と残差の積の総和はゼロ」より
$$\sum_{i=1}^n \widetilde{x_{1i}}\widehat{u_i}=0$$
である。「yを目的変数にした重回帰」から代入して
$$\sum_{i=1}^n \widetilde{x_{1i}} (y_i -\beta_0-\beta_1x_{1i} – \cdots – \beta_k x_{ki}) =0$$
となり「前提②：残差の和はゼロ」「前提③：説明変数と残差の積の総和はゼロ」より
$$\sum_{i=1}^n \widetilde{x_{1i}}y_i -\sum_{i=1}^n \widetilde{x_{1i}} \beta_1x_{1i}=0$$
になる。「x1を目的変数にした重回帰」から代入した後に「前提②：残差の和はゼロ」「前提③：説明変数と残差の積の総和はゼロ」を利用すると
$$\sum_{i=1}^n \widetilde{x_{1i}}y_i-\beta_1\sum_{i=1}^n \widetilde{x_{1i}}^2 =0$$
重回帰分析の最小二乗推定量は
$$\beta_1=\frac{\sum\limits_{i=1}^n y_{i}\widetilde{x_{1i}}}{\sum\limits_{i=1}^n \widetilde{x_{1i}}^2}$$
になる。これは次の単回帰分析の推定量δ1と等しい。
$$y_i=\delta_0 + \delta_1 \widetilde{x_{1i}}+残差$$
よって、FWL定理は示された。
カテゴリー