母回帰係数β１は、説明変数X1が「オリジナル」に1増えると、目的変数Yが増える量である。しかし、説明変数X1は、独立して決まるわけではない。説明変数X1は、他の説明変数のX2やX3と相関している。これが標本から標本回帰係数を求める際に問題となる。他の説明変数がX1を経由してYに与えた効果を、「削ぎ落とし」て、β1を推定しなければならない。
$$母集団 Y=\beta_0 +\beta_1 X_1 + \cdots + \beta_k X_k+U$$
$$推定結果 y_i=\widehat{\beta_0} +\widehat{\beta_1} x_{1i} + \cdots + \widehat{\beta_k} X_{ki}+\widehat{u_i}$$
$$\beta：母回帰係数、\widehat{\beta}：標本回帰係数$$
$$U：誤差項、\widehat{u_i}：残差$$
$$i：データ番号。1からnまで$$
重回帰分析にて最小二乗法は、削ぎ落とし（partialling out）をしている。FWL定理（証明は追記）を用いると、x1,x2,・・・,xkでyを重回帰して得られたβ1と、削ぎ落としされたx1でyを単回帰して得られるδ1は等しい。重回帰分析では削ぎ落としができているのである。
$$x_{1i}=\widehat{\gamma_0}+\widehat{\gamma_2} x_{2i}+\cdots+\widehat{\gamma_k} x_{ki}+\widetilde{x_{1i}}という$$
$$重回帰をして得られた残差\widetilde{x_{1i}}は$$
$$x_2・・・x_kがx_1に与えた影響を削ぎ落とした$$
$$オリジナルなx_1と解釈できる。$$
$$FWL定理によれば、\widetilde{x_{1i}}を用いて$$
$$y_i=\widehat{\delta_0} + \widehat{\delta_1} \widetilde{x_{1i}}+残差$$
$$での単回帰の推定値\widehat{\delta_1}と重回帰の推定値\widehat{\beta_1}は等しい。$$
$$y_i=\widehat{\beta_0} +\widehat{\beta_1} x_{1i} + \cdots + \widehat{\beta_k} X_{ki}+\widehat{u_i}$$
多面的な思考を適切に行うには、別の諸要因の効果を削ぎ落とし（partialling out）た後に、原因と結果に注目すべきだ。定量的で線形な関係であれば、重回帰分析が上手く機能する。
【追記】
・Frisch–Waugh–Lovellの定理（FWL定理）：重回帰分析についての定理。
・ラグナル・フリッシュ：FWL定理のF。初代ノーベル経済学賞受賞者（1969）のノルウェー人。ミクロ経済学、マクロ経済学の二分法を考案。計量経済学（econometrics）の用語を考案した。Econometric Society（計量経済学会）の創設者である。計量経済学会は、エコノメトリカという最も権威のある経済学論文誌を発行している。
・FWL定理を証明する。そのために次のことを前提とする。
前提⓪：最小二乗法とは「最小二乗法(OLS)について」の通りで、
$$残差二乗和\sum_{i=1}^N \left[ y_i -f \left( x_i, \widehat{\beta} \right) \right] ^2を最小化する\widehat{\beta}を求める。$$
$$ただし、y：目的変数、x：説明変数、i：データ番号、N：サンプル・サイズ$$
$$f \left( x_i, \widehat{\beta} \right)：統計モデル、\beta：パラメーター、\widehat{\beta}：推定値$$
という手法である。そして、統計モデルが重回帰モデルの場合、最小二乗法とは、
$$RSS=\sum_{i=1}^N \left[ y_i -\widehat{\beta_0} – \widehat{\beta_{1}}x_{1i} – \cdots – \widehat{\beta_{k}}x_{ki} \right] ^2を最小化する\widehat{\beta}を求める。$$
である。そして、最小二乗推定値^β0〜^βkは次を満たす。
$$\frac{\partial RSS}{\partial \widehat{\beta_0}}=0・・・式A$$
$$\frac{\partial RSS}{\partial \widehat{\beta_1}}=0・・・式B$$
$$ \cdots $$
$$\frac{\partial RSS}{\partial \widehat{\beta_k}}=0$$
前提①：最小二乗法で重回帰分析して
$$y_i=\widehat{\beta_0}+\widehat{\beta_{1}}x_{1i}+\cdots+\widehat{\beta_{k}}x_{ki}+\widehat{u_i}$$
$$x_{1i}=\widehat{\gamma_0}+\widehat{\gamma_2} x_{2i}+\cdots+\widehat{\gamma_k} x_{ki}+\widetilde{x_{1i}}$$
となった場合を考える。前者を「yを目的変数にした重回帰」、後者を「x1を目的変数にした重回帰」を呼ぶ。
前提②：残差二乗和を最小化した際に、残差^uの和はゼロになる。これは前提⓪の式Aから導ける。
$$\sum_{i=1}^n \widehat{u_i}=0$$
前提③：残差二乗和を最小化した際に、説明変数xと残差^uの積の総和もゼロになる。これは前提⓪の式Bから導ける。
$$\sum_{i=1}^n x_{1i}\widehat{u_i}=0$$
$$・・・$$
$$\sum_{i=1}^n x_{ki}\widehat{u_i}=0$$
前提④：単回帰分析の推定値は
$$Y_i=\widehat{\beta_0}+\widehat{\beta_{1}}x_{i}+残差 ならば$$
$$\widehat{\beta_1}=\frac{\sum\limits_{i=1}^n y_{i} x_{i}}{\sum\limits_{i=1}^n x_{i}^2}$$
準備ができたので、FWL定理を証明しよう。
なお、以下のβ、γ、δは最小二乗推定値で、しまうま総研では「^」をつける対象となる。しかし、文字圧を抑えるために「^」は省略した。
「前提③：説明変数と残差の積の総和はゼロ」より
$$\sum_{i=1}^n x_{1i}\widehat{u_i} =0$$
が成り立つ。証明では、この式を最後まで変形し続ける。「x1を目的変数にした重回帰」から代入して
$$\sum_{i=1}^n (\gamma_0+\gamma_2 x_{2i}+\cdots+\gamma_k x_{ki}+\widetilde{x_{1i}})\widehat{u_i} =0$$
となる。「前提②：残差の和はゼロ」「前提③：説明変数と残差の積の総和はゼロ」より
$$\sum_{i=1}^n \widetilde{x_{1i}}\widehat{u_i}=0$$
である。「yを目的変数にした重回帰」から代入して
$$\sum_{i=1}^n \widetilde{x_{1i}} (y_i -\beta_0-\beta_1x_{1i} – \cdots – \beta_k x_{ki}) =0$$
となり「前提②：残差の和はゼロ」「前提③：説明変数と残差の積の総和はゼロ」より
$$\sum_{i=1}^n \widetilde{x_{1i}}y_i -\sum_{i=1}^n \widetilde{x_{1i}} \beta_1x_{1i}=0$$
になる。「x1を目的変数にした重回帰」から代入した後に「前提②：残差の和はゼロ」「前提③：説明変数と残差の積の総和はゼロ」を利用すると
$$\sum_{i=1}^n \widetilde{x_{1i}}y_i-\beta_1\sum_{i=1}^n \widetilde{x_{1i}}^2 =0$$
重回帰分析の最小二乗推定量は
$$\beta_1=\frac{\sum\limits_{i=1}^n y_{i}\widetilde{x_{1i}}}{\sum\limits_{i=1}^n \widetilde{x_{1i}}^2}$$
になる。これは次の単回帰分析の推定量δ1と等しい。
$$y_i=\delta_0 + \delta_1 \widetilde{x_{1i}}+残差$$
よって、FWL定理は示された。