重回帰モデルについて / 統計モデル

 重回帰モデル(multiple regression model)は、多面的な思考を定式化した最も単純なモデルである。複数の視点から物事を考えるのが、多面的思考だ。重回帰モデルでは「原因Xが1増えたら、結果Yはβ増える。そんな原因はXがk個ある」という多面的思考が素直にモデル化されている。

$$Y=\beta_0 + \beta_1 X_1 +\beta_2 X_2 + \cdots + \beta_k X_k +U$$

$$Y:目的変数、X:説明変数$$

$$U:誤差項、\beta:回帰係数$$

 

 重回帰モデルで注目すべきは、回帰係数βだ。回帰係数(regression coefficient)は、説明変数Xが目的変数Yに与える効果と解釈できる。例えば、説明変数X1が1増えたら、目的変数Yは平均的にβ1増える。この関係性は外生性(exogeneity)が成り立っている限りにおいて正しい。外生性とは、説明変数Xと誤差項U(error term)が無相関であることである。

$$Y=\beta_0 + \beta_1 X_1 +\beta_2 X_2 + \cdots + \beta_k X_k +U$$

$$外生性E(U|X_1, X_2 \cdots X_k)=0が成り立つならば$$

$$\frac{ \partial E(Y|X_1, X_2 \cdots X_k)}{ \partial X_1 }=\beta_1$$

 

 重回帰分析における問題は、外生性が成り立っているのかわからない点である。外生性が成り立たず、説明変数Xと誤差項Uが相関している場合を内生性(endogeneity)と言う。外生性と内生性について調べたくとも、誤差項Uは観測不可能である。なぜなら、モデルの予測値と標本の実現値の差を残差(residual error)というが、残差=誤差項U+統計モデルの誤差であり、誤差項Uのみを観測することはできないからだ。内生性の問題に直面し続けた実証系の経済学者が発展させたのが、計量経済学(econometrics)と呼ばれる学問である。

 

【追記】

・しまうま総研ではXを説明変数、Yを目的変数と呼ぶ。しかし、いくつか流派がある。Xは、説明変数(explanatory variable)に加えて独立変数(independent variable)、Yは目的変数(objective variable)に加えて被説明変数(explained variable)、従属変数(dependent variable)と呼ばれることがある。

・しまうま総研では、重回帰モデルと重回帰分析を明確に区別している。重回帰モデルは、母集団で成り立つ変数同士の関係性についての仮説である。ゆえに重回帰モデルにおけるβは母回帰係数(パラメーター)であり、XやYは確率変数で大文字ある。

・重回帰分析とは、標本から特定の重回帰モデルにフィットするように回帰係数を推定するデータ分析の手法である。ゆえに重回帰分析におけるβは「^」のついた標本回帰係数(推定量もしくは推定値)であり、xやyの観測値は確定変数で小文字である。