計量経済学で頻出の「繰り返し期待値の法則」について証明します。繰り返し期待値の法則とは
$$E(X)=E(E(X|Z))$$
で「確率変数Xの期待値」は「条件付き期待値E(X|Z)の期待値」と等しいという法則です。
＞＞R入門の記事はこちらから！＜＜
要約
（1）問い
問いは「繰り返し期待値の法則は正しいか？」です。つまり、↓です。
$$E(X)=E(E(X|Z))は正しいか？$$
（2）答え
答えは「正しい」です。理由は↓です。前提など詳しくは記事をご覧ください。
$$E(E(X|Z))=\sum_{j=1}^m E(X|z_j) P(z_j)$$
$$=\sum_{j=1}^m \sum_{i=1}^n x_i P(x_i|z_j) P(z_j)$$
$$=\sum_{i=1}^n x_i \sum_{j=1}^m P(x_i|z_j) P(z_j)$$
$$=\sum_{i=1}^n x_i P(x_i) =E(X)$$
（3）意義
繰り返し期待値の法則は、回帰分析を理解するのに役立ちます。
なお、最後の付録には、繰り返し期待値の法則を図で解説しました。下画像はそこで用いている画像例です。
前提
（1）定義
確率
確率変数Aが、定数aを取る確率を
$$P_A(a)$$
とします。ただ、表記が複雑になるので、下記で略記します。
$$P(a)$$
条件付き確率
確率変数Bが定数bを取るという条件で、確率変数Aが定数aを取る確率を
$$P_{A|B}(a|b)$$
とします。ただ、表記が複雑になるので、下記で略記します。
$$P(a|b)$$
確率変数X
確率変数Xは、n種類の値を取れる確率変数とします。なお、離散型確率変数について考えます。
$$確率変数：X$$
$$取りうる値：x_1，x_2，x_3 \cdots x_i \cdots x_n$$
$$i番目のxを取る確率：P(x_i)$$
確率変数Z
確率変数Zは、m種類の値を取れる確率変数とします。なお、離散型確率変数について考えます。
$$確率変数：Z$$
$$取りうる値：z_1，z_2，z_3 \cdots z_j \cdots z_m$$
$$j番目のzを取る確率：P(z_j)$$
シグマΣ
シグマ（Σ）は総和を表す記号です。下のΣは、番号kが1からmまでのAをすべて足すを意味します。
$$\sum_{k=1}^m A_k =A_1+A_2+ \cdots +A_m$$
期待値
（離散型確率変数の）期待値は次で定義されます。
$$E(X)=\sum_{i=1}^n x_i P(x_i)$$
期待値とは「確率変数Xが平均的にどの値になるか」についての概念です。「取りうる値」に「それを取る確率」をかけて合計します。つまり
$$番号i=1のとき、x_1 P(x_1)$$
$$番号i=2のとき、x_2 P(x_2)$$
$$\cdots$$
$$番号i=nのとき、x_n P(x_n)$$
として、これらをすべて足す（Σ）のです。これは加重平均とも言われます。
条件付き期待値
条件付き期待値は次で定義されます。
$$E(X|z_j)=\sum_{i=1}^n x_i P(x_i|z_j)$$
（2）仮定する条件
確率変数XとZは、離散型とします。
（3）事実
積事象の確率
xiかつzjとなる確率は
$$P(x_iかつz_j)=P(x_i|z_j) P(z_j)$$
です。なぜなら、まずZ=zjになり、その上でX=xiとなる確率は
$$P(z_j) \times P(x_i|z_j) $$
であり、これはxiかつzjとなる確率だからです。
ΣP(x|z)P(z)の法則
次が成り立ちます。
$$P(x_i)=\sum_{j=1}^m P(x_i|z_j) P(z_j)$$
これを示します。まず、積事象の確率より、上式は
$$=\sum_{j=1}^m P(x_i かつ z_j)$$
です。さて、
$$確率変数Z=z_1またはz_2または・・・またはz_m$$
でどれも排反ですから、Σでj=1，2・・・mを考えるとは、すべての場合をモレなくダブりなく考えるということです。ということは、これらを合計すると、純粋にX=xiになる確率
$$P(x_i)$$
になります。最後の部分をm=3で考えると、例えば次の図ようになります。
方法
（1）問題の構造
一見異なるE(X)とE(E(X|Z))が等しいことを示す問題です。
（2）論点と判断基準
等しいのであれば、片方を変形してもう片方に帰着させられるはずです。この場合の鉄則は、複雑な方を変形して単純な方に帰着させることです。
したがって、論点を「E(E(X|Z))を変形して、E(X)を導けるか」とします。
導けるのであれば、繰り返し期待値の法則が示されたことになります。
結果
まずE(E(X|Z))から考えます。期待値の定義より、
$$E(E(X|Z))=\sum_{j=1}^m \Big( E(X|z_j) \Big) P(z_j)$$
となります。Zがzjになっているのは、Σで「番号j=1のとき」「番号j=2のとき」・・・「番号j=m」のときと場合分けして考えているからです。確率変数Zが決まっても確率変数Xは決まらないので、XはXのままです。
ここで条件付きの期待値の定義より
$$=\sum_{j=1}^m \left( \sum_{i=1}^n x_i P(x_i|z_j) \right) P(z_j)$$
合計する順番が変わるだけなのでΣは入れ替えられるので
$$=\sum_{i=1}^n \sum_{j=1}^m x_i P(x_i|z_j) P(z_j)$$
jのΣはiを無視できるので
$$=\sum_{i=1}^n x_i \sum_{j=1}^m P(x_i|z_j) P(z_j)$$
ΣP(x|z)P(z)の法則より
$$=\sum_{i=1}^n x_i P(x_i) $$
↑は期待値の定義に当てはまっているので
$$=E(X)$$
です。これで繰り返し期待値の法則が示されました。
考察
（1）結論
繰り返し期待値の法則は正しいです。
$$E(X)=E(E(X|Z))$$
（2）妥当性評価
この記事では、離散型変数の場合を、証明しました。連続型確率変数の場合は、未証明です。なぜなら、「確率変数X、Zが離散型確率変数である」と仮定して考えたからです。
ただし、連続型確率変数でも繰り返し期待値の法則が成り立つことが知られています。連続型の証明では、積分記号を使って証明します。調べてみてください。
（3）意義
繰り返し期待値の法則は、回帰分析を計量経済学的に解釈して証明する際に、多用します。便利な法則です。
付録：繰り返し期待値の法則の図解
Xが連続型確率変数、Zが離散型確率変数の場合に
$$E(X)=E(E(X|Z))$$
が成立するとは、どういうことなのかを図解してみます。
（1）前提
次の場合を考えます。
$$確率変数X：期待値E(X)=1.5$$
$$確率変数Z： 等確率で1 または 0$$
$$Z=0のときのXの期待値E(X|Z=0)＝1$$
$$Z=1のときのXの期待値E(X|Z=1)＝2$$
いろんな場合が考えられますが、これを図示すると下の図1になったとします。横に伸びるのがX、斜め向こうに伸びるのがZ、垂直方向に伸びるのが確率密度です。
（2）結果
Xの確率分布とE(X)
このとき、Xの確率分布を描くと、下の図2になります。左の山はZ=0になったときの分布、右の山はZ=1になったときの分布であり、両者が合わさったので二峰型の分布になっています。
↑のとき、E(X)=1.5です。
E(X|Z)の確率分布とE(E(X|Z))
E(X|Z)の確率分布を描くと、下の図3になります。さきほどとの違いが横軸がE(X|Z)であることです。0.5の確率でZ=0、0.5の確率でZ=1になりますので、下図のようになっています。
↑のとき、E(E(X|Z))=1.5です。
E(X)=E(E(X|Z))
この場合、次の繰り返し期待値の法則が成り立っています。
$$E(X)=E(E(X|Z))=1.5$$
カテゴリー