不偏性

 不偏性について説明します。

要約

 不偏性(unbiasedness)は、推定量が持っていると望ましい性質で、

$$E \big( \widehat{\theta} \big)=\theta$$

と表せます。なお、対義語にあたるのが偏り(バイアスbias)です。

不偏性

(1)平均的に正しい結果

 不偏性とは、パラメーターの推定量の期待値が、パラメーターに等しい性質を言います。

$$E \big( \widehat{\theta} \big)=\theta$$

$$\theta:母集団で成立するパラメーター$$

$$\widehat{\theta}:標本から得られる推定量$$

 推定量が不偏性をもっているとき、推定結果には偏りがなく、平均的には正しい結果を導けるといえます。

(2)バイアスのなさ

 不偏性は「バイアスがない」とも言い換えられます。バイアスとは、下の数式で定義できます。

$$バイアス=E \big( \widehat{\theta} \big)-\theta$$

不偏性の図解

(1)不偏性がある例

 標本平均という推定量は次で表せます。

$$\widehat{\theta}=\frac{X_1+X_2+\cdots + X_n}{n}$$

$$n:標本の数、X:データ$$

 標本平均は不偏性を持つことが知られています。不偏性は標本の数に関わらず成立する性質です。母平均が4、標本の数が5しかないという場合を考えて、シミュレーションしてみましょう。

 シミュレーション結果が上です。推定値が大きく外れることはあっても、平均的にはパラメーターと同じ値を取ることが視覚的にわかると思います。

(2)不偏性がない例

 標本分散という推定量は次で表せます。

$$\widehat{\theta}=\frac{(X_1-\overline{X})^2+(X_2-\overline{X})^2+\cdots + (X_n-\overline{X})^2}{n}$$

$$n:標本の数、X:データ、\overline{X}:標本平均$$

 

 標本分散は不偏性を持たず、バイアスがあることが知られています。母分散が4、標本の数が4しかないという場合を考えて、シミュレーションしてみましょう。

 シミュレーション結果が上です。オレンジ線が母分散、青線が標本分散の平均です。これをみると、標本分散には大きなバイアスがかかっていることがわかります。

補足:不偏分散

 ちなみに、不偏性のある分散は不偏分散と呼ばれ

$$\widehat{\theta}=\frac{(X_1-\overline{X})^2+(X_2-\overline{X})^2+\cdots + (X_n-\overline{X})^2}{n-1}$$

と表します。

 なぜnより小さなn-1で割っているのでしょうか? それは

$$\overline{X}:標本平均$$

$$\mu:母平均$$

の違いのためです。標本平均はデータを丸めすぎて、それぞれの標本について

$$(X-標本平均)^2<(X-母平均)^2$$

という現象を起きやすくします。

 結果、標本分散は母分散を小さく見積もってしまうのです。そこで、nより小さなn-1で割ってやることで、小さく見積もった部分を修正してやるのです。なぜn-1なのかは専門書を読んでください。

Rコード

trial_number <- 10000 #試行回数
sample_number <- 4 #標本の数
  
mean0 <- rep(NA, trial_number) #データ列の作成

for(i in 1:trial_number){ #繰り返し
  x <- rnorm(n=sample_number, mean =4, sd=2) #正規分布の乱数生成
  answer <- mean(x) #標本平均の計算
  mean0[i] <- answer #データ列mean0のi番目に格納
}

hist(mean0,breaks = 50,xlim=c(0,8)) #ヒストグラム
mean(mean0) #標本平均の平均

コメント欄 お気軽にコメントをお寄せください!

タイトルとURLをコピーしました