Next: 標本平均の分散 Up: 確率論の初歩 Previous: 平均, 分散

標本平均, 標本分散, 不偏分散

(27)および(28)で見た通り, 連続的な確率変数の 平均および分散は, 確率密度関数がわかっていれば計算できる。 ところで, われわれが確率的な現象を取り扱うときには, 確率密度関数の形が事前に完全にわかっていることはまれである。 ここでは, 正規分布にしたがう確率変数の 平均および分散を実験によって得られた標本から どのように推定するかについて考えてみよう。

確率変数$x$を測定する実験を$n$回おこない, 得られた 標本が$x_1$, ..., $x_n$であったとする。 また, $x_i$と$x_j$ $(i \neq j)$は確率的に独立であると仮定する。

まず平均の推定について考える。 $m$の推定値は

$$E=\frac{x_1+\cdots + x_n}{n}$$ (29)

とするのが良さそうである。 (29)のことを標本平均という。

分散の推定は平均の推定に比べて厄介で, 「良い」推定のしかたが2種類ある。 ひとつめは

$$V_{MLE}^2=\frac{(x_1-E)^2+\cdots+(x_n-E)^2}{n}$$ (30)

というものてある。 これは標本分散と呼ばれる。 もうひとつは,

$$V_{UB}^2=\frac{(x_1-E)^2+\cdots+(x_n-E)^2}{n-1}$$ (31)

というものてある。 これは不偏分散と呼ばれる。

一般に, 確率分布のあるパラメータ$\theta$を確率的に決まる 観測値 $x_1,\ldots,x_n$から 関数 $\widehat{\theta}(x_1,\ldots,x_n)$によって推定するとき, $\widehat{\theta}$自体もある確率分布にしたがう確率変数となる。 $\widehat{\theta}$の確率分布の確率密度関数を $L(\theta,x_1,\ldots,x_n)$としよう。 関数 $L(\theta,x_1,\ldots,x_n)$のことを尤度関数と呼ぶ。 $\widehat{\theta}$の平均が$\theta$と一致するとき, すなわち

$$\int \cdots \int \widehat{\theta} L(\theta,x_1,\ldots,x_n) dx_1 \cdots dx_n = \theta$$

となるとき, $\widehat{\theta}$を$\theta$の不偏推定量という。 また, 尤度関数 $L(\theta,x_1,\ldots,x_n)$は $x_1,\ldots,x_n$を固定すると $\theta$のみの関数となるが, この関数が最大となる点を$\theta$の推定値 として採用したものを最尤推定量という。

正規分布に対し, 標本平均は平均の最尤推定量かつ不偏推定量なのであるが, 標本分散は分散の最尤推定量ではあるが不偏推定量ではなく, 不偏分散は分散の不偏推定量ではあるが最尤推定量ではない。

Next: 標本平均の分散 Up: 確率論の初歩 Previous: 平均, 分散