Next: 一般の場合 Up: 最小2乗法 Previous: 最小2乗法

簡単な例題

例として, ばねに錘をぶら下げてばねの伸びた長さを測るという 実験を考えよう。 錘の質量を$x$, 対応するばねの長さを$y$とする。 フックの法則によれば,

$$y= a x + b$$ (34)

の関係があるはずである。 ここに, $b$はばねの自然長であり, $a$はばね係数である。 議論を簡単にするために, 錘の質量$x$ に関しては誤差を含まない真の値がわかっているものとする。 これに対し, ばねの長さの測定値は, $a x + b$を中心とする ある正規分布にしたがってばらつくものとする。 質量が $x(1),\ldots, x(n)$の$n$種類の錘に対して 測定実験をおこない, 対応するばねの長さが $y(1),\ldots,y(n)$となったとする。 このとき, どのようにして ばねの自然長$b$とばね係数$k$を推定するのが良いだろうか?

$a$および$b$の推定値を $\widehat{a}$, $\widehat{b}$とする。 $\widehat{a}$, $\widehat{b}$がどの程度良いかは, $\widehat{a} x+\widehat{b}$が$y$にどの程度近いかで決まる。 だから, $y$の推定値 $\widehat{a} x+\widehat{b}$と$y$のずれの すべての測定値に関する合計

$$L=\sum_{i=1}^{n} \left ( y(i)-\widehat{a} x(i) -\widehat{b} \right )^2$$ (35)

をなるべく小さくするように $\widehat{a}$と $\widehat{b}$を 選ぶのがよいということは容易に想像がつくであろう。

(35)は $\widehat{a}$および $\widehat{b}$の2次関数であって, $\widehat{a}$を適当な値で止めて $\widehat{b} \rightarrow \pm \infty$とするか $\widehat{b}$を適応な値で止めて $\widehat{a} \rightarrow \pm \infty$とすると 無限大に発散する。 だから, (35)はその停留点, すなわち

$$\frac{\partial L}{\partial \widehat{a}}=0$$

$$\frac{\partial L}{\partial \widehat{b}}=0$$ (36)

の解において最小値を取る。 よって, $\widehat{a}$および $\widehat{b}$の最も良い推定値は 連立方程式(36)の解である。

(36)を具体的に計算すると,

$$\begin{pmatrix}\displaystyle \sum_{i=1}^n x_i^2& \displaystyle \s... ...displaystyle \sum_{i=1}^n x_iy_i \displaystyle \sum_{i=1}^n y_i \end{pmatrix}$$ (37)

となる。 (37)を $\widehat{a}$, $\widehat{b}$について 解くことによって$a$と$b$の推定値が得られる。

$y$が正規分布にしたがっていて, $y$の$i$回目の測定と $j$回目の測定 $(i \neq j)$が確率的に独立であるとき, 上記のようにして計算された $\widehat{a}$および $\widehat{b}$は$a$および$b$の 最尤推定量となることが証明される。

Next: 一般の場合 Up: 最小2乗法 Previous: 最小2乗法