next up previous
Next: 制約付き最適化問題とLagrange関数 Up: 制約なし最適化問題の解法 Previous: Newton法

最適化アルゴリズムの一般形

最適化アルゴリズムは

$\displaystyle \vec{x}_{k+1}=\vec{x}_{k}-\alpha_{k} H_{k}\nabla f(\vec{x}_{k})$ (20)

という形を取ることが多い。 ここに, $ H_{k}$$ k$に依存する$ n$$ n$列の行列である。 式(20)において$ H_{k}$を単位行列とすると最急降下法が得られ, $ H_{k}=(\nabla^2 f(\vec{x}_{k}))^{-1}$とするとNewton法が得られる。



Shigeru HANBA
平成15年11月16日