最小二乗法と非線形最適化についてのメモ

非線形最小二乗法の備忘録。

n点m変数の誤差関数を考え、目的関数を誤差の二乗和とする。

Jはヤコビ行列(n×m)
Fは残差のベクトル(n×1)
sは変数ベクトル(m×1)

更新式
$$
\begin{eqnarray}
s_{k+1} = s_k + \Delta s
\end{eqnarray}
$$
に対して

Gauss-Newton法
$$
\begin{eqnarray}
J^TJ\Delta s = -J^TF
\end{eqnarray}
$$


・非線形関数を線形近似した解がΔsとなる。これを更新式として、反復を行う。収束が早いことが特徴。

Levenberg-Marquardt法
$$
\begin{eqnarray}
(J^TJ+\lambda I)\Delta s = -J^TF
\end{eqnarray}
$$

・Gauss-Newtonの改良版。擬似逆行列が存在しないときGauss-Newton法の更新式は破綻する。これを改善したのがマルカート法である。具体的には、一般化行列の対角成分をλだけ大きくすることで逆行列の存在を保証するのである。
またλ→0の時マルカート法はGauss-Newtonと一致し、
逆にλが十分に大きい時、最急勾配法と一致した方向を向く。
つまり初め大きいλを用意しておき、収束するにつれ、減衰させることで、安定かつ高速な収束を実現できる。