以前からロジスティック回帰を理解しないといけないなあと思っていたので
「第20回 ロジスティック回帰の実装」をみて勉強しました。
ロジスティック回帰のパラメーター設定（最尤法）は勾配法をもちいるんですね。
そういえば、ニューラルネットワークのバックプロパゲーションも勾配法ですね。
一応勾配法には以下があるらしいですが、また勉強しないといけない項目が増えました。
最急降下法（すべてのデータを用いて繰り返し学習する）
確率的勾配降下法 (オンライン学習:データを一つずつランダムに選んで繰り返し学習する)
ミニバッチ確率的勾配降下法 / MSGD （複数のデータを選んで繰り返し学習する）
0 件のコメント:
コメントを投稿