機械学習や人工知能の本質的な問題が分かった。

最近、機械学習や人工知能を勉強しています。その中ですべての問題はアルゴリズム（モデル）の表現力の拡大とそれに伴う過学習の防止にあるのではないかと考えるようになりました。

例えば、最近話題のディープニューラルネットでは、線形変換を行うニューロンが多層になっていることで、複雑な関数を再現することができますが、その高すぎる表現力のために般化性が獲得ができなかった。それを解決したのがドロップアウトや学習データにノイズを加えるという方法で、ノイズが正則化の働きをするということで、表現力の高いディープニューラルネットでも過学習を抑制できるようになったそうです。

このことは機械学習や人工知能のもっとも本質的な問題であり、その解決方法が分かった今、強い人工知能の実現が、もうそこまで来ていると思います。

情報器官や神経細胞の情報伝達が完璧ではなくノイズがのっているので、脳が高い学習を発揮できる。逆説的でとても面白いですね。