結合荷重の初期値

Deep Learningの学習に例のDELL Poweredgeを使っている．デュアルXEON 3.8GHzなんだが，負荷をかけると凍るという素敵なマシンだ．学習しているとさっそく凍ってくれた．凍ると電源スイッチを押しに行かなければならないので面倒だが，凍らずに動いている間は高速処理をしてくれる．10年もののマシンなので，これが最後の大仕事になりそうだ．終わったら引退させてあげよう．

それはともかく，ニューラルネットを扱うのは初めてなので，いろいろ試行錯誤があった．

• 結合荷重の初期値の期待値は0にした方が良いようだ．初期値は乱数で決めていたんだが，その期待値が0から外れると妙なローカルミニマムに収束してしまう．
• かといって，初期値を全0にしたのでは学習が進まない．
• 同じ入力-教師データの組を複数回使わないとなかなか学習が収束しない．これはデータの数が十分に大きければ1回だけ使っても済むんだろうか．

これらの性質も一般的なものではなく，私が使っている入力データ（経済指数）特有のものかもしれない．