積分型のニューラルネットワークに見切りをつけて，スパイキングニューラルネットワークの方を考えているが，先行文献を読んでいて「！？」と思った．直感的に動くと思われる学習則（しかもHebb則にのっとっている）を提案し，その学習が収束することを数学…

ディープラーニングの研究を長くやってきたが，もう見限ろうと思う．ディープラーニングの枠組みでは，ニューロンをいくら増やしても，層をいくら増やしても，発明発見ができるような知能は生まれない．バックプロパゲーションで学習するというのは無理があ…

ディープラーニングの研究を長くやってきたが，もう見限ろうと思う．ディープラーニングの枠組みでは，ニューロンをいくら増やしても，層をいくら増やしても，発明発見ができるような知能は生まれない．バックプロパゲーションで学習するというのは無理があ…

日本アイ・ビー・エム 東京基礎研究所 山道 新太郎氏へのインタビュー記事より 次世代デバイスでは、相が変化することで抵抗値が変動する材料でメモリ素子を作ります。配線の交点部分にその相変化メモリを置き、外部からのパルス（信号）が繰り返し与えられ…

Interface誌の2018年2月号に，世界のAIチップの比較表が載っていた．GoogleのチップTPU2は性能の絶対値でも，性能消費電力比でもトップだった．すごいなGoogle．TPU2を超えたいものだが，FPGAでは無理そうな感じだ．リコンフィギャラブルな点を生かした特長…

私はブルーマウンテン珈琲が一番好きだ。何十年も前に喫茶店で初めて飲んだブルーマウンテン珈琲のおいしさに感動してからずっと好きだ。あの味を再現するために試行錯誤して淹れているのだが未だに満足できる味と香りにならない。珈琲淹れは難しい。パラメ…

1980年代の終わりにとある大学のプロジェクトに参加した．10人くらいのプロジェクトでとあるシステムを研究開発していた．私はメカエンジニアとして参加したのだが，プロジェクトのメンバーのレベルの低さに唖然としたことを覚えている．システム制御にはTI…

衣類を自動で折り畳む技術が紹介されていた．技術者ががんばったのは分かる．分かるんだが，1枚畳むのに15分はちょっと．．．価格も185万円と車並だし．．．うーん，ディープラーニングの使い道を間違っている気がする．ディープラーニングは銀行員とか証券…

ニューラルネットワークの高速化の論文にconditional computationが出てくるが，ため息が出る．アセンブラとかマイクロプログラムとか遅延分岐とか書いたことがないのだろうな．というかそもそもCPUの内部構造を分かっていない．予測分岐では対応できない．…

Binarized Neural Networksでどこを2値化して，どこは実数のまま計算しているかまとめた． 重みW：推論で入力と積をとるところは2値，学習のときは実数（ただし-1 to 1にクリッピング） 積和s：推論のときは整数．学習のときも整数． 活性a:推論のときは実数…

今朝，珈琲を2杯淹れてカップを両手に持って，左脇に書類をはさんで歩いた．この状態で部屋の入口に到達．ドアを開けなくてはならない．開けましたとも．で，思った．人工知能内蔵のロボットではこの状態でドアは開けられまいと．カップ2個とも左手で持って…

Courbariauxさんの論文Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or -1の中にderivative 1ってのが出てくる．1の微分？定数で微分するって何だよ．もう分からないよ．と寝てしまった． 今朝起き…

ラスベガスで止まっていた自動運転車が運転手の乗ったトレーラーにぶつけられた．自動運転車がどんなに安全に運行しようとしても，人間のドライバーのバカな行動には対応できない．それなのに，件の記事では自動運転車がよけなかったのが悪いと書かれている…

Straight-Through Estimatorが分からなかったので調べてみた．八谷大岳の覚え書きブログには ”絶対値が1以下の勾配のみ用いて更新する” とある．Quoraには you just estimate that the incoming gradient to a thresholder is equal to the outgoing gradien…

点訳とは書籍を点字図書に変換する仕事だ．日本ではボランティアによって行われている．私もその一人だ．日本は世界でいちばん点訳ボランティアが多いそうだ．すばらしいことだ．点訳は文字を6個の点で表した点字に変換する作業だと思われがちだが，実はそこ…

Hinton教授のビデオを見ていたら，ボルツマンマシーンに行き当たって，そこからホップフィールドネットワークにたどり着いて，どんどん分からなくなっていったんだが，ココのサイトのホップフィールドネットワークの解説がわかりやすくてやっと腑に落ちた．…

Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation という論文を読んでいたら，参考文献にHinton教授の論文じゃなくてインターネット公開のビデオが指定されていた．Neural networks for machine learning. Cour…

バイアス無くても良くない？そう言えば，全結合層だってバイアス無くても良くない？ネットで調べたけど，答は分からなかった． 答が探せないので自分で考えた．バイアスは活性化関数の閾値というか活性レベルを変える働きをする．そのために付いているのでは…

深層学習でなぜ1個1個学習しないのかな？（これをオンライン学習と呼ぶと後で知った）と思って調べたら，ココに解説してあった．オンライン学習はミニバッチ学習のバッチサイズ＝1に相当するよね．そのミニバッチの個数決めは勘と経験によるようだ．

近頃のAIブームに乗っかって、証券会社や銀行が「AI外貨予測」「AI為替予測」なんてのを始めた。3年くらい前に一部の証券会社が提供していたた「過去チャート検索機能」と本質的には同じだ。基本は同じで（ここすごく重要）「チャートの形が同じなら同じ結果…

Binarized Neural Networksの論文を読んでいて分からないところがあった．Stochastic binarizationの部分だ．論文には， と書いてある．σの形は分かるがprobabilityが分からない．ネットをさまよっていたら解説サイトを見つけた．こんな意味らしい． あれ？σ…

Starix10を使っているんだって． FPGAを使うんならリコンフィギャラブル性能を生かさなきゃだめだよ．まだまだだね． MSはソフトを作るのはへたくそだけど，ハード（マウスとか）作るのはけっこううまいんだよね．もうソフトウェアを作るのは止めてハード専…

PYNQ-Z1を買った縁でPythonとjupyterを使うようになったんだが，jupyterの使い勝手の良さに感心している．結果がすぐに分かるインタープリター言語環境は分かりやすい．インタープリター言語を使うのは，MZ-80KのBASICとSunのCommon Lisp以来だ．

＠ITに表題の記事が掲載された．ちょっとPythonを褒めすぎだなあ．Pythonでまともなハードウェアが出来るようになるまであと10年はかかると思うよ．

nVidiaが仮想通貨需要とdeep learning需要でいい気になっているが、仮想通貨はすぐにポシャる。deep learningはSRAMを大量に内蔵したAI専用FPGAができたら、みんなFPGAに移る。結果としてnVidiaは倒産だ。

PYNQの回路設計を見たくてubuntu16.04LTSのマシンで/bnn/src/networkで./make-hw.sh cnv-pynq pynq aとやったら，Vivadoがないよとおこられた．やっぱりぃ．仕方ないのでWebPACKをインストール中．WebPACKはタダで良かった．

探したら書いてあった．ありがたいねえ．こんなの書いてくれる人は大事だよ．

Huaweiが発表したKirin 970チップ．中身を知りたいのだけれど，ネットの情報では中身に関する言及はなし．スマートフォンに積んでいるGPUより4倍速いそうだ．でもそれって10nmプロセスのASICなら当たり前な気がする．deep learningに必要なのは並列の積和演…

CUDAを使う場合，最新のCUDAはCC（=ComputeCapability）が大きいカード（新しいカード）でないと使えない．deep learningのフレームワークの最新バージョンは最新のCUDAで動くように作られる．古いCUDAでは動かない。最新のCUDAを使いたかったら古いCUDA用の…

SONYのNeural Network Consoleで添付されていたプロジェクトsemi_supervised_learning_VATを動かした．VATというのはVirtual Adversarial Trainingのことだ．VATは説明を読んでも良く分からなかったが，ConsoleのEDITタブで計算グラフを見たら分かった．なん…