比例道

月に1回更新します

deep learning

ディープラーニングで衣類を折り畳む「ランドロイド」

衣類を自動で折り畳む技術が紹介されていた.技術者ががんばったのは分かる.分かるんだが,1枚畳むのに15分はちょっと...価格も185万円と車並だし...うーん,ディープラーニングの使い道を間違っている気がする.ディープラーニングは銀行員とか証券…

if文のコストを知らない世代

ニューラルネットワークの高速化の論文にconditional computationが出てくるが,ため息が出る.アセンブラとかマイクロプログラムとか遅延分岐とか書いたことがないのだろうな.というかそもそもCPUの内部構造を分かっていない.予測分岐では対応できない.…

計算のどこを2値化したのか

Binarized Neural Networksでどこを2値化して,どこは実数のまま計算しているかまとめた. 重みW:推論で入力と積をとるところは2値,学習のときは実数(ただし-1 to 1にクリッピング) 積和s:推論のときは整数.学習のときも整数. 活性a:推論のときは実数…

人工知能に珈琲2杯持ってドアを開けることはできまい

今朝,珈琲を2杯淹れてカップを両手に持って,左脇に書類をはさんで歩いた.この状態で部屋の入口に到達.ドアを開けなくてはならない.開けましたとも.で,思った.人工知能内蔵のロボットではこの状態でドアは開けられまいと.カップ2個とも左手で持って…

derivative 1って何だ

Courbariauxさんの論文Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or -1の中にderivative 1ってのが出てくる.1の微分?定数で微分するって何だよ.もう分からないよ.と寝てしまった. 今朝起き…

やっぱり自動運転車が人間の運転する車にぶつけられた

ラスベガスで止まっていた自動運転車が運転手の乗ったトレーラーにぶつけられた.自動運転車がどんなに安全に運行しようとしても,人間のドライバーのバカな行動には対応できない.それなのに,件の記事では自動運転車がよけなかったのが悪いと書かれている…

Straight-Through Estimator

Straight-Through Estimatorが分からなかったので調べてみた.八谷大岳の覚え書きブログには ”絶対値が1以下の勾配のみ用いて更新する” とある.Quoraには you just estimate that the incoming gradient to a thresholder is equal to the outgoing gradien…

リカレントニューラルネットワークで点訳

点訳とは書籍を点字図書に変換する仕事だ.日本ではボランティアによって行われている.私もその一人だ.日本は世界でいちばん点訳ボランティアが多いそうだ.すばらしいことだ.点訳は文字を6個の点で表した点字に変換する作業だと思われがちだが,実はそこ…

ホップフィールドネットワークの閾値って実数なの?

Hinton教授のビデオを見ていたら,ボルツマンマシーンに行き当たって,そこからホップフィールドネットワークにたどり着いて,どんどん分からなくなっていったんだが,ココのサイトのホップフィールドネットワークの解説がわかりやすくてやっと腑に落ちた.…

参考文献がビデオって

Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation という論文を読んでいたら,参考文献にHinton教授の論文じゃなくてインターネット公開のビデオが指定されていた.Neural networks for machine learning. Cour…

なぜ畳み込み層にバイアスが要るの?

バイアス無くても良くない?そう言えば,全結合層だってバイアス無くても良くない?ネットで調べたけど,答は分からなかった. 答が探せないので自分で考えた.バイアスは活性化関数の閾値というか活性レベルを変える働きをする.そのために付いているのでは…

オンライン学習とミニバッチ学習

深層学習でなぜ1個1個学習しないのかな?(これをオンライン学習と呼ぶと後で知った)と思って調べたら,ココに解説してあった.オンライン学習はミニバッチ学習のバッチサイズ=1に相当するよね.そのミニバッチの個数決めは勘と経験によるようだ.

AIで碁は打てても、AIで相場は張れない

近頃のAIブームに乗っかって、証券会社や銀行が「AI外貨予測」「AI為替予測」なんてのを始めた。3年くらい前に一部の証券会社が提供していたた「過去チャート検索機能」と本質的には同じだ。基本は同じで(ここすごく重要)「チャートの形が同じなら同じ結果…

binarization function is stochastic?

Binarized Neural Networksの論文を読んでいて分からないところがあった.Stochastic binarizationの部分だ.論文には, と書いてある.σの形は分かるがprobabilityが分からない.ネットをさまよっていたら解説サイトを見つけた.こんな意味らしい. あれ?σ…

リアルタイムAIにはFPGA,MSが深層学習アクセラレーター

Starix10を使っているんだって. FPGAを使うんならリコンフィギャラブル性能を生かさなきゃだめだよ.まだまだだね. MSはソフトを作るのはへたくそだけど,ハード(マウスとか)作るのはけっこううまいんだよね.もうソフトウェアを作るのは止めてハード専…

インタープリター言語はいいねえ

PYNQ-Z1を買った縁でPythonとjupyterを使うようになったんだが,jupyterの使い勝手の良さに感心している.結果がすぐに分かるインタープリター言語環境は分かりやすい.インタープリター言語を使うのは,MZ-80KのBASICとSunのCommon Lisp以来だ.

PythonはFPGAアクセラレーションの裾野を広げるか

@ITに表題の記事が掲載された.ちょっとPythonを褒めすぎだなあ.Pythonでまともなハードウェアが出来るようになるまであと10年はかかると思うよ.

驕るnVidiaは倒産する

nVidiaが仮想通貨需要とdeep learning需要でいい気になっているが、仮想通貨はすぐにポシャる。deep learningはSRAMを大量に内蔵したAI専用FPGAができたら、みんなFPGAに移る。結果としてnVidiaは倒産だ。

BNN-PYNQのHardware design rebuilt

PYNQの回路設計を見たくてubuntu16.04LTSのマシンで/bnn/src/networkで./make-hw.sh cnv-pynq pynq aとやったら,Vivadoがないよとおこられた.やっぱりぃ.仕方ないのでWebPACKをインストール中.WebPACKはタダで良かった.

Pythonで別ディレクトリにあるファイルのimport

探したら書いてあった.ありがたいねえ.こんなの書いてくれる人は大事だよ.

Kinri970というチップ

Huaweiが発表したKirin 970チップ.中身を知りたいのだけれど,ネットの情報では中身に関する言及はなし.スマートフォンに積んでいるGPUより4倍速いそうだ.でもそれって10nmプロセスのASICなら当たり前な気がする.deep learningに必要なのは並列の積和演…

nVidiaせこいよ!

CUDAを使う場合,最新のCUDAはCC(=ComputeCapability)が大きいカード(新しいカード)でないと使えない.deep learningのフレームワークの最新バージョンは最新のCUDAで動くように作られる.古いCUDAでは動かない。最新のCUDAを使いたかったら古いCUDA用の…

Neural Network Console分かりやすい!

SONYのNeural Network Consoleで添付されていたプロジェクトsemi_supervised_learning_VATを動かした.VATというのはVirtual Adversarial Trainingのことだ.VATは説明を読んでも良く分からなかったが,ConsoleのEDITタブで計算グラフを見たら分かった.なん…

Core2Quadが役立った

SONYのNeural Network Consoleを動かすのにWindows10かWindows8.1が必要だが,職場にWindows8以上のマシンは1台しかない.Core2Quad 2.4GHz,メモリ4GBの古いマシンだ.i7を積んだハイスペックマシンはlinuxかWindows7で動いている.このマシンではメモリが…

nnablaのdockerイメージを作る

sonyのnnablaを使おうと,git cloneをしたのだが,引っ張ってきたのがDockerfileというテキストファイル.dockerイメージを作るためのスクリプトが書いてあるようだが,どうやって使うの?いろいろ調べるとdocker buildコマンドを使えば良いことが分かった d…

Neural Network Console

SONYがまた面白いものを開発した.アプリなのでWindows8.1かWindows10が必要だ.Windows10が初めて役に立つかも.これまではWindows7の亜種としての意味しかなかった.そのWindows7もWindows2000の亜種でしかなかったが. Consoleがあればライブラリを使って…

ディープラーニングの限界

ディープラーニングが流行っている.私もその流行に乗っているが,ディープラーニングを使った人工知能?は全然脅威ではない.ディープラーニングでは,教師データがない問題や報酬値を算出できない問題は本質的に解けないからだ.人間の天才が行う発見や発…

人工知能学会誌面白い

図書館で書架の間をぶらぶらしていて見つけた.人工知能学会なんてあったんだ.知らなかった.最近はディープラーニングが流行っているので関心のある人も多いだろう.1冊借りてきて読んでみた.平易な文章で面白い.また面白い雑誌を見つけてしまった. 特…

googleのNNチップTPUは2006年から始まった

googleもニューラルネットには2012年以前から興味を持っていたようだ.先見の明だな.しかし,チップの開発が加速したのは2013年から.やっぱりヒントン教授の成果に後押しされたようだ.googleのチップはTPUという.最初に作られたTPUは推論しかできなかっ…

複素ニューラルネットワーク

図書館で数理科学をながめていた.そしたら別冊の「複素ニューラルネットワーク」を見つけた.2005年発行だから,2012年からのディープニューラルネットワークの流行とは関係ない.実はニューラルネットワークの重みに複素数を使ったらどうなるだろうかと以…