比例道

月に1回更新します

deep learning

AIで碁は打てても、AIで相場は張れない

近頃のAIブームに乗っかって、証券会社や銀行が「AI外貨予測」「AI為替予測」なんてのを始めた。3年くらい前に一部の証券会社が提供していたた「過去チャート検索機能」と本質的には同じだ。基本は同じで(ここすごく重要)「チャートの形が同じなら同じ結果…

binarization function is stochastic?

Binarized Neural Networksの論文を読んでいて分からないところがあった.Stochastic binarizationの部分だ.論文には, と書いてある.σの形は分かるがprobabilityが分からない.ネットをさまよっていたら解説サイトを見つけた.こんな意味らしい. あれ?σ…

リアルタイムAIにはFPGA,MSが深層学習アクセラレーター

Starix10を使っているんだって. FPGAを使うんならリコンフィギャラブル性能を生かさなきゃだめだよ.まだまだだね. MSはソフトを作るのはへたくそだけど,ハード(マウスとか)作るのはけっこううまいんだよね.もうソフトウェアを作るのは止めてハード専…

インタープリター言語はいいねえ

PYNQ-Z1を買った縁でPythonとjupyterを使うようになったんだが,jupyterの使い勝手の良さに感心している.結果がすぐに分かるインタープリター言語環境は分かりやすい.インタープリター言語を使うのは,MZ-80KのBASICとSunのCommon Lisp以来だ.

PythonはFPGAアクセラレーションの裾野を広げるか

@ITに表題の記事が掲載された.ちょっとPythonを褒めすぎだなあ.Pythonでまともなハードウェアが出来るようになるまであと10年はかかると思うよ.

驕るnVidiaは倒産する

nVidiaが仮想通貨需要とdeep learning需要でいい気になっているが、仮想通貨はすぐにポシャる。deep learningはSRAMを大量に内蔵したAI専用FPGAができたら、みんなFPGAに移る。結果としてnVidiaは倒産だ。

BNN-PYNQのHardware design rebuilt

PYNQの回路設計を見たくてubuntu16.04LTSのマシンで/bnn/src/networkで./make-hw.sh cnv-pynq pynq aとやったら,Vivadoがないよとおこられた.やっぱりぃ.仕方ないのでWebPACKをインストール中.WebPACKはタダで良かった.

Pythonで別ディレクトリにあるファイルのimport

探したら書いてあった.ありがたいねえ.こんなの書いてくれる人は大事だよ.

Kinri970というチップ

Huaweiが発表したKirin 970チップ.中身を知りたいのだけれど,ネットの情報では中身に関する言及はなし.スマートフォンに積んでいるGPUより4倍速いそうだ.でもそれって10nmプロセスのASICなら当たり前な気がする.deep learningに必要なのは並列の積和演…

nVidiaせこいよ!

CUDAを使う場合,最新のCUDAはCC(=ComputeCapability)が大きいカード(新しいカード)でないと使えない.deep learningのフレームワークの最新バージョンは最新のCUDAで動くように作られる.古いCUDAでは動かない。最新のCUDAを使いたかったら古いCUDA用の…

Neural Network Console分かりやすい!

SONYのNeural Network Consoleで添付されていたプロジェクトsemi_supervised_learning_VATを動かした.VATというのはVirtual Adversarial Trainingのことだ.VATは説明を読んでも良く分からなかったが,ConsoleのEDITタブで計算グラフを見たら分かった.なん…

Core2Quadが役立った

SONYのNeural Network Consoleを動かすのにWindows10かWindows8.1が必要だが,職場にWindows8以上のマシンは1台しかない.Core2Quad 2.4GHz,メモリ4GBの古いマシンだ.i7を積んだハイスペックマシンはlinuxかWindows7で動いている.このマシンではメモリが…

nnablaのdockerイメージを作る

sonyのnnablaを使おうと,git cloneをしたのだが,引っ張ってきたのがDockerfileというテキストファイル.dockerイメージを作るためのスクリプトが書いてあるようだが,どうやって使うの?いろいろ調べるとdocker buildコマンドを使えば良いことが分かった d…

Neural Network Console

SONYがまた面白いものを開発した.アプリなのでWindows8.1かWindows10が必要だ.Windows10が初めて役に立つかも.これまではWindows7の亜種としての意味しかなかった.そのWindows7もWindows2000の亜種でしかなかったが. Consoleがあればライブラリを使って…

ディープラーニングの限界

ディープラーニングが流行っている.私もその流行に乗っているが,ディープラーニングを使った人工知能?は全然脅威ではない.ディープラーニングでは,教師データがない問題や報酬値を算出できない問題は本質的に解けないからだ.人間の天才が行う発見や発…

人工知能学会誌面白い

図書館で書架の間をぶらぶらしていて見つけた.人工知能学会なんてあったんだ.知らなかった.最近はディープラーニングが流行っているので関心のある人も多いだろう.1冊借りてきて読んでみた.平易な文章で面白い.また面白い雑誌を見つけてしまった. 特…

googleのNNチップTPUは2006年から始まった

googleもニューラルネットには2012年以前から興味を持っていたようだ.先見の明だな.しかし,チップの開発が加速したのは2013年から.やっぱりヒントン教授の成果に後押しされたようだ.googleのチップはTPUという.最初に作られたTPUは推論しかできなかっ…

複素ニューラルネットワーク

図書館で数理科学をながめていた.そしたら別冊の「複素ニューラルネットワーク」を見つけた.2005年発行だから,2012年からのディープニューラルネットワークの流行とは関係ない.実はニューラルネットワークの重みに複素数を使ったらどうなるだろうかと以…

PYNQ-Z1はACアダプタ付きを買うのが吉

PYNQ-Z1をUSB給電で動かそうとしたが,5V/2.1Aの500円ACアダプタでは動かなかった.電流計では0.6A流れたがボードは起動しなかった.たぶん電流不足.40ドル余計に出せば12V/3Aの専用ACアダプタと動作イメージが書き込まれたキングストンの8GB SDカードが付…

PYNQ-Z1のjupyter notebookは時計を合わせれば動く

PYNQ-Z1はpynqを1.4にアップデートしたら全て動くようになったのだが,今日電源を入れてみるとまたjupyter notebookが動かない.もしやと思い付き,時計を合わせたら動くようになった.jupyter notebookかpythonは時計が合ってないと変な動きをするみたいだ…

PYNQ-Z1がアップデートできない

ホームの下のscripts/update_pynq.shを実行すると A branch named 'master' already exists というエラーになる.直すにはupdate_pynq.shを編集して --track が2箇所あるので削除すれば良い.

PYNQ-Z1のシリアルターミナル

PYNQ-Z1のIPアドレスはデフォルトではDHCPで与えられる.クラスBなのでIP Scannerなんか使うと犯罪になる.困ったなと思ったらPYNQ-Z1にはシリアルポートにターミナルを繋げられることをGetting Startedで知った.USB端子はシリアル端子も兼ねていた.PCに繋…

5nmプロセスだって?

5nmプロセス世代のトランジスタが見えてきた「Nanosheet」技術の記事をPC Watchで読んだ.個人的にはプロセスの微細化は7nmまでで,それより小さいと量子効果が効いてきて動かないと信じていた.だからムーアの法則も7nmまでだと予想していた.トランジスタ…

jupyter notebookを使う

BNN-PYNQを使うためにPYNQ-Z1ボードを購入した.使い方はココに解説がある.いきなり使う前にjupyter notebookを使ってみようという訳で,ココを参考にリモートからブラウザで使えるようにした. jupyter notebookはキーボードショートカットを覚えないと素…

Quadro NVS 290でCUDAを使う

Titan Xで快適にCUDAを使っていたんだが,実験でTitan Xを占有したいという人が出たので譲ってしまった.手元にあるのはQuadro NVS 290という古いカード.いちおうCUDA対応らしいので,これで動かすことにする.元の環境は CUDA 8.0 cuDNN 6 chainer 2.0.1 d…

やっていたのはRNNだった

ディープラーニングで相場の動きを予測しようと独学で研究したきたが,今日参考文献を読んでみて私がシコシコ作ってきたディープラーニングはRecurrent Neural Networkであることが分かった.相場は時系列データを利用するから自然にこうなった.世の中的に…

何十年かぶりに計算が終わるのを待ったよ

アマゾンで1位の"ゼロから作るDeep Learning“を読んでいる.プログラムを手で打ち込んで走らせると理解が深まるとの方針のもと,さまざまなプログラムが載っていて,それを走らせながらDeep Learningを学んでいく.最初は軽いプログラムだったが,学習関係の…

オブジェクト指向プログラミング言語は読みにくい

Pythonで書かれたプログラムを読んでいる.classの記述が出てくるととたんに読みにくくなる.C++でもクラスが出てくると読みにくくなっていた.オブジェクト指向プログラミング言語で読みやすかったのはsmalltalkだけだった.なぜだろう.私だけか?それとも…

Pythonの3にはexecfile()がない

Pythonのコマンドプロンプトから,xxx.pyを実行したかったんだが,Python3.6.1にはexecfile()が無かった.ネットをさまよったら,やっと方法が分かった.こんな基本的なこと,入門本に書いて欲しかったよ.

ASUS、ディスプレイ出力を省いたコインマイニング専用ビデオカード

出るとは思っていたがついに出たか.どいつもこいつも欲まみれだ.ああ,情けない.そのうちdeep learning専用ビデオカードも出るだろうな.deep learning専用ASICかFPGAが出てくるまでの寿命だろうが.