比例道

月に1回更新します

deep learning

5nmプロセスだって?

5nmプロセス世代のトランジスタが見えてきた「Nanosheet」技術の記事をPC Watchで読んだ.個人的にはプロセスの微細化は7nmまでで,それより小さいと量子効果が効いてきて動かないと信じていた.だからムーアの法則も7nmまでだと予想していた.トランジスタ…

jupyter notebookを使う

BNN-PYNQを使うためにPYNQ-Z1ボードを購入した.使い方はココに解説がある.いきなり使う前にjupyter notebookを使ってみようという訳で,ココを参考にリモートからブラウザで使えるようにした. jupyter notebookはキーボードショートカットを覚えないと素…

Quadro NVS 290でCUDAを使う

Titan Xで快適にCUDAを使っていたんだが,実験でTitan Xを占有したいという人が出たので譲ってしまった.手元にあるのはQuadro NVS 290という古いカード.いちおうCUDA対応らしいので,これで動かすことにする.元の環境は CUDA 8.0 cuDNN 6 chainer 2.0.1 d…

やっていたのはRNNだった

ディープラーニングで相場の動きを予測しようと独学で研究したきたが,今日参考文献を読んでみて私がシコシコ作ってきたディープラーニングはRecurrent Neural Networkであることが分かった.相場は時系列データを利用するから自然にこうなった.世の中的に…

何十年かぶりに計算が終わるのを待ったよ

アマゾンで1位の"ゼロから作るDeep Learning“を読んでいる.プログラムを手で打ち込んで走らせると理解が深まるとの方針のもと,さまざまなプログラムが載っていて,それを走らせながらDeep Learningを学んでいく.最初は軽いプログラムだったが,学習関係の…

オブジェクト指向プログラミング言語は読みにくい

Pythonで書かれたプログラムを読んでいる.classの記述が出てくるととたんに読みにくくなる.C++でもクラスが出てくると読みにくくなっていた.オブジェクト指向プログラミング言語で読みやすかったのはsmalltalkだけだった.なぜだろう.私だけか?それとも…

Pythonの3にはexecfile()がない

Pythonのコマンドプロンプトから,xxx.pyを実行したかったんだが,Python3.6.1にはexecfile()が無かった.ネットをさまよったら,やっと方法が分かった.こんな基本的なこと,入門本に書いて欲しかったよ.

ASUS、ディスプレイ出力を省いたコインマイニング専用ビデオカード

出るとは思っていたがついに出たか.どいつもこいつも欲まみれだ.ああ,情けない.そのうちdeep learning専用ビデオカードも出るだろうな.deep learning専用ASICかFPGAが出てくるまでの寿命だろうが.

pythonでmatplotlibをimportでエラー

import matplotlib.pyplot as pltとやるとエラーになる.Tkが入ってないからだ. apt-get install tk-dev をやってpythonを再インストール(しないとダメだった) pyenv uninstall 3.6.1 pyenv install 3.6.1

CSLAIERでTensorFlow

CSLAIERにはTensorFlowも選べる.ドキュメントによるとTensorFlowのバージョンは0.11までとなっている.しかし,TensorFlowのサイトにあるバージョンは今は0.12~1.2だけだ.ダメもとで1.2を入れてみた. sudo pip install tensorflow CSLAIERでTensorFlowを…

CSLAIERでChainer

CSLAIERでChainer2.0.0を動かしていたんだが,学習が終わらない.ソースの変更が間違っているのじゃないかという気がしてきた.Chainerをversion1に戻してやり直し.GPUを持っていないのでまたしばらく待つことになる. $sudo pip uninstall chainer $sudo p…

macはディスプレイの電源が切れると止まる?

macでCSLAIERを走らせて4日間経過した.学習が終わっているだろうかとディスプレイの電源をONにしてみたら,ELAPSED TIMEが14時間しか経っていない???どうもディスプレイの電源がOFFの間,マシンが止まっていたようなのだ.なぜ?iMacじゃなくてMac Proな…

ubuntuがやたら遅いんだけど

もらってきたPCをディープラーニングマシンにしようとubuntu16.04LTSをインストールした. マザボ:MSI B85-G43 CPU:i7-4770k メモリ:DDR3-1600 16GB HDD:1TB インストールはすんなり終わったんだけど,起動するとめちゃくちゃ遅い.ディスクアクセスを延…

macでCSLAIER

メモリ4GBのマシンで学習に失敗したので,メモリを32GB積んでいるMac ProでCSLAIERを動かしてみた.Macへのインストール方法はココを参照した.Chainerのバージョン違いのバグはそのままあるので,モデルを作ったらちょっとソースを変更する必要がある.これ…

ValueError: wscale is not supported anymore

日経linuxに載っていたのでUbuntu16.04LTSのマシンにCSLAIERを入れてみた.インストールは問題なく終わり,学習を始めたんだが.タイトルのエラーが出てそこで止まる.変数の値がおかしいとか言っているようだがよく分からない.デバッグしようかな.いや,…

PYNQ-Z1 Board買うか

昨日,株とFXでお小遣いを得たので,PYNQ-Z1 Boardを買おうと思う.こいつで動くPYNQプロジェクトはdeep learingの推論だけなんだよな.私がやりたいのは学習だ.そのためにはPYNQ-Z1ではロジックセルもメモリも全然足りない(たぶん二桁以上足りない).で…

FPGAでBNN

近頃,特に外国でdeep learningにFPGAを使う動きが加速している.CPUやGPUやスパコンを使うのに比べ,LSIの設計は難易度が高いので,まだFPGAはマイノリティだ.ある人はこんなことを言っていた. 「FPGAを使いこなすスキルを身に付ける一方で、アプリケーシ…

CNNはなぜ畳み込みを行うのか

ディープラーニングではCNN(Convolutional Neural Network)が基本になっているけど,なぜconvolutional=畳み込みなのかをみんな直感的に理解しているだろうか.その答はココにあった.ポイントは 畳み込みにより点ではなく領域ベースでの特徴抽出が可能に…

Google翻訳すごい

日本ロボット学会誌に「Google翻訳が深層学習バージョンにアップデートされた」とあった.へえー,そうなんだと思い,初めてGoogle翻訳を使ってみた.長い文章が一瞬で翻訳された.なぜにこんなに早いのか?できあがった文章は私が翻訳するよりずっと上手だ…

藤吉さんはすごいな

日本ロボット学会誌の4月号のp.8~13に「深層学習による画像認識」という記事が載っている.これを書いたのが中部大学の藤吉弘亘氏だ.SIFT特徴量の解説で藤吉氏にはさんざんお世話になっている.その藤吉氏が深層学習にも深い知見を持っているとはさすがと…

Deep learningをFPGAで

エンジンのエンジニアが何をやっているんだと言われそうだが,Deep learningをFPGAで行うことに取り組んでいる.GPUはもう飽きたし,GPUのエネルギー効率の悪さは地球環境にとって悪だと思う.既に,amazonやgoogle,intelが同じ課題に取り組んでいる.学会…

Deep Learningで金儲け

Deep Learningで相場を予想する試みをしている.少し学習させてみたが,結果は芳しくない.そりゃそうだろう.簡単に金儲けができるなんてうまい話があるわけがない.しかし,簡単でないので,俄然やる気が湧いてきている.寝る間を惜しんでプログラミング三…

結合荷重の初期値

Deep Learningの学習に例のDELL Poweredgeを使っている.デュアルXEON 3.8GHzなんだが,負荷をかけると凍るという素敵なマシンだ.学習しているとさっそく凍ってくれた.凍ると電源スイッチを押しに行かなければならないので面倒だが,凍らずに動いている間…

Deep Learningの経済学への応用

Deep Learingが注目されている.画像認識や音声認識の研究分野で成果を上げている.googleやmicrosoftもDeep Learingを技術開発している.このDeep Learningを相場に適用できることに気付いている研究者は世界中で10人をくだるまい. 現在,システムを構築中…