wide and deep

2019-01-01から1年間の記事一覧

VGGにおける前処理をネットワーク内で行い自作generatorを高速化する(keras)

今回したこと VGG16をfinetuneする際に自作generatorがボトルネックになっており,時間がかかっていた. そこで自作generatorの実装を見直すことで 770s/epoch -> 490s/epoch へと学習自体の高速化を図った.なお,今回用いたVGG16はkeras標準のものではなく…

WindowsからWSL内のPython仮想環境にスクリプトを実行させる

今回したこと タイトルの通り,WindowsからWSL内のPython仮想環境にスクリプトを実行させました. この記事に需要があるかどうかは謎ですが,WSLで環境を作成し,Windowsからその環境でスクリプトを実行したいようなときに役立つと思います.test.py(py37)…

スマートフォンのGPS情報を取得し地図上に表示するWEBアプリを作成

今回作ったもの URLにアクセスしたスマートフォンの位置情報を取得し,地図上に表示するWEBアプリを作成した. 建前上の用途は,バスなどにスマートフォンを積ませ,停留所で待つ乗客が位置を確認できるなど... ソースはここに置いている github.com 実際の…

kerasで自作レイヤーを含むモデルをload_modelするときのエラー処理

エラーと原因 自作レイヤーを読み込む際に,初期定義された重みの形状とは異なることに関するエラー. ValueError: Layer #0 (named "custom_conv" in the current model) was found to correspond to layer custom_conv in the save file. However the new …

keras/tensorflowでoptimizersの学習率を層ごとに決定する

一昔前のDL論文を読んでいると,層ごとに違う学習率が設定されていることがある. 自分にはあまり馴染みがなかったが,Caffeでは簡単にその設定ができたために使われていたらしい.keras(tensorflow)でこの設定をしようとしたとき, keras.optimizers.SGD(lr…

keras/tensorflowでdilated convolutionをstrides!=1で使う

keras(tensorflow backend)にはdilated convolutionが実装されている. Convolutionalレイヤー - Keras Documentation keras.layers.Conv2D(filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, dilation_rate=(1, 1), activation=No…

matplotlibでTcl_AsyncDelete: async handler deleted by the wrong threadが出たときのトラブルシューティング

発生したエラー 前回記事で紹介したコールバックを使用すると学習途中に下記エラーが発生した. catdance124.hatenablog.jp Epoch 4/50 138/590 [======>.......................] - ETA: 8:02 - loss: 0.8965 - acc: 0.7292Exception ignored in: <bound method Image.__del__ of <tkinter.PhotoImage object at 0x00000235FB7D5198>> Traceba</bound>…

エポック終了時に学習曲線図を保存するコールバックを作成(keras)

今回したこと エポック終了時にそれまでの学習曲線を図として保存するコールバックを作成した. 通常はkeras.callbacks.History()を使用し,学習が終わってから1度のみhistoryを取得するが,途中で学習を止めた際にはhistoryが取得できないのでコールバック…

作成したDashアプリをコアサーバーにデプロイした

今回したこと 作成した日本の降水量を可視化するpython製アプリをレンタルサーバ上にデプロイした. 前回の記事では作成したアプリをHerokuにデプロイしたことを書いた. catdance124.hatenablog.jpHerokuはローカルにファイルを保存できないこともあって動…

Dash(Protly)で降水量表示アプリを作成

今回したこと Pythonの可視化ライブラリであるDashを利用して気象庁が公開するデータを表示するアプリを作成した. 作成したアプリはHerokuにpushしてオンライン上で動いているが,若干動作がガタガタ...(Herokuはファイル保存ができないが無理やり保存して…

Samba・subversion・gitlabサーバ構築の覚書

今回したこと 所属する研究室内のファイルサーバはCentOS6上に構築されているが,サポートは2020/11に切れるので,CentOS7での建て替えを行った.大体はソフトウェア依存の設定が多いのでCentOS6とCentOS7での大まかな手順は変わらなかったが,samba・subver…

Google colaboratory上でMMdnnを使いcaffe→kerasへ学習済みモデル変換

今回したこと MMdnnを使って配布されている学習済みcaffeモデル(vgg16)をkerasモデルへと変換した. caffeの環境構築が面倒そうだったので,Google colab上で変換することにした. (今後caffeでモデル構築することはなさそうだし...) 今回実行したコード…

Light fieldデータセットEPFLをpython3から扱う

今回したこと Light fieldデータセットであるEPFLをpython3から扱い,画像として表示を試みた. Light field関係はMATLABが優勢っぽいので,pythonで乗り込んでいこうと思う.本記事で触れたコードはgistに挙げている gist.github.com Light field? Light f…

RocketChatのバージョンアップ(0.74.3->1.2.1)を行った

背景 私が在籍する研究室では,サーバ上に立つRocketChatを活用している. 導入された当初は便利なものがあるんだなとみんなが思っていたが, ある頃からどうも通知が送られてこなくなっていまい, 使うにも使いづらい状況になってしまった.RocketChatを導…