wide and deep

python

複数アカウントのMoneyForwardから資産情報を取得して結合する方法で連携上限4件の縛りを突破する【docker, python, selenium, gspread】

無料会員アカウントでの連携上限数が10->4になるらしいです。自分の連携数Xが 4 < X < 10 であり、総資産推移くらいしか見ないことから、連携を複数アカウントに分散させ収集し結合すればいいじゃんと考えました。

MoneyForwardから取得した資産推移CSVをGsheetからいい感じに閲覧する

はじめに 昨日書いた記事でMoneyForwardから資産推移CSVを自動取得するところまで書きました. catdance124.hatenablog.jp これをどうにかグラフ化してスマホから確認したいな~というところで選択肢は3つあります. WEBアプリとして実装,閲覧 グラフをchat…

【Selenium+Python+CentOS7/Win10】MoneyForwardから資産推移CSVを自動取得

# 開発の流れ GUIではどうやってCSVをダウンロードするかを確認 ↓ seleniumでの記述に落とし込む ↓ 落としてきたcsvをいい感じに整形

tensorflow2/kerasでcustom Convolutional LSTMを組み立てる

本記事ではtensorflow2/kerasを使ってカスタムconv LSTMレイヤーを作成することを目標とします. ConvLSTM2DCellを解読することでどこを変更すればいいのかを理解し,自分の思い通りのレイヤーを作成できるようになります. 例として,Zhang2019のconvLSTMを…

動画の各フレームからエッジ検出を行う(keras実装)

今回したこと 動画の各フレームにおいてsobelフィルタを用いたエッジ検出を行いました. 普通に各フレームでcv2.Sobelをしろとの声も聞こえてくるかと思いますが, なんとなくkerasのconv3Dで実装したかったのでそのようにしました. その紹介です. 今回は…

python(BeautifulSoup)でWEBスクレイピング(making CVPR2020 accepted papers list)

今回したこと BeautifulSoupを使ってCVPR2020 Scheduleから[1st author, paper title]形式のcsvリストを作成した. 今回の作業notebook(google colab) 参考サイト 10分で理解する Beautiful Soup - Qiita 【Python】BeautifulSoupを使ってテーブルをスクレイ…

VGGにおける前処理をネットワーク内で行い自作generatorを高速化する(keras)

今回したこと VGG16をfinetuneする際に自作generatorがボトルネックになっており,時間がかかっていた. そこで自作generatorの実装を見直すことで 770s/epoch -> 490s/epoch へと学習自体の高速化を図った.なお,今回用いたVGG16はkeras標準のものではなく…

WindowsからWSL内のPython仮想環境にスクリプトを実行させる

今回したこと タイトルの通り,WindowsからWSL内のPython仮想環境にスクリプトを実行させました. この記事に需要があるかどうかは謎ですが,WSLで環境を作成し,Windowsからその環境でスクリプトを実行したいようなときに役立つと思います.test.py(py37)…

スマートフォンのGPS情報を取得し地図上に表示するWEBアプリを作成

今回作ったもの URLにアクセスしたスマートフォンの位置情報を取得し,地図上に表示するWEBアプリを作成した. 建前上の用途は,バスなどにスマートフォンを積ませ,停留所で待つ乗客が位置を確認できるなど... ソースはここに置いている github.com 実際の…

kerasで自作レイヤーを含むモデルをload_modelするときのエラー処理

エラーと原因 自作レイヤーを読み込む際に,初期定義された重みの形状とは異なることに関するエラー. ValueError: Layer #0 (named "custom_conv" in the current model) was found to correspond to layer custom_conv in the save file. However the new …

keras/tensorflowでoptimizersの学習率を層ごとに決定する

一昔前のDL論文を読んでいると,層ごとに違う学習率が設定されていることがある. 自分にはあまり馴染みがなかったが,Caffeでは簡単にその設定ができたために使われていたらしい.keras(tensorflow)でこの設定をしようとしたとき, keras.optimizers.SGD(lr…

keras/tensorflowでdilated convolutionをstrides!=1で使う

keras(tensorflow backend)にはdilated convolutionが実装されている. Convolutionalレイヤー - Keras Documentation keras.layers.Conv2D(filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, dilation_rate=(1, 1), activation=No…

matplotlibでTcl_AsyncDelete: async handler deleted by the wrong threadが出たときのトラブルシューティング

発生したエラー 前回記事で紹介したコールバックを使用すると学習途中に下記エラーが発生した. catdance124.hatenablog.jp Epoch 4/50 138/590 [======>.......................] - ETA: 8:02 - loss: 0.8965 - acc: 0.7292Exception ignored in: <bound method Image.__del__ of <tkinter.PhotoImage object at 0x00000235FB7D5198>> Traceba</bound>…

エポック終了時に学習曲線図を保存するコールバックを作成(keras)

今回したこと エポック終了時にそれまでの学習曲線を図として保存するコールバックを作成した. 通常はkeras.callbacks.History()を使用し,学習が終わってから1度のみhistoryを取得するが,途中で学習を止めた際にはhistoryが取得できないのでコールバック…

作成したDashアプリをコアサーバーにデプロイした

今回したこと 作成した日本の降水量を可視化するpython製アプリをレンタルサーバ上にデプロイした. 前回の記事では作成したアプリをHerokuにデプロイしたことを書いた. catdance124.hatenablog.jpHerokuはローカルにファイルを保存できないこともあって動…

Dash(Protly)で降水量表示アプリを作成

今回したこと Pythonの可視化ライブラリであるDashを利用して気象庁が公開するデータを表示するアプリを作成した. 作成したアプリはHerokuにpushしてオンライン上で動いているが,若干動作がガタガタ...(Herokuはファイル保存ができないが無理やり保存して…

Google colaboratory上でMMdnnを使いcaffe→kerasへ学習済みモデル変換

今回したこと MMdnnを使って配布されている学習済みcaffeモデル(vgg16)をkerasモデルへと変換した. caffeの環境構築が面倒そうだったので,Google colab上で変換することにした. (今後caffeでモデル構築することはなさそうだし...) 今回実行したコード…

Light fieldデータセットEPFLをpython3から扱う

今回したこと Light fieldデータセットであるEPFLをpython3から扱い,画像として表示を試みた. Light field関係はMATLABが優勢っぽいので,pythonで乗り込んでいこうと思う.本記事で触れたコードはgistに挙げている gist.github.com Light field? Light f…