kumilog.net

データ分析やプログラミングの話などを書いています。

MacOSでChainerを使うときのWarningに対処する

MacOSでデフォルトのNumpyとChainerを使うと、精度が落ちる問題があり、Warningが発生します。OpenBLAS対応のNumpyを使うことで対処します。 OpenBLASのインストール OpenBLAS対応のNumPyを再インストール NumPyのアンインストール NumPyをソースからインス…

ResNetの論文を読んだ

ちょくちょくResNetを用いることがあるのですが、論文を読んだことがなかったので、読んでみました。 [1512.03385] Deep Residual Learning for Image Recognition 概要 ResNetが解決する問題 Residual Learning ResNetブロック ネットワークアーキテクチャ …

Chainerで動画を扱う

Chainerにおいて画像を扱う場合、ImageDatasetというクラスが用意されており、以下のように簡単に扱うことができます。 from chainer.datasets import ImageDataset image_files = ['1.png', '2.png'] train = ImageDataset(paths=image_files) Datasetにつ…

ChainerでFineTuning その1

機械学習がうまくいくケースにおいて、教師あり学習の次に、転移学習が成功のカギになってくると言われているそうです。転移学習は、あるドメインで学習させたモデルを別のドメインに適用させる学習のことです。少ないデータでもうまく学習ができたりします…

ImageNetの画像をダウンロードする

ImageNetは大規模な画像データベースで、現在2万クラス1,400万枚を超える画像があります。クラスにはWordNetの単語を用いています。CNNがブレークしたILSVRCというコンペで用いられたりと、ベンチマークとして有名なデータセットです。 画像のダウンロードは…

Chainerでデータセットを作る

Chainerでデータセットを作る方法についていくつか紹介したいと思います。なお、執筆時点のversionは3.0.0です。 シンプルなデータセット 画像を扱うデータセット ImageDataset LabeledImageDataset データセットに処理を加える 独自のデータセット データセ…

Python 3でファイル読み込み時のUnicodeDecodeErrorを回避する

Pythonでファイルを読み込むときは以下のような処理でいけますが... with open('file/to/path', 'r') as f: for line in f: line = line.strip() # つづきの処理 読み込んでいる途中で、utf-8ではない文字が含まれていると、UnicodeDecodeErrorが発生するこ…