kumilog.net

データ分析やプログラミングの話などを書いています。

ImageNetの画像をダウンロードする

ImageNetは大規模な画像データベースで、現在2万クラス1,400万枚を超える画像があります。クラスにはWordNetの単語を用いています。CNNがブレークしたILSVRCというコンペで用いられたりと、ベンチマークとして有名なデータセットです。 画像のダウンロードは…

Chainerでデータセットを作る

Chainerでデータセットを作る方法についていくつか紹介したいと思います。なお、執筆時点のversionは3.0.0です。 シンプルなデータセット 画像を扱うデータセット ImageDataset LabeledImageDataset データセットに処理を加える 独自のデータセット データセ…

Python 3でファイル読み込み時のUnicodeDecodeErrorを回避する

Pythonでファイルを読み込むときは以下のような処理でいけますが... with open('file/to/path', 'r') as f: for line in f: line = line.strip() # つづきの処理 読み込んでいる途中で、utf-8ではない文字が含まれていると、UnicodeDecodeErrorが発生するこ…

ゆるふわグラフをmatplotlibで描く

pythonでグラフといえば、matplotlibですが、ちょっといけてないので、 きれいなグラフを描くには、seabornを使ったりしてるかと思います。 seabornはきれいなグラフを簡単に描けるのですが、勉強会のプレゼン資料なんかに おすすめで、手書き風のグラフを描…

Python+OpenCVで動画を扱う

Ubuntu 16.04にOpenCVとFFmepgをインストールした環境を用いました。詳細は以下の記事を参照してください。 xkumiyu.hatenablog.com

Ubuntu16.04にFFmpegとOpenCV3をインストールする

Pythonで動画を扱うためにFFmpegとOpenCVをインストールします。環境はUbuntu16.04です。 FFmpegのインストール 動作確認 OpenCVのインストール 準備 設定ファイル作成(Configuring) ビルド Pyhonで確認 インストールのポイント

DeepLearningのフレームワーク比較

メインコントリビューター 対応言語 Github Star*1 公開時期*2 Tensorflow Google Python, C++, Java, Go 68.9k 2015.11 Caffe カリフォルニア大学バークレー校 C, C++ 19.6k 2014.11 Caffe2 Facebook Python, C++ 5.4k 2015.12 CNTK Microsoft Python, C++,…

Conditional DCGANで画像生成

GANの一種であるDCGANとConditional GANを使って画像を生成してみます。 GANは、Generative Adversarial Networks(敵性的生成ネットワーク)の略で、Generator(生成器)とDiscriminator(判別器)の2つネットワークの学習によって、ノイズから画像を生成するアル…

ChianerMNによる分散深層学習

2017年9月1日ChainerMNが正式リリースされました*1。β版では使用していましたが、新しい環境に一からインストールしてつかってみました。 ChainerMNについて 使用環境 ChainerMNのインストール インストールに必要なもの 環境変数の設定 MPIのインストール …

NVIDIA GPUで始めるディープラーニング

2017年7月に開催されたPyData.Tokyo Meetup #14のメインセッションである「NVIDIA GPUで始めるディープラーニング」のメモです。 20170726 py data.tokyo from ManaMurakami1

Ubuntu16.04にChainerをインストールする

もうすぐ3.0が正式リリースらしい10/17に3.0が正式リリースされました*1Chainerですが、GPUサーバにインストールする手順をまとめてみます。もし手元のMacとかでGPUを使わないならpip install chainerするだけです。 用いた環境 GPUの確認 インストールに必…

機械学習の勉強会に参加しました。

とある機械学習の勉強会に参加してきました。 参加者全員が勉強したことを自由に発表する形式で、最近『はじパタ』を読み始めたので、kNNについて簡単にまとめて発表しました。 pdfにするとアニメーションgifが埋め込まれないみたいなので、一応貼っておきま…

インターネットにつながらない時に暇つぶしをする

Googleで「Tilt」(傾き)と検索すると、画面全体が傾いたり、「1ドルを円で」と検索すると、為替の計算ができたり、Google検索では、遊び心というか、隠し機能が豊富なことは結構有名だったりします。 そんな中、今日Chromeで検索しようとしたとき、「Unabl…