きのこたけのこ戦争に学ぶきのこたけのこ戦争に学ぶ画像認識画像認識

きりんきりん

@kirin_nico@kirin_nico

シナガワ

<2013/3/9>

pronama

自己紹介

● きりん (@kirin_nico)

– コミュ『ニコニコ技術部員(自称)の作業日誌』 (co12186)

● よく使う言語は C# (お仕事ではひたすらTclとかアセンブラ)

● 電子工作/プログラミング/クラフト系作品動画の投稿、視聴者参加型のゲーム放送、お絵描き等が主な活動

今回やること

● とある画像の中から・・・

今回やること

● 2種類のお菓子を抜き出し、分類します

たけのこっぽいお菓子

きのこっぽいお菓子きのこっぽいお菓子

きのこっぽいお菓子

きのこっぽいお菓子きのこっぽい

お菓子

画像認識とは

● 雑多な情報を含む画像の中から意味を持つデータを取り出すこと

– 例) デジカメの顔認識、ARマーカー認識

● 詳細はググれ bingれ

● 条件を絞れば簡単な処理でもそこそこのものができる

今回の前提条件

● 安定した照明を用意する– 照明変動やノイズが少ない

● 背景には白く反射しづらいティッシュを敷く● やや上から撮る、横からは撮らない

● 基本的には1個、仮に複数あっても重ならない

● 速度は気にしない

● きのこorたけのこの判別のみ – 『その他の物体』と判定する機能はオプション

画像認識のフロー

画像取得

　　↓

画像処理

　　↓

画像認識

例)　画像ファイルを取り込む

　　　Webカメラから画像を取得する

例)　RGB値を元に二値化する

　　　色を補正する、ノイズを減らす

例)　数値化した特徴(色や形)から、

　　　映っているものが何かを判定する

まずは画像の取得

● 自作クラス+Webカメラ

B G R B G R B G R B …

1pixel目 2pixel目 3pixel目

メモリ上の画像の構成例

次に画像処理

● いろいろな処理を試してみる

– 色に着目：色調補正、HSV変換　など

HSV明度

RGB緑値

RGB青値

HSV彩度

次に画像処理

● いろいろな処理を試してみる

– 色に着目：色調補正、HSV変換　など

RGB青値 + HSV彩度

次に画像処理

● いろいろな処理を試してみる– 形に着目：特徴点抽出、エッジ検出、輪郭の数値化

　　　　　　　モーメント、面積比、サイズ・角度の正規化

エッジ抽出 サイズ・回転角正規化

次に画像処理

● 組み合わせてみる

物体抽出

2色化・回転角正規化

最後に画像認識

● 両者で明らかに異なるクッキー部分の形に注目

最後に画像認識

● 両者で明らかに異なるクッキー部分の形に注目

縦に長い→きのこっぽい

横に長い→たけのこっぽい

結果

● このアルゴリズムを用いると・・・

結果

● うまく認識出来ました

まとめ

● 画像認識とは、雑多な情報を持つ画像から意味のあるものを取り出すこと

● 条件を絞れば簡単な処理でも画像認識プログラムを作ることができる

● 認識対象の特徴をよく知ることが大切

ご清聴ありがとうございました