乳用牛専用形状計測システムの開発

　池上舞, 菅井駿, 玉木徹, Bisser Raytchev, 金田和文, 川村健介, 吉利怜奈, 葛原由加子, 黒川勇三, 小櫃剛人, 沖田美紀

（広島大学）

+

牛の健康状態の検査 ・乳質検査：出荷前 ・血液検査：器具がある農家は少ない 　　　　　　頻繁には行えない ・BCS検査：目視・触診で体格を判定

CVでサポート

背景

+�)��-."����-��,3��24�4, 1�������(���023+��4,  http://www.e-stat.go.jp/SG1/estat/List.do?lid=000001111151 /!#%)�'%*-3��25�2 1�$�4, http://www.maff.go.jp/j/tokei/sokuhou/tikusan_13/index.html

牛乳の消費量 １世帯当たり年間84.65L

（2012年）

乳用牛の飼養頭数 ・全国：142万3000頭 ・1戸当たり飼養頭数：73.4頭 （平成25年2月1日現在）

0""

10""

20""

30""

40""

50""

60""

70""

80""

0"

1"

2"

3"

4"

5"

6"

��

������

��� ����1���� ���

����

1���� ���

+

BCS（ボディコンディションスコア） ・乳用牛の太り具合を表す指標 ・１：痩せすぎ 　２：痩せぎみ 　３：標準 　４：太りぎみ 　５：太りすぎ ・目視では値を0.25刻みで判定

問題点 ・頭数が多いと時間がかかる ・BCSの値は主観に依存する �'%Zoo1����&

http://zookan.lin.gr.jp/kototen/rakuno/r123_1.htm

BCSによる体格の判定

研究目標：BCS推定自動化のための形状計測システムの開発

利点 ・目視の場合は非接触 ・簡便で頻繁に測定可能

+現在の農場における形状計測の様子

Kinect ノートPC

バッテリー

・牛が動く ・困難な環境 ・電源がない ・不衛生

+既存の形状計測手法 アクティブステレオ パターン投影とカメラによる撮影　

レーザーレンジファインダ レーザーを照射して距離を測定

・赤外線投影型は太陽光に影響される ・可視光投影型は明るい所で動作しにくい ・機器が大型のものもある ・ケーブルが邪魔

・価格が高い（数百万） ・重すぎて持ち運びにくい（10kg以上） ・牛が驚く可能性がある

http://www.xbox.com/ja-JP/xbox360/accessories/kinect� http://www.konicaminolta.jp/instruments/products/3d/vivid9i/spec.html�

Microsoft　Kinect

http://www.viewplus.co.jp/product/camera/bumblebee.html

Point Grey　Bumblebee

パッシブステレオ 2枚以上のカメラの画像から形状を推定

提案するシステム ・商用機器の場合は高価 ・機器が大型のものもある ・接続が有線のものもある

・パッシブステレオ ・小型で持ち運びやすい ・無線 ・誰でも使える ・時間、労力の削減

コニカミノルタ　VIVID

+研究目標

牛の形状に適した高精度な形状計測手法の開発

農場における形状計測に適したシステムの開発

+提案システムの概要

iPad2：http://store.apple.com/jp/buy/home/shop_ipad/family/ipad2?product=IPAD2 Eye-Fiカード：http://www.eye.fi/jp/ FUJIFILM FinePix REAL 3D W3：http://kakaku.com/item/K0000138949/images/

タブレットに表示

/�� ��� �

Happy!�

Wi-Fiでデータ転送

撮影した画像

推定結果

形状復元

BCS推定

3Dサーフェス

デプスマップ

小型なデバイスで撮影

3Dカメラ

+研究目標

牛の形状に適した高精度な形状計測手法の開発

農場における形状計測に適したシステムの開発

+農場での形状計測における問題点 近づくと危険

精度は高いが危険

精度は低いが安全

牛が動く

精度は高いが 牛が動く

精度は低いが 動いても大丈夫

基線長が短い

精度は高いが大型

10cm

カメラ

レンズ レンズ

2m

カメラ カメラ

精度は低いが小型

SfM

ベースライン

+提案手法

ある程度の形状は既知と仮定し、その形状からのずれを推定

短いベースラインでも 距離が遠くても 1ショットでも

形状計測できるようにする

アイデア

Kinect による 7頭分の臀部の スキャン結果

データを増やして統計的形状モデルをつくる

+ある程度の形状が既知の場合の計測手法 拡張する提案手法

参照平面

従来

実際の形状 参照形状

牛

plane plus parallax： 参照平面からのずれを計測する

統計的形状モデルを 参照形状に利用する予定

+ 開発したシステムの流れ ��� ����

�������

Wi-Fiでデータ転送

撮影した画像

推定結果

形状復元

BCS推定

3Dサーフェス

デプスマップ

小型なデバイスで撮影

3Dカメラ

現在使用しているデバイス •  Eye-Fiカード Pro X2 •  MacBook Pro •  iMac

Eye-Fiカード Pro X2：http://www.ginichi.com/products/detail.php?_product_id=7489 MacBook Pro：http://news.kakaku.com/prdnews/cd=pc/ctcd=0029/id=7666/imageno=0/ iMac：http://pxv.blog.fc2.com/blog-entry-180.html

＋

携帯電話回線 (3G)

ノートPC

離れたPC

アドホック接続

Eye-Fiカードを 挿入した３Dカメラ

Wi-Fi モバイルルータ

Wi-Fi アクセスポイント

インターネット

ワイヤレスPC転送

※Eye-Fiカード： 　SDカードにWi-Fiがついたもの。写真を転送できる。

画素数：1000万画素 基線長：約7.5cm

+ 開発したシステムの流れ ��� ����

�������

Wi-Fiでデータ転送

撮影した画像

推定結果

形状復元

BCS推定

3Dサーフェス

デプスマップ

小型なデバイスで撮影

3Dカメラ

⑤BCS値の推定（※未実装）

マルチピクチャフォーマットの画像 2枚のJPG画像

フォルダを監視 新規ファイルが追加されたらアクション （Mac OS付随のAutomatorを使用）

アクションでは以下の5つの処理を行う ①マルチピクチャフォーマット（MPO）の画像を 　2枚のJPG画像に分離

②2枚のJPG画像から視差を求める ③デプスマップを計算 ④3次元形状を復元

分離

復元画像 デプスマップ

+ 開発したシステムの流れ ��� ����

�������

Wi-Fiでデータ転送

撮影した画像

推定結果

形状復元

BCS推定

3Dサーフェス

デプスマップ

小型なデバイスで撮影

3Dカメラ

Dropbox：http://mattintosh.blog.so-net.ne.jp/2012-03-01_ubuntu_dropbox

Dropbox

タブレット

コンピュータ

タブレット上のブラウザで表示

HTMLファイルの表示例

+

農場における形状計測に適したシステムの開発 ・小型なデバイスで撮影 ・Wi-Fiを用いて転送 ・転送先で復元、推定 ・タブレット端末で結果を表示 牛の形状に適した高精度な形状計測手法の開発 ・plane plus parallaxを拡張 ・参照形状は統計的形状モデルを使用

まとめ

✔ ✔

✔ ✔