色彩測定による果実の...
TRANSCRIPT
1
色彩測定による果実の収穫適期定量判定システム
秋田県立大学 システム科学技術学部
電子情報システム学科
准教授 石井 雅樹
2
果実の収穫現場におけるニーズ
果実（林檎）の取りごろ（収穫の適期）を数値で教えてくれる装置が欲しい．．．
3
果実のみならず．．．国内農業の現状
➢ 担い手の減少，高齢化の進行
➢ 作業を非熟練者に頼る場面が増加
➢ 経験や勘に頼らない高品質，付加価値の高い農作物の生産支援
⇒ 知識化・自動化・省力化
➢ 農業分野にICT・IoT技術を積極的に応用
4
果実の収穫方法
➢ 商品価値の高い果実の収穫方法⇒ カラーチャートの利用
➢ 目視判定＝官能検査（感性情報の利用）⇒ 定性評価＝判定のばらつき
➢ 判断基準が統一されていない
⇒ 収穫適期を定量的に判定するシステム
5
カラーチャートとの比較
表面色
（肩部，赤道部）
地色
（底部のがく近傍）
6
カラーチャートの色彩解析（地色： L*a*b*，HSV）
y = 1.6837x - 17.719R² = 0.97
70
72
74
76
78
80
82
84
86
-20
-15
-10
-5
0
5
10
15
20
1 2 3 4 5 6 7 8
L*
a*,b*
チャート番号
a*
b*
L*
線形 (a*)y = -4.2761x + 83.521
R² = 0.9876
10
20
30
40
50
60
70
80
90
0
10
20
30
40
50
60
70
80
1 2 3 4 5 6 7 8
HS,V
チャート番号
S
V
H
線形 (H)
L*a*b* HSV
7
屋内における果色の解析1 2 3 4 5 6
専門家によって階級分けされた果実（Dataset1）
7 8 9 10 11 12
表面色
表面色
地色
地色
8
屋内における果色の解析結果
-15
-10
-5
0
5
10
15
20
25
30
35
40
1 2 3 4 5 6 7 8 9 10 11 12
a*a*
a*
線形 (a*)
【表面色】
0
10
20
30
40
50
60
70
80
1 2 3 4 5 6 7 8 9 10 11 12
H
H
H
線形 (H)
Sample number Sample number
-20
-10
0
10
20
30
40
1 2 3 4 5 6 7 8 9 10 11 12
a*
a*
a*
線形 (a*)
0
10
20
30
40
50
60
70
80
1 2 3 4 5 6 7 8 9 10 11 12
H
H
H
線形 (H)
【地 色】
Sample number Sample number
9
屋内における収穫適期判定結果
0
1
2
3
4
5
6
7
8
1 2 3 4 5 6 7 8 9 10 11 12
判定値
No.
a*H
0
1
2
3
4
5
6
7
8
1 2 3 4 5 6 7 8 9 10 11 12
判定値
No.
a*H
0
1
2
3
4
5
6
1 2 3 4 5 6 7 8 9 10 11 12
判定値
No.
a*H
0
1
2
3
4
5
6
1 2 3 4 5 6 7 8 9 10 11 12
判定値
No.
a*H
Dataset 1
Dataset 2
表面色 地色
表面色 地色
5.44 5.465.48 5.47
7.29 7.527.20 7.53
7.59 5.577.585.52
5.50 5.56
10
屋外判定を目的とした画像補正（1/2）
-15
-12
-9
-6
-3
0
1 2 3 4 5 6 7 8
a*
チャート番号
1週目 2週目 3週目 4週目 5週目 収穫後(室内)
35
45
55
65
75
85
95
1 2 3 4 5 6 7 8
H [
deg
]
チャート番号
1週目 2週目 3週目 4週目 5週目 収穫後(室内)
a*
H
原画像
1週目
5週目
4週目3週目
2週目
屋内（収穫後）
11
屋外判定を目的とした画像補正（2/2）
-15
-12
-9
-6
-3
0
1 2 3 4 5 6 7 8
a*
チャート番号
1週目 2週目 3週目 4週目 5週目 収穫後(室内)
35
45
55
65
75
85
95
1 2 3 4 5 6 7 8
H [
deg
]
チャート番号
1週目 2週目 3週目 4週目 5週目 収穫後(室内)
補正後
1週目
5週目
4週目3週目
2週目
屋内（収穫後）
a*
H
12
時間経過に伴う果色変化（1/2）
R² = 0.7663
R² = 0.643
-10
0
10
20
30
40
50
60
70
-25
-15
-5
5
15
25
35
45
1 2 3 4 5
H[d
eg]
a*
経過時間 [週]
a* H
R² = 0.9748
R² = 0.9957-10
0
10
20
30
40
50
60
70
-25
-15
-5
5
15
25
35
45
1 2 3 4 5
H[d
eg]
a*
経過時間 [週]
a* H表面色
原画像 補正画像
1週目 5週目4週目3週目2週目
原画像
補正画像
13
時間経過に伴う果色変化（2/2）
R² = 0.9105
R² = 0.9298
-10
0
10
20
30
40
50
60
70
-25
-15
-5
5
15
25
35
45
1 2 3 4 5
H[d
eg]
a*
経過時間 [週]
a* H
R² = 0.9339
R² = 0.9451
-10
0
10
20
30
40
50
60
70
-25
-15
-5
5
15
25
35
45
1 2 3 4 5
H[d
eg]
a*
経過時間 [週]
a* H
原画像 補正画像
地色
1週目 5週目4週目3週目2週目
原画像
補正画像
14
樹上果実の検出手法テスト用の画像
パッチに分割
特徴量を抽出
輪郭を抽出
正のラベル
矩形を検出
Yes No
ラベルを推定
果実と判断
閾値以上
果実以外
Yes No
学習データ
SVMによる学習
分類器
矩形を検出
果実と判断
15
樹上果実の検出結果（1/2）
林檎側面 林檎底面
撮影方向によらず検出可能
照明環境やサイズが異なる場合も検出可能
明るい場合 暗い場合
16
樹上果実の検出結果（2/2）
黄色系（王林等）赤色系（ふじ等）
17
開発手順（1/2）
【 第1段階 】
果色解析，収穫適期判定に
有用な特徴の導出（PCベース）
【 第2段階 】
屋外使用を想定した画像処理手法
スマホアプリ開発，実証試験
18
開発手順（2/2）
【 第3段階 】
ハンズフリーな判定デバイス
の開発
【 第4段階 】
他品種への応用
ネットワーク化による産地別判定情報の共有・利用
収穫適期判定による地域（産地）ブランドの品質保証
産地別・品種別カラーチャートの自動生成
19
従来技術とその問題点
➢ 品質判定装置の多くは選果場で使用⇒ 樹上に着果した状態で判定を行うものは，現状，見当たらない
➢ 収穫作業は目視検査による定性評価⇒ 判定結果にばらつきが生じる
➢ 適期の果実のみを収穫し，未熟状態の果実は収穫せずに生育を進める⇒ 効率的な生産，安定的な農業経営支援
20
新技術の特徴・従来技術との比較
➢ 農作物の収穫判断に係る目視判定（官能検査）の定量化
➢ 屋外光変化に頑強な画像補正手法
➢ 勘に頼らない農作業の知識化と自動化・省力化（熟練ノウハウの伝承支援）
21
想定される用途
➢ 携帯型収穫適期判定装置（野菜・果樹・花き等、多品種への応用展開）
➢ 新規就農者・非熟練者を対象とした収穫作業の省力化（技能伝承教育ツールとしても．．．）
➢ 収穫判定基準の統一による地域（産地）ブランドの品質保証
➢ 産地別・品種別カラーチャートの自動生成
22
実用化に向けた課題
➢ 屋外環境での継続した実証試験
➢ スマートフォンアプリなど，汎用デバイスを採用した場合のカメラ機種依存
➢ 同一品種であっても産地ごと，年度ごとに作柄が異なることに対しての対応
23
企業への期待
➢ 専用デバイス，もしくはスマートフォンアプリ開発に興味を持っていただける企業
➢ 農工連携分野で画像処理技術の応用展開を検討している企業
➢ 農作業のデジタル化（熟練技能伝承）に関して興味をお持ちの企業
＜上記についてご興味を持っていただける企業様とお話させていただけると幸甚に存じます＞
24
お問い合わせ先
秋田県立大学
地域連携・研究推進センター（本荘キャンパス）
コーディネーター 石川 直人
ＴＥＬ 0184-27-2211
ＦＡＸ 0184-27-2945
e-mail [email protected]