de:code 2019 AI06
OCR案件でAzure Computer Vision と
他社サービス含めて徹底検証してみた日本システムウエア株式会社
サービスビジネス事業本部 ビジネスイノベーション事業部
デジタルテクノロジー部 マネージャー
小河原 智
セッションの目的&ゴール
目的
ゴール
自己紹介
会社紹介
• もう同じものを探したくない!
•
•
•
•
•
• もう同じものを探したくない!画像図面検索の課題
•
•
•
•
•
画像図面検索の課題
過去の図面が探せない
⇒解決アプローチ:図面管理システムの導入
発生アクション:人力で図面ごとにタグ付けを行う
課題1管理が煩雑で大変に・・・
課題2
タグ名が属人的で
ヒットしない・・・
画像図面検索の課題
過去の図面が探せない
⇒解決アプローチ:AI を用いたシステムの導入
課題1図面検索を AI をどうやって使えばいいの?
課題2
そんな都合いい
サービスなんてある
の?
案件事例
AIを活用した類似図面検索システム
AI-OCR
類似図面検索
• もう同じものを探したくない!画像図面検索の課題
• AIによる解決アプローチ• AI-OCR
•
•
•
AIを活用した類似図面検索システム
AI-OCR
類似図面検索
今回はココ
Azure Cognitive Services
NEW NEW NEW
カスタム カスタム カスタムカスタム カスタム
Azure Computer Vision APIとは?
• 画像分析
– オブジェクト、カラー、画像/絵、アウトライン化
– 顔: 年齢/性別/表示位置
• 画像から文字データの読み取り
– 対象ファイル:PDF ファイル、画像(JPEG、PNG、GIF、BMP)
– 数多くの言語(25か国語)に対応A GOAL WITHOUT
A PLAN IS
JUST A WISH
その他のOCRサービスやソフトウェア
OCRサービスやソフトウェア仕様比較
サービス名
比較項目
Azure
Computer
Vision
Cloud Vision
Tesseract-
OCR
対象ファイル
PDF 、 JPEG 、
PNG 、 GIF 、
BMP
PDF 、TIFF 、
PNG、 GIF 、
JPEG
PDF 、TIFF 、
PNG、 GIF 、
JPEG
対応言語日本語含む
25ヶ国語
日本語含む
56ヶ国語
日本語含む
161ヶ国語
価格 $1.50/1,000枚 $1.50/1,000枚 無償(OSS)
検証データ
検証方法
結果の考察
Azure Computer Vision
• なぜ全然ダメダメだったのか?
• 言語の自動認識が英語+日本語の混在が出来ない
• Azureは顧客データの2次利用を行わない方針のため、学習が足りていない?
https://ascii.jp/elem/000/001/634/1634324/
• 今回のフォントは縦横サイズを変更しているものだった
結果の考察
Google Cloud Vision API
• 日本語認識精度は高い
• 英語+日本語の混在においても認識できている
Tesseract-OCR
• それなりの認識精度があった
• 英語+日本語の混在においても認識できている
• フォントの追加学習により認識精度が上がる可能性あり
結果の考察
OCR エンジンの選定の考え方
• 今回、図面の内容は要保護情報であるため、2次利用をしない Azure か Tesseract を選定※Google Cloud Vision の認識精度よりも優先
• 認識精度としてはフォントの追加学習が可能なTesseract を 採用する
• もう同じものを探したくない!画像図面検索の課題
• AIによる解決アプローチ•
• 画像判別特徴量抽出
•
•
AIを活用した類似図面検索システム
AI-OCR
類似図面検索
今回はココ
画像判別特徴量抽出アプローチ
画像判別特徴量抽出
特徴量データ(バイナリデータ)
属するグループ
Group 1
0101101110101010111010101010101110100010000100001000000111101110101010101010101
抽出処理
画像例
• もう同じものを探したくない!画像図面検索の課題
•
•
•
• “AI”実用化のためのポイント
•
“AI”実用化のためのポイント
独自開発は目的に合ったチューニング
サービスがダメなら独自開発(OSS推奨)
サービスへ投げるデータ条件を変えて試す
サービスがあれば積極的に採用する
入力画像の前処理
• 入力画像のノイズ除去(スキャン時のごみ、汚れ、明暗調整等)
追加フォントの学習
• 使用 CAD フォントによる JIS 第一水準の文字一覧を学習
誤認識しやすい単語やフレーズの補正
• 辞書を用いて、誤認識しやすい単語やフレーズを補正
独自開発は目的に合ったチューニング
• 入力画像の前処理
独自開発は目的に合ったチューニング
• 追加フォントの学習
独自開発は目的に合ったチューニング
図面種類 平均認識率
学習フォントと異なるフォントを使用している図面 52%
学習したCADフォントを使用している図面 82%
学習済みフォント 類似フォント例
• 後処理(誤認識しやすい単語やフレーズの補正)
独自開発は目的に合ったチューニング
1)ルールによる補正処理半角を全角に変換
空白の削除
空行の削除
2)辞書による補正処理誤認識しやすい単語などを補正するための
辞書を用いる
AIを活用した類似図面検索システム
AS400
Virtual
Machine
AI-OCR
図面類似度算出
図面データ 図面類似度
分類タグ
BLOB
Storage
Cosmos
DB
Web
Apps
Azure
Search
図面検索
• もう同じものを探したくない!画像図面検索の課題
•
•
•
•
• まとめ
まとめ
目的
ゴール
© 2018 Microsoft Corporation. All rights reserved.
本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります。
© 2019 NIPPON SYSTEMWARE CO.,LTD. All rights reserved.
本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。