1

自動・高速輪郭抽出による自動・高速輪郭抽出による自動・高速輪郭抽出による自動・高速輪郭抽出による３次元像可視化ソフトウェア３次元像可視化ソフトウェア３次元像可視化ソフトウェア３次元像可視化ソフトウェア

大阪大阪大阪大阪大学大学大学大学 大学院情報科学研究科大学院情報科学研究科大学院情報科学研究科大学院情報科学研究科

助教助教助教助教 御堂義博御堂義博御堂義博御堂義博

株式株式株式株式会社ダイナコム会社ダイナコム会社ダイナコム会社ダイナコム

代表取締役代表取締役代表取締役代表取締役 藤宮藤宮藤宮藤宮 仁仁仁仁

2

従来技術とその問題点従来技術とその問題点従来技術とその問題点従来技術とその問題点(1/2)

３次元像解析の需要拡大

• 医療分野– X-CT, MRI, PET

• 生物・材料分野生物・材料分野生物・材料分野生物・材料分野

– TEMトモグラフィトモグラフィトモグラフィトモグラフィ

– SEM連続断面像連続断面像連続断面像連続断面像

• 形状計測・検査• デザイン分野

TEM(TEM(TEM(TEM(透過電子顕微鏡透過電子顕微鏡透過電子顕微鏡透過電子顕微鏡) ) ) ) トモグラフィトモグラフィトモグラフィトモグラフィ

SEM(SEM(SEM(SEM(走査電子顕微鏡走査電子顕微鏡走査電子顕微鏡走査電子顕微鏡) ) ) ) 連続断面観察連続断面観察連続断面観察連続断面観察

細胞レベルの形態や挙動を可視化

3

従来技術とその問題点従来技術とその問題点従来技術とその問題点従来技術とその問題点(2/2)

従来の輪郭抽出手法における課題

・雑音やコントラスト変化に弱い

・初期輪郭を対象に近い領域に設定する必要がある

・特定の対象にしか適用できない（対象の形状・配置等に関する事前知識が必要）

電顕像の例：細胞核の一部（左）、ラテックス（右） 目標とする３Ｄ構造

3D像可視化

自動化困難、膨大な手作業労力・時間が必要拡大する需要を満足できない

電電電電顕像の特徴（画像処理の困難さ）：顕像の特徴（画像処理の困難さ）：顕像の特徴（画像処理の困難さ）：顕像の特徴（画像処理の困難さ）：低低低低SNSNSNSN比、低コントラスト、背景不均一、アーティファクト、様々な形状比、低コントラスト、背景不均一、アーティファクト、様々な形状比、低コントラスト、背景不均一、アーティファクト、様々な形状比、低コントラスト、背景不均一、アーティファクト、様々な形状

4

開発したソフトウェア開発したソフトウェア開発したソフトウェア開発したソフトウェアHawkCの概要の概要の概要の概要３次元可視化までに要する全作業時間全作業時間全作業時間全作業時間 を短縮

自動輪郭抽出の処理時間自動輪郭抽出の処理時間自動輪郭抽出の処理時間自動輪郭抽出の処理時間 ＋＋＋＋ 編集等の操作に要する時間編集等の操作に要する時間編集等の操作に要する時間編集等の操作に要する時間

自動輪郭抽出自動輪郭抽出自動輪郭抽出自動輪郭抽出

編集作業編集作業編集作業編集作業編集作業編集作業編集作業編集作業

• 内部構造の可視化（アニメーション等）

• 形状、サイズ、個数などの統計情報の抽出

ソフトウェアの出力ソフトウェアの出力ソフトウェアの出力ソフトウェアの出力

画像データ提供者： 奈良先端科学技術大学院大学 岩野恵様（現阪大産研所属）

5

新技術の特徴・従来技術との比較新技術の特徴・従来技術との比較新技術の特徴・従来技術との比較新技術の特徴・従来技術との比較

• 雑音、コントラスト変化、初期輪郭にロバストな新たな自動輪郭抽出を搭載

• 様々な３次元像（複数画像、動画、 MRC、 DICOM等）から内部構造の情報を取得

• 直感的で簡便な操作が可能なユーザインタフェース

• ユーザによる機能拡張性：入出力ファイルフォーマット、新たな輪郭抽出機能等

• 立体像可視化に要する作業を自動化・省力化・高速化• ユーザの介入を低減し、結果の客観性を向上

6

自動輪郭抽出プラグイン：自動輪郭抽出プラグイン：自動輪郭抽出プラグイン：自動輪郭抽出プラグイン： TH法法法法プレビュー随時更新プレビュー随時更新プレビュー随時更新プレビュー随時更新

しきい値のスクロール移動に即時対応したプレビューを表示滑らかさ滑らかさ滑らかさ滑らかさ

指定した数値を標準偏差とするガウシアンフィルタリングモルフォロジー操作モルフォロジー操作モルフォロジー操作モルフォロジー操作

チェックがONならば、3x3の膨張あるいは収縮操作を1回適用ノードの最小間隔ノードの最小間隔ノードの最小間隔ノードの最小間隔

輪郭のノード間距離。自動抽出後により細かい調整を行う場合には小さい数値を指定カーブの最小面積カーブの最小面積カーブの最小面積カーブの最小面積

この数値よりも小さな面積を持つ輪郭は無視する

特徴：結果が随時プレビューされるためパラメータ調整が容易

f(x,y)>T1 のとき g(x,y)=0, それ例外 g(x,y)=255

しきい値処理：範囲指定にチェック有しきい値処理：範囲指定にチェック有しきい値処理：範囲指定にチェック有しきい値処理：範囲指定にチェック有

Tmax=max(T1, T2), Tmin=min(T1, T2)Tmin <= f(x,y) & f(x,y) <= Tmaxのとき g(x,y)=255それ例外 g(x,y)=0

しきい値処理：周辺よりも暗い物体を抽出しきい値処理：周辺よりも暗い物体を抽出しきい値処理：周辺よりも暗い物体を抽出しきい値処理：周辺よりも暗い物体を抽出

7

自動輪郭抽出プラグイン：自動輪郭抽出プラグイン：自動輪郭抽出プラグイン：自動輪郭抽出プラグイン： CntyPro(1/2)輪郭輪郭輪郭輪郭の抽出方向の抽出方向の抽出方向の抽出方向

拡張設定パラメータ拡張設定パラメータ拡張設定パラメータ拡張設定パラメータ

• ノードの重み w1, w2• ノードのパッチサイズ patch_w/h• 膨張/収縮の強さ force• ノード間距離 node_length４つの抽出タイプ４つの抽出タイプ４つの抽出タイプ４つの抽出タイプ

1. 背景よりも明るい2. 背景よりも暗い3. 特定の輝度値以上4. 特定の輝度値以下

Region valueに指定した階調値に近い箇所を輪郭を抽出

背景部分と有意な差異がある個所を輪郭を抽出

（初期輪郭から膨張する方向） （初期輪郭から収縮する方向）

8

自動輪郭抽出プラグイン：自動輪郭抽出プラグイン：自動輪郭抽出プラグイン：自動輪郭抽出プラグイン： CntyPro(2/2)Centipede（ムカデ）（ムカデ）（ムカデ）（ムカデ） 足 nk (t)

頭(k=0)背骨の長さs (0～1)

ノードvk(t)=[xk(t) yk(t)]T

ムカデが時間とともに移動するかのように各ノードが変化しながら輪郭抽出

k=N-1 � = � {������ � + ������ ��

�

}��一般的な動的輪郭（Snakes）モデル

内部・外部エネルギーの合計Eが最小となるノード位置を求める

�� �� = �� � + �� � +�� � +�� �

オイラー方程式を用いた反復計算（高速化）

� ��� � � �� �

: ノードの速度: 輪郭の弾性力（直線）: 輪郭の剛性力（滑らかさ）: Self-power force: External force

内足

外足

Inner patch

Outer patch

Inner/Outer patchの統計量を有効利用

k=1

モデル画像に対する適用例（画像外枠から収縮）

9

モデル画像への適用例モデル画像への適用例モデル画像への適用例モデル画像への適用例(1/2)

雑音なし

低雑音

高雑音

Original TH CntyPro

背景階調値50, 前景階調値70, 白色ガウス雑音

Original TH CntyPro

背景グラデーション, 前景階調値100, 白色ガウス雑音

10

モデル画像への適用例モデル画像への適用例モデル画像への適用例モデル画像への適用例(2/2)低低低低SN比＆比＆比＆比＆低コントラスト低コントラスト低コントラスト低コントラスト

画像画像画像画像

入力画像入力画像入力画像入力画像

CntyPro適用結果適用結果適用結果適用結果

人間が見ても識別が困難な不明瞭な輪郭にも適用可能

11

実実実実画像画像画像画像への適用例への適用例への適用例への適用例(1/2)～細胞核～細胞核～細胞核～細胞核 TEMトモグラフィー像～トモグラフィー像～トモグラフィー像～トモグラフィー像～

初期輪郭（膨張タイプ）

初期輪郭（収縮タイプ）

細胞核

クロマチン

■輪郭周辺の統計量を利用

■初期輪郭に依存しない

■低コントラストでも輪郭抽出可 CntyProによる輪郭抽出プロセス

画像データ提供者： 大阪大学超高圧電子顕微鏡センター 西田倫希様（現 QTEC所属）

12

実実実実画像画像画像画像への適用例への適用例への適用例への適用例(2/2)～細胞核～細胞核～細胞核～細胞核 TEMトモグラフィー像～トモグラフィー像～トモグラフィー像～トモグラフィー像～

異なるスライスの輪郭抽出結果（白黒反転画像に輪郭をオーバーレイ表示）

輪郭３Ｄ表示 サーフェイスレンダリング アニメーション機能（動画保存）

13

想定される用途想定される用途想定される用途想定される用途

• 生物・材料の構造解析– ＴＥＭトモグラフィ– ＳＥＭ連続断面像– 光学顕微鏡

• 半導体LSI等の形状計測検査

• 医療画像診断– MRI– X-CT– PET

– 病理組織検査

• デザイン分野• ３Dプリンタによる立体模型支援

ラテックスの３Ｄ表示と作製された模型 緑藻（電顕像から外郭／内部の輪郭を抽出して作製）

14

実用化に向けた課題実用化に向けた課題実用化に向けた課題実用化に向けた課題

• 現在までに、本ソフトウェアを用いることで３次元可視化の高速化・省力化を達成できた事例がいくつか報告されている。

• しかし、顕微鏡本体や観察方法の進歩は著しく、生物から材料分野に至るまで多種多様なサンプルの可視化・解析が求められる。

• 新たな画像データに対しては、適用可能性、パラメータ調整法を評価し、ノウハウをデータベースとして蓄積する。

• 分野・対象に応じて求められる解析が異なる（現ソフトは輪郭周囲長などの基本的な指標の算出のみ）

15

企業への期待企業への期待企業への期待企業への期待

• 本ソフトウェアの導入が有効と思われるのは、– 撮影した像の可視化・解析にご興味のあるユーザ（できる限り簡便に、大量のデータを自動的に処理したい

– 顕微鏡像などの解析・分析（特に形態的な面）を受託されている企業や大学研究機関

– 顕微鏡撮影から解析までをパッケージ化して提供したい企業（電顕ベンダーなど）

– 内部構造の３Ｄプリント技術に関心のある企業・ユーザ

• 新たなサンプルに関しては、観察方法から輪郭抽出手法まで含めて企業と共同研究することも可能（純国産ソフトであるため、カスタマイズなども柔軟に対応できる）。

16

本技術に関する知的財産権本技術に関する知的財産権本技術に関する知的財産権本技術に関する知的財産権

• ＨａｗｋＣ統合ソフトウェア

–大阪大学発明登録： C20129001

• Cntyプラグインソフトウェア–大阪大学発明登録： C20129002

• CntyProプラグイン、Cntyアルゴリズム

–大阪工業大学 外部発表• M. N. Shirazi, Y. Kamakura, “PARALLEL R-CENTIPEDES - Fast Contour Extraction for 3D

Visualization”, 7th International Conference on Computer Vision Theory and Applications (VISAPP2012)

• M. N. Shirazi, Y. Kamakura, “Restructuring Centipedes and their Applications to Fast Extraction of Structures in Electron Microscope Tomography Images”, 2010 3rd International Conference on Biomedical Engineering and Informatics (BMEI2010), Volume 2, pp.518-523 (2010).

• 鎌倉快之，井上雄紀，メディヌリシラジ, “R-centipedeモデルを用いたトモグラフィー電子顕微鏡像からの輪郭抽出の高速化手法”, 医用画像情報学会雑誌，Vol. 30，No.4：pp. 95-100 (2013）.

17

産産産産学学学学連連連連携携携携のののの経歴経歴経歴経歴

• 2006年-2007年– JST 次世代の電子顕微鏡要素技術の開発 『生体・病理組織の三次元ナノ構造解析国産ソフトウェアの開発』

• 2009年-2011年– JST先端計測分析技術・機器開発プログラム（ソフトウェア開発）『トモグラフィー電子顕微鏡用ソフトウェアの開発』

• 2012年-2014年– JST先端計測分析技術・機器開発プログラム（開発成果の活用・普及促進）『トモグラフィー電子顕微鏡用ソフトウェアの活用・普及促進』

18

おおおお問い問い問い問い合合合合わわわわせ先せ先せ先せ先

大阪大学 大学院情報科学研究科

御堂義博

ＴＥＬ ０６－６８７９ － ７８１３

ＦＡＸ ０６－６８７９ － ７８１２

E-mail midoh＠ist.osaka-u.ac.jp

ＨａｗｋＣ専用ウェブサイト・連絡先

ＨＰ http://hawkc.dynacom.co.jp/

E-mail hawkc@dynacom.co.jp ソフトのインストーラ（使用期限付き）、ソフトのインストーラ（使用期限付き）、ソフトのインストーラ（使用期限付き）、ソフトのインストーラ（使用期限付き）、

サンプルデータ、チュートリアルを公開サンプルデータ、チュートリアルを公開サンプルデータ、チュートリアルを公開サンプルデータ、チュートリアルを公開