1

解剖学的知見に基づいた動的な顔の物理モデルの構築

及びその応用に関する研究

Physics-based Dynamical Face Modeling Utilizing Anatomical Knowledge and Its Applications

学位論文

応用物理学科　橋本研究室

博士課程３年　青木　義満

2000/12/5

研究分野：　顔画像処理、医用画像処理

修士課程

博士課程

現在

・　解剖学的知見に基づく顔の物理的なモデルの構築についての基礎検討

→　表情生成, 　顔面運動解析への応用

・　医学分野への応用

　X線規格画像、CT画像からの頭部立体モデルの構築 　歯科矯正手術シミュレーション

に関する基礎研究

正面顔画像からの顔器官特徴抽出に関する研究 動画像中からの顔検出・追跡システムに関する研究

・　臨床応用に向けた定量評価

・　様々な形状データに応じたモデルの構築手法の検討、応用

2

研究業績 （論文, 学会活動）

“解剖学的知見に基づく顔の物理モデリングによる表情生成”, 　 電子情報通信学会和文論文誌A 基礎境界, Vol.J82-A, No.4, 1999(4), pp.573-582.

“利用可能なデータに応じた3次元頭部モデルの構築とその応用”, 画像電子学会論文誌, Vol.29, No.5, pp.497-505.

“頭部X線規格画像を用いた3次元頭部物理モデルの構築とその臨床応用”, 電子情報通信学会和文論文誌D-Ⅱ（Now Printing）

"Simulation of Postoperative 3D Facial Morphology using Physics-base Head Model,” International Journal of the Visual Computer.（Now Printing）

■ 論文誌 5件 （筆頭5件, 非筆頭0） ■ 査読付国際会議 7件 （筆頭7件, 非筆頭0件） ■ シンポジウム 4件 （筆頭2件, 非筆頭2件） ■ 研究会 2件 （筆頭1件, 非筆頭1件） ■ 全国大会 12件 （筆頭8件, 非筆頭4件）

学術論文

研究業績 (国際会議)

"Physical Modeling of Face Using Spring Frame based on Anatomical data", The 4th International Conference on Multi-Media Modeling '97, Singapore, 1997(11).

"Physical Facial Model based on 3D-CT Data for Facial Image Analysis and Synthesis", The Third IEEE International Conference on Automatic Face and Gesture Recognition '98 (FG'98) Nara, Japan, 1998(4).

"Robust and Active Human Face Tracking Vision using Multiple Information", SCI'99, Orlando, USA, 1999(8).

"Simulation of Postoperative 3D Facial Morphology using Physics-base Head Model", The 6th International Conference on Multi-Media Modeling '99 (MMM'99), Ottawa, Canada, 1999(10).

"Physics-based 3D Head Modeling Using CT and X-ray Images for Medical Applications", The 4th IEEE International Conference on Automatic Face and Gesture Recognition (FG2000) Grenoble, France, 2000(4).

"Adaptive Head Modeling System and Its Application", 　　The 5th International Conference on Signal Processing 2000 (ICSP2000), Beijing, China, 2000(8)

3

発表の概要

・研究背景

・本研究の位置付け、目的

基礎研究

・解剖学に基づいた顔の物理モデルの構築と表情生成

応用研究

・医用画像情報からの頭部形状の可視化と手術シミュレーション

歯科矯正治療における診断支援システム

・総括, 今後の展望

研究背景　～工学における顔画像研究

顔画像の認識・合成

　・シーン中の顔の検出、追跡 　・顔器官、視線検出 　・個人識別 　・表情認識

ロボットビジョン セキュリティシステム マン・マシンインタフェース

　・顔の3次元モデリング

　・表情合成

認識

合成

超狭帯域テレビ会議システム 擬人化エージェント CT、MRIなど医用データの可視化

4

顔画像の認識・合成

　・シーン中の顔の検出、追跡 　・顔器官、視線検出 　・個人識別 　・表情認識

ロボットビジョン セキュリティシステム マン・マシンインタフェース

　・顔の3次元モデリング

　・表情合成

認識

合成

超狭帯域テレビ会議システム 擬人化エージェント CT、MRIなど医用データの可視化

研究背景　～工学における顔画像研究

顔画像の合成技術

Parke (1972-)

・ワイヤーフレームモデルによる顔の3次元形状表現

・ワイヤーフレーム形状の変形による表情合成

個人の顔形状のモデリング

形状変形による表情付け

表情アニメーションの合成

5

顔形状のモデリングと表情付け

3次元顔モデルの構築手法

・多方向より撮影した複数枚の画像（Photogrammetric Method : 顔画像, 頭部X線画像）

・3次元形状計測（3Dデジタイザ, レーザースキャナ, CT, MRI）

表情付けの方法

・幾何学的な変形ルール（幾何学的変形手法）

- FACS (Facial Action Coding System) のAU (Action Unit) による表情記述

・顔の物理的な特性をモデル化（顔の物理モデリング）

顔の物理モデリング

顔面変形

・筋肉や骨格の挙動に伴う表情変化を予測可能　

→　顔面変形シミュレーション

筋肉・皮膚の弾性 バネで再現

顔面の筋肉 頭蓋骨

顔の解剖学的構造・物理的特性を考慮にいれたモデル化手法

運動方程式

6

顔の物理モデルに関する研究

・表情アニメーションの合成

Y.Lee and D.Terzopoulos et al, "Realistic Modeling for Facial Animation", SIGGRAPH 95 Proceedings, ACM SIGGRAPH, 1995.

・医学応用 (外科手術シミュレーション)

R.M.Koch et al, "Simulating Facial Surgery Using Finite Element Models", SIGGRAPH 96 Proceedings, ACM SIGGRAPH, 1996.

H.Mita, T.Konno, "A Facial Paralysis Simulator for Surgery Planning", Journal of Japan society for Computer Aided Surgery, Vol.4, No.1, pp.1-5, June 1996.

　　- 歯科矯正学

　　- 顔面神経麻痺

基礎研究段階、臨床応用はされていない 　（問題点：　モデル精度、データ処理コスト）

S.Hashimoto, Y.Sato, and H.Oda, "Modification of Facial Expression Using Spring Frame Model," Proc. IASTED, June 1987.

本研究の目的

・　医学応用を目的とした、医用画像データを用いた精巧な頭部の3次元モデル構築

- 3次元CT, X線画像を用いたモデリング手法

・　表情生成機構を物理的に正確に再現

- 顔面運動の解析 - 顔面変形シミュレーション

＜歯科矯正診断支援システムへの応用＞

・　実用的な処理コスト、シミュレーション結果の評価

- 臨床可能なシステムの構築

7

基礎研究

　解剖学に基づいた顔の物理モデリングに関する研究

内容

・個人の頭部モデルをCTから構築

・表情生成機構の確立

・表情生成実験と評価

3次元CTデータからの顔・骨格形状の抽出

頭部CT撮影 (2mm pitch)

→ 頭部断層画像（125枚）

→ 軟組織・硬組織のセグメンテーション（閾値処理）

→ 顔表面・骨格表面点列データ群（約25,000点）

→ 特徴点サンプリング

→ ポリゴンモデル

CT断層画像

顔表面データ

骨格データ

8

•  非線型バネ（スプリングフレーム） → 皮膚の弾性を再現

•  Mimetic Unit の概念を採用

→ 収縮する筋肉の近傍ユニットのみ動作 → 効率的な表情生成

757points, 1390polygons Mimetic Unitsによる 顔表面の分割

顔表層モデル

骨格モデル

864Points, 1425Polygons

・ 皮膚の運動を拘束

・ 筋肉の起始点　（表情筋の3次元的な配置）

・ 下顎骨の運動（並進、回転）に伴う表情変化

9

表情筋のモデリング

表情筋モデル （12種類）

・非線型バネ　：　骨から起始し、皮膚に付着するよう配置 →　 実際の表情筋の形態

表情筋の種類とグルーピング

番号 筋肉の名称 グループ

1 前頭筋 12 皺眉筋

3 鼻根筋

4 眼輪筋 35 眼角筋

6 眼窩下筋

7 小頬骨筋

8 大頬骨筋

9 口角挙筋

10 頬筋

11 口角下制筋

12 口輪筋 6

2

4

5

(207springs)

・ 骨格表面から顔表面に向かう法線方向にバネを配置

・ 骨格と顔表面間の隙間をうめ、滑らかな顔面変形を実現

・ 肉厚データ (顔表面と骨格との距離）として利用可能。

脂肪層のモデリング

10

筋肉収縮率の定義

・表情画像より最大収縮時の筋肉長を計測 → 最大収縮時を収縮率100%として定義

無表情時 前頭筋群の収縮 (最大収縮時)

頬筋群の収縮 (最大収縮時)

筋肉収縮率：

)(

(%) 100

min

min

ni

n

inIh

LLLLLLLC

≤≤

×−−

= Li : 現在の筋肉長 Ln: 無表情時の筋肉長 Lmin: 最大収縮時の筋肉長

非線型バネの性質

・ 非線型バネ → 皮膚及び筋肉の非線型性を再現

・ 弾性定数を筋肉収縮率によって変化

筋肉収縮率

)(

(%) 100

min

min

ni

n

inIh

LLLLLLLC

≤≤

×−−

=

Li : 現在の筋肉長 Ln: 無表情時の筋肉長 Lmin: 最大収縮時の筋肉長

11

表情生成メカニズム

モデルの力学系

筋肉の収縮運動

下顎骨の運動

下顎骨の運動

+

−

−−

=

′

′

′

zi

i

i

yxyxy

xx

yxyxy

i

i

i

lzyx

zyx

00

coscoscossinsinsincos0sincossinsincos

θθθθθ

θθ

θθθθθ

並進パラメータ軸周りの回転角、

点座標移動後の下顎骨の特徴

点座標移動前の下顎骨の特徴

: y x,: , :),,( :),,(

zyx

iii

iii

lzyxzyx

θθ

′′′

g: 重力加速度 R: 粘性定数 mi: 皮膚モデル上の特徴点iの質量 ri, rj: 特徴点iとそれと連結している特徴点jの位置ベクトル kij: 皮膚弾性定数 kIh: 筋肉弾性定数

Facial Surface

Facial Muscle

Skull Surface

( )dtidRmi

jijkdt

dmi ij

rgrrr i −+−∑−=2

2

骨格形状による顔面変形の拘束

動作中の皮膚モデル特徴点i

球近傍内に含まれる骨格モデルのポリゴンを求める x

y

z

球近傍内のポリゴン群

ポリゴンをx-y平面に投影し、特徴点iがどのポリゴン内に含まれているかを判定

選択されたポリゴン

特徴点iがこのポリゴンによって切られる空間内の原点（頭部の中心）側に存在する時は、骨格の内側に入り込んでいると判断し、外側に配置し直す

12

CT撮影時における重力影響の補正

直立状態での顔画像 CT撮影状態でのモデル 補正後のモデル

CT撮影：　仰向けの状態でデータ取得　→　重力による顔面変形をキャンセル （直立の状態）

Value of Error (pixel)Eyes Mouth Contour Average

Fig15-16 3.5 6.7 8.4 5.9Fig15-17 3.4 4.2 2.1 3.1

補正前

補正後

主要顔特徴点における重力補正前後の誤差値

表情生成実験

・ 実画像をターゲットとして 顔パラメータを調整

パラメータ調整

顔モデル 生成画像 最終結果画像

ターゲット 表情画像

マッチング

顔パラメータ抽出

顔パラメータ： 筋肉収縮率、筋肉・皮膚弾性定数、 下顎骨回転角、並進運動パラメータ

13

表情動画像の生成

筋肉と骨格の運動 顔表面の変形

表情生成実験結果

「微笑み」 「怒り」

「驚き」 「悲しみ」

14

表情生成実験からの顔面運動パラメータ抽出

表情 筋肉番号 筋肉収縮率(%) Unit No. 下顎回転角(°)微笑み 5,6,7,8,9 55 3, 4, 5 3

2,3 854 20

1-1 90 1-2,1-3 85

1-4 801-5 755, 6 30

驚き 1 90 1,2,3,4,5,6 15

怒り

悲しみ

1,2,3 -

1,2,3,4,5,6 6

各表情に対応した顔パラメータ値

顔面運動の定量化

顔の基本動作の再現

２５／３４の動作を表現可能

･ FACSのAction Unit（顔の基本動作）によってテスト AU No. AU名称 判定 AU No. AU名称 判定

1 眉の内側を上げる ○ 20 唇両端を横に引く ○2 眉の外側を上げる ○ 23 唇を強く閉じる ×4 眉を下げる ○ 24 唇を押さえつける ×5 上瞼を上げる ○ 25 顎を下げずに唇を開く △6 頬を持ち上げる ○ 26 顎を下げて唇を開く ○7 瞼を緊張させる ○ 27 口を大きく開ける ○8 唇を互いに接近させる △ 28 唇を吸い込む ×9 鼻に皺を寄せる × 29 下顎を突出す ○10 上唇を上げる ○ 30 顎を左右にずらす ○11 鼻唇溝を深める × 32 唇を噛む ×12 唇両端を引き上げる ○ 35 頬を吸い込む ×13 唇を鋭く引き上げる ○ 41 上瞼を下げる ○14 えくぼを作る × 42 薄目 ○15 唇両端を下げる ○ 43 閉眼 ○16 下唇を下げる ○ 44 細目にする ○17 下顎を上げる × 45 まばたく ○18 唇をすぼめる △ 46 ウインクする ○

15

基礎研究の成果

・CTデータを用いた個人頭部モデルの構築

- 顔の解剖学的構造、正確な3次元形状の再現

・表情生成

- 筋肉・骨格の運動に伴う表情変化

- 代表的な顔の動作及び表情の生成が可能

- 顔面運動のパラメータ化

（筋肉収縮率, 骨格運動）

医療応用 ・顔面変形シミュレーション

応用研究

　歯科矯正学における診断・治療支援システムの構築

　　　　（九州大学歯学部歯科矯正学教室との共同研究）

内容

・患者の3次元モデル構築による頭部形状の可視化

・物理計算による歯科矯正手術シミュレーション

診断・治療計画立案支援

16

工学技術の医療応用

コンピュータ診断, コンピュータ外科 （Computer Aided Diagnosis）（Computer Aided Surgery）

先端工学技術

ロボット技術

３次元医用画像技術

CG, VR技術

検査, 診断, 治療

医療分野

外科医に新しい“目”と“手”を提供

画像情報による診断支援

視覚情報（画像提示）により, 医師の診断をサポート

・画像診断機器 →　高精度な人体(形態, 機能)情報の取得 　（CT, MRI,超音波診断装置）

・画像認識・抽出 →　形状特徴抽出, 病変・注目部位の切出し

・3次元画像生成 →　形状の可視化, 手術シミュレーション

- Computer Graphics - Virtual Reality - Augumented Reality

頭部3次元画像構築

計算機シミュレーション 歯科矯正診断, 治療支援システム

本研究：　歯科矯正分野

17

歯科矯正診断・治療におけるコンピュータ支援

・顎、歯列部分の形態把握　→　Ｘ線トレースを利用

・手術結果の予測 　→　医師の経験に基づく予測

正貌セファログラム

（問題点） ・立体的な形状の把握が不可能 ・客観性

3次元形状の可視化と手術シミュレーション

先行研究

・木原 他, “コンピュータグラフィックスを応用した手術計画実体モデル作成システム”, 東芝レビュー, Vol.47, pp.918, 2000.

・清水 他, “統合3次元データによる顎矯正手術シミュレーションシステムの開発”, 阪大歯学誌, Vol.44, No.1, pp.1-26, 1999.

頭部の3次元モデリング・可視化

（従来） ・CT, MRIの3次元データを利用

→ 処理コスト、X線被爆の問題 (本手法) ・通常の診断で必ず取得する正面, 側面X線写真を利用 　　予め用意した標準骨格モデルをフィッティング

手術計画立案・術後の顔貌変化予測

（従来） ・セファログラムを用いたPaper Surgery (2次元形状での予測)

(本手法) ・3次元モデルを用いた物理計算によるシミュレーション（3次元形状での予測）

研究目的

18

Basic　Concept

Anatomic & Physics-based Facial Model

標準頭部モデル 個人頭部モデル

頭部形状データ

顔面画像 X線画像 CT画像 3次元スキャナ

Generic Model-based Method

・標準頭部モデルを利用可能な形状データに応じて変形し、 　個人の頭部形状モデルを構築

・低コスト　（処理時間, データコスト）

・入力データに応じた、柔軟なモデリングが可能

・形状特徴抽出処理が必要不可欠

19

Facial shape Skull shapeAccuracy

-

3D DigitizerX-ray images

3D CT

surfacefeature points

contours

surface surface

feature pointscontours

feature pointscontours

feature pointscontours

Input ResourcesObtainable Information

Facial images(frontal & side)

X-ray imagesFacial image

Low

High

頭部形状データ

顔面画像 X線画像 CT画像 3次元スキャナ

Facial shape Skull shapeAccuracy

-

3D DigitizerX-ray images

3D CT

surfacefeature points

contours

surface surface

feature pointscontours

feature pointscontours

feature pointscontours

Input ResourcesObtainable Information

Facial images(frontal & side)

X-ray imagesFacial image

Low

High

頭部形状データ

顔面画像 X線画像 CT画像 3次元スキャナ

20

3D Face Model

Hierarchical Facial Model

Muscle - Muscle

・ Elastic body represented by springs ・ 14 facial muscles ・ Inserted between skin and skull

Skin

- Skin

・ Wire frame model constructed from CT data

・ Elastic body represented by springs ・ 751 points, 1288 polygons

Skull

- Skull ・ Rigid body ・ Wire frame model

(ViewPoint corp.) ･ 5072 points, 7757polygons

顔画像とX線規格写真からの形状特徴抽出

・ 顔表層モデルのフィッティング

正面・側面顔画像から顔特徴点を自動抽出

・ 骨格モデルのフィッティング

正面・側面X線規格画像から解剖学的計測点をマニュアルで抽出

Facial feature points Initial Face Model

Measurement points Initial Skull Model

Individual Head Model

Fitting

21

正面顔画像からの顔特徴点自動抽出

顔認識ソフトウェア

顔器官の輪郭上にのる顔特徴点を自動認識・抽出

眉、目、鼻、口、顔輪郭　形状情報

IPA独創的情報技術育成事業に係わる 「感性擬人化エージェントのための顔情報処理システムの開発」

顔認識ソフトウェア

・早大・阪大・東京理科大による共同開発 ・各大学の認識手法を融合、フレキシブルな認識ソフトウェア

正面顔画像からの顔特徴点自動抽出

顔認識ソフトウェア

顔器官の輪郭上にのる顔特徴点を自動認識・抽出

眉、目、鼻、口、顔輪郭　形状情報

IPA独創的情報技術育成事業に係わる 「感性擬人化エージェントのための顔情報処理システムの開発」

顔認識ソフトウェア

・早大・阪大・東京理科大による共同開発 ・各大学の認識手法を融合、フレキシブルな認識ソフトウェア

22

特徴点自動認識結果（正面画像）

・ 顔面規格写真　→　固定環境下（照明条件、背景）

・ 安定した特徴点の自動抽出が可能

側面顔画像からの特徴点自動抽出

認識手順

・ 肌色領域抽出 → 顔輪郭線抽出　→　曲率値計算　→　特徴点抽出

入力画像 Hlow Hup

Hue

Pixels

Hmax

Smax

Upper Limit (150)Lower Limit (80)

Sth=Smax x Rth

肌色ヒストグラム

23

側面顔画像からの特徴点自動抽出

認識手順

・ 肌色領域抽出 → 顔輪郭線抽出　→　曲率値計算　→　特徴点抽出

肌色領域抽出結果

Hlow HupHue

Pixels

Hmax

Smax

Upper Limit (150)Lower Limit (80)

Sth=Smax x Rth

肌色ヒストグラム

側面顔画像からの特徴点自動抽出

認識手順

・ 肌色領域抽出 → 顔輪郭線抽出　→　曲率値計算　→　特徴点抽出

輪郭抽出結果

24

側面顔画像からの特徴点自動抽出

認識手順

・ 肌色領域抽出 → 顔輪郭線抽出　→　曲率値計算　→　特徴点抽出

輪郭抽出結果 曲率値マップ

sDddC s

s = iis PPD −= +1Pi : The coordinates of the point on the facial profile Ds : The difference between two points s : The line element along a facial profile

側面顔画像からの特徴点自動抽出

認識手順

・ 肌色領域抽出 → 顔輪郭線抽出　→　曲率値計算　→　特徴点抽出

特徴点抽出結果 曲率値マップ

sDddC s

s = iis PPD −= +1Pi : The coordinates of the point on the facial profile Ds : The difference between two points s : The line element along a facial profile

25

顔モデルのフィッティング結果

標準顔モデル

顔特徴点データ

正側面顔画像

フィッティング結果 （顔モデル）

頭部X線規格写真法（Roentgenographic Cephalometry）

概要： 規格化撮影装置を用い、一定の条件で頭部を固定した上で、 正面・側面よりほぼ同時にX線画像を撮影

目的 ： 頭蓋の形態的な特徴を把握するのに有効 →　人類学、歯科矯正学などにおいて、頭部の形態的分析に活用

B. Holly Broadbent, Sr 頭部X線規格写真装置

26

頭部X線規格写真分析法　（Cephalometric Analysis）

正・側面X線規格写真（セファロ） 正・側面X線規格写真のトレース （セファロ・トレース）

・正側面X線規格写真のトレース

→　軟組織（顔表面）、硬組織（頭蓋骨）の形態的特徴の把握・分析

・歯科矯正学

成長予測、治療目標の設定と治療計画の立案、治療前後の変化と評価

歯科矯正治療におけるセファロ分析法の例

術前の側貌トレース 術後の側貌トレース

・術前の側貌セファロから術後の側貌を予測

→　治療・手術計画の立案　（Paper Surgery）

・Paper Surgery : 術後の顔貌変化（側貌）をセファロ上で予測（2次元形状）

術前 術後

27

解剖学的計測点（頭蓋骨）

正貌セファロ上の計測点 側貌セファロ上の計測点

・ 頭部の形態的特徴を表す点

・ 形状の把握、定量的な比較, 研究に必要・不可欠

3次元セファログラム計測法

セファロ撮影 正・側面セファロ画像

・解剖学的計測点を利用

・正面・側面X線規格画像から得られる2次元形状情報を統合

→　3次元形状情報

28

X線規格写真（セファロ）上の計測点を用いる際の問題点

側面頭部X線規格写真 : フィルム面に左側が近くなるように被写体を設定

正面頭部X線規格写真 : 前頭部をフィルム面に近くなるように設定

・線源に近い計測点は実際よりも過大に拡大されて写り、 　場所により違った拡大率の影響を受ける

・正、側面で被写体上の同じ計測点でもフィルムまでの距離が違うため 　違った位置に投影されることになる。

・頭部の回転による計測点の位置ズレ

正・側面セファロからの解剖学計測点抽出

・側面セファロ上で、計測点をプロット

・水平基準線をもとに、X軸周りの回転角を求め、 　回転補正を施した(y, z)座標を算出

・正面セファロ上で、各計測点のy値に対応したラインを引き、 　輪郭線との交点を求め、x座標値を算出

処理手順

x

y

z

29

正・側面セファロからの解剖学計測点抽出

・側面セファロ上で、計測点をプロット

・水平基準線をもとに、X軸周りの回転角を求め、 　回転補正を施した(y, z)座標を算出

・正面セファロ上で、各計測点のy値に対応したラインを引き、 　輪郭線との交点を求め、x座標値を算出

処理手順

x

y

z

正・側面セファロからの解剖学計測点抽出

・側面セファロ上で、計測点をプロット

・水平基準線をもとに、X軸周りの回転角を求め、 　回転補正を施した(y, z)座標を算出

・正面セファロ上で、各計測点のy値に対応したラインを引き、 　輪郭線との交点を求め、x座標値を算出

処理手順

x

y

z

(y, z)

30

正・側面セファロからの解剖学計測点抽出

・側面セファロ上で、計測点をプロット

・水平基準線をもとに、X軸周りの回転各を求め、 　回転補正を施した(y, z)座標を算出

・正面セファロ上で、各計測点のy値に対応したラインを引き、 　輪郭線との交点を求め、x座標値を算出

処理手順

x

y

z

X

拡大補正

回転補正

1650k1500yy LATo

+×=

1650k1500zz LATo

+×=

( )( )( )( )θθ

θθsinycosz k150016501500

cosysinz k1500 1650yLATLAT

LATLATPA −++×

++=

1650z1500xx o

PAo+

×=

→　（xo, yo, zo）

Ac(xPA, yLAT, zLAT) : 投影された画像上 の座標値

↓ Ao (xo, yo, zo) :　実際の3次元座標値

拡大・回転補正処理

※ k値 : 日本人の平均値を使用

31

モデルの変形処理

n

1rn2rri s

x)is(xix −+=

n

1n2i s

)is(i ppr −+=Δ

pointst measuremen of ectorsmovement v The: point theofector movement v The:

21

i

p ,pr i Δ

XY-Plane :

YZ-Plane :

Me

Go

下顎下

FH平

歯軸�

歯軸�

Ud

Ld

歯列のフィッティング

・セファロ画像上から上下歯列の傾きを計測し、モデルにその角度を入力

上歯列角

下歯列角

32

骨格モデルのフィティング結果

フィッティング結果（全体） 骨格標準モデル

解剖学的計測点

正・側面X線規格画像

フィッティング結果（歯列）

フィッティング結果（顔・骨格モデル）

フィッティング結果

・ 個人の頭部モデル構築　→　3次元での頭部形状の再現が可能

33

(a) 術前 (b) 術後 下顎前突症の矯正治療例

･下顎前突症 :　代表的な顎変形症例の一つ

･ 矯正手術の施行により、機能的・審美的改善をはかる

外科的顎矯正手術

・　術前の患者情報（X線写真、顔面写真）　→ 　術後顔貌の3次元的な変形予測

Surgery Simulation System

手術パラメータ（下顎移動量）を入力

顔面変形過程を時系列で算出

(処理時間約1分 / case)

・３次元形状情報に基づく手術の試行、計画の立案 (3D Surgery Planning)

・患者への情報提示（Informed Consent）

シミュレーションソフト

34

シミュレーション実験の概要

・既に治療終了している下顎前突症患者３名

- 術前のX線画像　→　術前の形状モデルの構築

- 術後のX線画像　→　術後のシミュレーション結果を評価

・術式 ：「下顎枝矢状分割法」を採用。

・骨の切除位置、移動量などの手術パラメータ

担当歯科医師のPaper Surgeryの結果（手術計画立案時の値）を使用

Cutting Lines

下顎枝矢状分割法

・顎顔面外科手術における、 　最も一般的な術式

・下顎骨を3つに分離し、位置を矯正 （回転・平行移動）

平行移動・回転

シミュレーション結果

回転量 平行移動量 X: -4.0mm Y: +2.0mm Z: -7.0mm

3.5°(水平軸周り)

下顎骨の移動パラメータ

シミュレーション結果

35

シミュレーション結果の評価

(Patient A) (Patient B) (Patient C)

実際の術後結果とシミュレーション結果との比較

- 肌色部分 ： シミュレーション結果 - 黒線 : 術後のX線画像トレース

定量評価

術後トレースと予測結果の重ね合わせと 評価のための計測点設定

(a) Paper Surgery (b) Simulation Result

術後輪郭

Paper Surgeryによる予測輪郭 本手法による予測輪郭

・定量評価のため、５つの計測点を設定

・Paper Surgery と 本手法による予測結果 　の精度を比較　(３つの症例について)

36

処理時間

・Paper Surgeryによる術前診断、計画立案

セファロ・トレース　→　計測点のプロット　→　Paper Surgery（2D）

（5分） （15分）

処理時間計 : 約20分 ・本手法による術前診断、計画立案

セファロ・トレース　→　計測点のプロット　→　シミュレーション（3D）

（4分） （1分）

処理時間計 : 約5分

・　予測精度の向上

・　処理時間の大幅な短縮

臨床応用

表情表出シミュレーション（動的な予測）

手術シミュレーション後の顔における 表情表出例

・術前・術後における表情表出の差異を調査

・歯列の噛み合わせ改善が、咀嚼運動や発話、表情表出に与える影響は？

（現在、術前術後における表情表出過程を動画像として記録）

37

Facial parameters estimation from facial expression images

Application -　表情動画像からの顔面運動の解析

Generated facial images and the internal state

case (a)

case (b)

・ 顔面運動 → 顔の内部状態（筋肉・骨格運動）を推測

Application -　顔面神経麻痺シミュレーション

・ 筋移植手術シミュレーション

筋肉の麻痺状態 → 収縮しないバネにより再現

通常の“微笑み”の表出

右頬筋群の麻痺状態下における“微笑み”の表出

・ モデルによる生成動画像と患者の顔の動きを見比べながら 　筋肉パラメータを調節することで患部を推定

38

総括

・　医学応用を目的とした、医用画像データを用いた精巧な頭部の3次元モデル構築

- 3次元CTデータからのモデル構築 - 顔画像・X線画像を用いたモデルのフィッティング方法

・　顔の解剖学的構造, 表情生成機構を物理的に正確に再現したモデルの構築

- 顔面運動の解析 - 顔面変形シミュレーション

歯科矯正学研究への適用

・　実用的な処理コスト、シミュレーション結果の定量評価

- 臨床可能なシステムの構築

　治療計画の立案補助、患者への情報提示

今後の展望・課題

・　高精度標準モデルの構築

　　- 男女別標準頭部モデルの作成

　　- CTデータ収集

　　- 歯列モデルの導入（歯科矯正応用）

・　弾性パラメータなどの最適化

・　モデル構築精度及び予測精度の3次元形状での定量評価

・　臨床現場での運用　→　評価　→　改良

・　医学他のアプリケーションへの適用 （頭部以外の部分）

高精度頭部モデル

歯列モデル

顔形状の比較 （Minolta Vivid700）

39

ロボット技術

画像処理技術

計測技術

データ伝送技術

診断・手術支援

遠隔地診断

リハビリテーション

工学 医療

ロボット技術

画像処理技術

計測技術

データ伝送技術

診断・手術支援

遠隔地診断

リハビリテーション

工学 医療

マルチチャンネルからの医療サポート

（視覚・聴覚・触覚 etc…）