肝臓手術サポートシステムにおけるDICOMからの直接深度画像生成○矢野　大貴（大阪電気通信大学），小枝　正直（大阪電気通信大学），

大西　克彦（大阪電気通信大学），登尾　啓史（大阪電気通信大学）

Depth Image Generation from DICOMin Liver Operation Support System○Daiki YANO (Osaka Electro-Communication Univ.),

Masanao KOEDA (Osaka Electro-Communication Univ.),

Katsuhiko ONISHI (Osaka Electro-Communication Univ.),

Hiroshi NOBORIO (Osaka Electro-Communication Univ.)

Abstract : 本研究では共同研究として開発中の肝臓手術サポートシステムにおける深度画像の取得手法を提案し，実装を行った．従来手法では，DICOM画像から STLモデルを術前に生成し，その STLモデルの Zバッファから深度画像を取得して，焼きなまし法を用いて肝臓の位置姿勢を推定していた．しかし，手動での STLモデル生成は非常に煩雑で時間のかかる作業であり，データの劣化も発生する．一方，STLモデルを半自動で生成する機器も販売されているが，手動操作が必要な場面も多く，高価であるという問題を抱えている．そこで提案手法では，STLモデルを経由せずに直接，DICOMから深度画像を取得する手法を採用した．

1. はじめに

肝臓手術は，血管構造が複雑であり大小多くの血管が張

り巡らされており難しい．また，術前のMRIや CTにお

ける診断では術中に姿勢が異なる肝臓の状態を把握するこ

とは困難である．リスクの高い肝臓手術を IT技術を用い

てサポートすることで，手術ミスの抑止や手術時間短縮を

目指している．我々は肝臓の開腹手術をターゲットとし手

術サポートシステム [1]を開発中である．本研究では，開

発中の肝臓手術サポートシステムにおける深度画像の取得

手法としてDICOM画像から直接深度画像を取得する手法

の提案と実装を行った．

2. 肝臓手術サポートシステム

初めに，我々が開発中の肝臓サポートシステムのシス

テム全体図を Fig. 1に示す．手術前に患者の肝臓をMRI

などで撮影した断層画像（以下，DICOM と略す）から

3 次元モデル化を行う．3 次元モデル化は血管や臓器を

DICOMからセグメンテーションを行い，肝臓実質，動脈

群，静脈群，門脈群毎に三角形で分割した多面体（以下，

STLと略す）へ変換を行う．手術中には，手術台の上部か

ら 2つの距離センサで肝臓とメス位置を計測する．距離セ

ンサから得られた患者の肝臓形状から生成した深度画像と

STLモデルから生成した Zバッファを焼きなまし法を用

いてリアルタイムにレジストレーション [2]することで肝

臓の位置姿勢を推定する．また，術前にメス上部からメス

先端位置へのベクトルを事前に求めることでメス先端位置

を推定する．これにより肝臓とメス先端の相対位置が算出

可能となり，メスが切断してはいけない血管等に接近した

際に警告を発することが可能である．

3. DICOMからの直接深度画像生成

従来手法では，DICOMから生成した STLモデルを回

転平行移動させることで深度画像を生成していた．しかし

ながら，DICOMからセグメンテーションする際の閾値や

STLのポリゴンメッシュが荒い場合に重要な血管等の欠損

が発生してしまう．

そこで提案手法では，DICOMから直接深度画像の取得

を行うことでこれらの問題の解決を試みる．従来手法で

STLから生成した肝臓の深度画像を Fig. 2に，提案手法

で DICOMから直接生成した肝臓の深度画像を Fig. 3に

示す．

Fig. 1: システム全体図

Fig. 2: STLから生成した肝臓の深度画像

Fig. 3: DICOMから直接生成した肝臓の深度画像

提案手法において，DICOM画像から直接深度画像を取

得するために以下の処理を行っている．

1) DICOMの読み込み

2) 読み込んだ DICOM を OpenCV の Mat 形式へ変

換 [3]

3) 設定した濃淡値の範囲で 2値化処理

4) ラベリング処理，座標指定，最大ブロブ領域の取得

によって肝臓領域の抽出

5) 回転平行移動行列を算出

6) 抽出した肝臓領域の各画像の全ピクセルに対して原

点座標中心で回転並行移動処理 [4]

7) 回転後の画像を低深度から順に描画

DICOMは，任意の指定したフォルダよりファイル名と

DICOMファイルの連番開始番号及び終了番号を指定し読

み込む．読み込んだDICOMをOpenCVのMat形式へ変

換する (Fig. 4)．Mat形式へ変換された各 DICOMに対

して設定した濃淡値の範囲で 2値化処理を行う (Fig. 5)．

2値化処理後の画像に対してラベリング処理を行い，任意

の指定座標内で最大ブロブ領域を取得することで肝臓領

Table. 1: コンピュータの性能機種名 MacBook Pro (13-inch, 2017)

CPU 3.5 GHz Intel Core i7

メモリ 16 GB 2133 MHz LPDDR3

GPU Intel Iris Plus Graphics 650 1536 MB

域の抽出する (Fig. 6)．回転処理は，目的の回転角度よ

り回転行列を求め，抽出した肝臓領域の各画像の全ピクセ

ルに対して原点座標中心で回転移動処理を行う．各ピクセ

ルの座標を pとし，重心を pg とした時の回転後の座標は

Eq.(1)である．

RzRyRx(p− pg) + pg (1)

回転後の画像を低深度に位置するものから順に上書き描

画することで深度画像が生成できる．

4. 実験

実験では，胸部から股付近までのスライス間隔 1mmの

DICOM 730枚のうち 200枚目から 380枚目までのスライ

スを用いた. また，Mat型へ変換した際の解像度は 512px

× 512pxであり，ビット深度は 8bitである．

DICOMに対する 2値化閾値は下限を 75，上限を 150

と設定して処理した．また，ROIとして左上 x座標 70，y

座標 220，右下 x座標 150，y座標 280を設定し肝臓領域

を抽出した．

実験に利用したコンピュータの性能を Table 1に示す．

1回の回転並行移動処理に必要とした処理時間は 5秒程度

であった．各回転軸に対して± 30度の回転処理を行った

際に得られた深度画像をそれぞれを Fig. 7から Fig. 12に

示す．

Fig. 4: Mat形式へ変換した DICOM

5. まとめ

本研究では，STLモデルを経由せずに，DICOMから直

接深度画像を生成する手法を提案し，実装した．各軸にお

ける回転処理と深度画像の生成実験を行い目的とする深度

画像が取得出来ることを確認した．

今後の課題として，逆変換行列用いることで Z軸回転時

に発生するデータ欠損の解消や，GPGPUによる並列処理

を用いた回転平行移動処理の高速化を目指す．また，位置

姿勢推定処理との統合を行いサポートシステムへの組み込

みを目指す．

謝辞

本研究は JSPS 科研費 No. 26289069 の助成 を受けた

ものです．

参考文献[1] 矢野他：“肝臓位置姿勢推定，メス先端位置推定，肝臓手術シミュレータを統合した手術サポートシステム”，JSCAS25, pp. 331-332, 2016.11.

[2] K. Watanabe et al.: “A New Organ Following Algo-rithm Based on Depth-Depth Matching and Simu-lated Annealing and its Experimental Evaluation”，HCII2017, pp. 594-607, 2017.7.

[3] opencv-dicom-reader：https://github.com/nishi-takao/opencv-dicom-reader

[4] 周他：“3次元画像データに基づく手術シミュレーションシステムの基本データ構造とソフトウェア機能”，Medical Imaging Technology, Vol. 12, No. 1, pp.74－ 83, 1994.1.

Fig. 5: 設定範囲の濃淡値で 2値化処理

Fig. 6: 肝臓領域の抽出

Fig. 7: X軸回転 30度の回転処理結果

Fig. 8: X軸回転-30度の回転処理結果

Fig. 9: Y軸回転 30度の回転処理結果

Fig. 10: Y軸回転-30度の回転処理結果

Fig. 11: Z軸回転 30度の回転処理結果

Fig. 12: Z軸回転-30度の回転処理結果