2 プレゼン資料 松戸歯学部 葛西先生 - jst · 零交差数分析(zero cross) i ∫...

20
発声データ分析による舌癖の 非侵襲判定装置 日本大学松戸歯学部 歯科矯正学 教授 葛西 一貴 数理科学 教授 堀畑 ※発表当日には、予稿集に載せていない未公開データがあります

Upload: others

Post on 23-Sep-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

発声データ分析による舌癖の

非侵襲判定装置

日本大学松戸歯学部 歯科矯正学 教授 葛西 一貴

数理科学 教授 堀畑 聡

※発表当日には、予稿集に載せていない未公開データがあります

Page 2: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

技術開発の背景

口腔は様々な機能を有しており,発声,嚥下,呼吸また咀嚼

など多岐にわたる。これらの口腔機能と咬合また顔貌などの関

係性は高く,舌の悪習慣(舌癖)の予防および改善により舌癖

音声の緩和も期待できる。ところが,多くの患者は舌癖をはじめ

とする口腔習癖に気付くことが遅れ,成長とともに問題が深刻

な状況となる。そこで,一人でも多くの方々に簡便な方法で舌

癖を判断する方法を提供し,舌癖患者に舌癖改善の機会とト

レーニング支援を試みるための方法の実現を目的とする。

一方で,多くの研究者らは音響信号から声門上部に至る空間

の推定を試みている。しかしながら,音響情報のみで厳密な舌

尖また口腔内推定は未だ困難な現状を鑑み,我々は音響的差

異に注目して音声認識を基本とする方法で舌癖識別を試みた。

Page 3: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

舌突出癖などの舌癖は不正咬合の一因となっている

開咬 反対咬合 空隙歯列

背 景

Page 4: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

従来技術とその問題点

舌機能を解析する方法として、 エックス線や

パラトグラム圧力センサなどが一般的である

が, それらの解析法ではCTやMRIによる被曝

や口腔内に設置する装置のため自然な舌の

位置を把握できないなどの問題があった。

Page 5: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

新技術の特徴・従来技術との比較

✓被験者はマイクロフォンに簡単な発声をしてもらうのみで良く非侵襲

✓遠隔地での診断・判定にも利用可能

✓特別な装置を必要とせず,PCやスマートフォンで簡易判定が可能

Page 6: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

舌位・舌癖判定装置、舌・舌癖判定方法

舌突出癖・低位舌・下顎前突に特徴的である子音に

関する音響学的評価方法(零交差数分析、MFCC解析)

の有用性の検討

プログラムの概要と結果

Page 7: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

零交差数分析(Zero cross)

∫ ii

先行母音部

子音部 後続母音部

/i∫i/(イシ)発音時のスペクトログラム

0

マイクロフォン波形における符号反転をカウントする分析方法

音声解析における子音域の特定に用いられている

Page 8: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

蝸牛

ヒトの耳と類似した仕組みで音を認識することができる

ヒトが耳で聞いて判断している発音音声の特性を定量的に評価することができる

周波数による音声分解能の違い

20次元MFCCの一例 Hz

Hz

123

456

7

8 910

11

12

1314

15 16 17 18 19 20

聴き取りやすい

聴き取りにくい

MFCC解析

Page 9: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

【発音条件】

以上の条件で、習癖・不正咬合を模して発音させた。

正常発音 :通常通り発音

舌突出 :上下前歯の間から舌を突出して発音

下顎前方位 :下顎を前方に突出させ発音

低位舌 :舌尖を下顎前歯切縁に接する状態で発音

下顎前方位 :下顎を前方に突出し、舌尖を下顎前歯切縁+低位舌 に接した状態で発音

資料及び方法

Page 10: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

/ⅰ∫ⅰ/(イシ)を3回繰り返し録音口唇から約20cm前方にマイクを設置標本化周波数22.05kHz 精度16bit

【音声収録】

資料及び方法

単一指向性マイクロホンATM31a(株式会社オーディオテクニカ, 東京)

オーディオインターフェース(株式会社ローランド, 静岡)

音声解析ソフト Acoustic Core(株式会社アルカディア, 大阪)

Page 11: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

各発音条件における零交差数 各発音条件における零交差数(分布)

低位舌

下顎前方位

下顎前突+低位舌

正常発音

舌突出

正常発音

舌突出

舌突出+

下顎前方位

下顎前方位

低位舌

Average of zero cross

結 果 零交差数解析

Page 12: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

下顎前方位

結 果 MFCCパワースペクトルの例

Page 13: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

結 果 各発音条件におけるMFCC2~13のパワースペクトル

正常発音

低位舌

舌突出

下顎前方位+低位舌

下顎前方位

Page 14: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

MFCC(6)

MFCC(3)

MFCC(9)

MFCC(5)MFCC(7)

MFCC(4)

MFCC(2)

MFCC(8)

Average of zero cross

結 果 8次元空間を仮定した図の任意の1断面図

正常発音

低位舌

下顎前方位

舌突出

下顎前方位+低位舌

Page 15: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

零交差数分析、MFCC解析は発音時舌突出を簡便に識別可能

不正咬合の予防

矯正治療後の長期安定

舌突出癖の有無の識別に有効な評価方法の一つ

Page 16: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

想定される用途

✓歯科矯正,顎矯正後の術後の経過観察システム,アプリケーション

✓舌癖改善トレーニング,リハビリの効果判定システム,アプリケーション

✓滑舌に問題を抱えている人,嚥下障害,睡眠時無呼吸症候群患者のトレーニングシステム,アプリケーション

Page 17: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

実用化に向けた課題

✓個人差の影響についての検討

✓解析精度の検討

✓術後の経過観察システム,効果判定システムの開発

✓嚥下障害,睡眠時無呼吸症候群患者のトレーニングシステムの開発

Page 18: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

企業への期待

✓軽量かつコンパクトなハードの開発

✓ユーザが使いやすいアプリケーションの開発

✓遠隔操作による質の良い音声収録システムの開発

Page 19: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

•発明の名称 :舌位・舌癖判定装置、舌・舌癖判定方法

及びプログラム

•出願番号 :特願2016-167180

•出願人 :広島市立大学,日本大学

•発明者 :石光 俊介,中山 仁史,葛西 一貴,

堀畑 聡,石井 かおり,山下 公子

本技術に関する知的財産権

Page 20: 2 プレゼン資料 松戸歯学部 葛西先生 - JST · 零交差数分析(Zero cross) i ∫ i 先行 母音部 子音部 後続 母音部 /i∫i/(イシ)発音時のスペクトログラム

日本大学研究推進部知財課

(日本大学産官学連携知財センター(NUBIC)事務所管課)

コーディネーター 渡辺 麻裕

TEL : 03-5275-8398

FAX : 03-5275-8328

e-mail : [email protected]

お問い合わせ先