音声認識と音声練習の学習過程を記録できる 中国語課外学修支援システム

陳　　　春　祥 ・ 侯　　　仁　鋒

1．はじめに

コンピュータ支援語学学習（CALL: Computer-Assisted Language Learning）システム[1]において、その歴史は1980年代まで遡るが、その後パーソナル・コンピュータ及びモバイル端末（デバイス）の普及、情報通信技術（ICT）の高度発達に伴い、様々な支援システムが開発されている[2]。しかし、語学学習支援システムにおいては、これまでに開発されたシステムは殆ど英語の学習を対象にしており、日本語、中国語、韓国語などのような第２外国語を対象にした学習支援システムは後れている。

一方、世界経済のグローバル化及び多極化が進む中、英語以外の外国語を学習する学習者が非常に増えている。とりわけ中国の経済力、国際社会でのプレゼンスの向上を背景に、中国語を外国語とする学習者が顕著に増えている。日本国内では英語に次ぐ第２番目の外国語となってきた[3]。

中国語学習者が増える一方、中国語の学習支援環境が不十分であることを言わざるを得ない。まず、大学に入学してから中国語を始める初学者が多いが、週１回ないし２回の授業編成が殆どであり、学習時間が不足している。そのため、授業外の自学自習が不可欠である。特に語学の初学者にとっては、「読む」「書く」「話す」「聞く」という4技能の中、「話す」と「読む」技能が最も重要であるが、自学では学習者が自ら発音の正確さのチェックが困難であり、また十分練習したかどうかの客観的評価も難しい。

そこで本研究では、中国語を外国語とする初学者を対象にオンライン学習支援システムを開発した。本システムでは、従来のCALLシステムの機能を持ちながら、学習者の発音を認識する機能

（音声認識機能という）、練習課題（或いは即興の練習教材）を読み上げる機能（音声合成機能）、それから課外から課題の取組練習過程を記録するなどの機能を実現した。本稿では、本システムの構成、実装した機能、運用の状況などについて報告する。

2．システム構成

本節では、本研究で開発したモジュールを実装した対象のベースシステム（Moodle）及びシステムの構成について述べる。

2.1　プラットフォームMoodleICTを活用した学習支援システムに関しては、業者によるハードウェアとソフトウェアをセット

した形態のパッケージ製品から、汎用性のあるパソコンに対応したコンテンツ（学習教材）のみの製品、オンラインで利用可能な製品（有償、または無償）まで様々な種類があるが、教育と学習に関する各種のアクティビティを想定して、教員と学生がオンラインで双方向の連携をサポートする環境として、開発されたのがMoodle[4 ]である。現在世界的に普及している。

― 1 ―

MoodleはPHPで開発されている。PHPを利用できるWebサーバー（Webサーバーからは、更にデーターベースに接続する）にインストールして利用する。従ってPHPをサポートするOS（オペレーティングシステム）（Linux、MacOS、Windows等）であれば利用できる。

Moodleはオンラインインタラクティブ学習環境を提供する狙いで開発されているが、モジュールベースの実装になっており、機能の拡張などがしやすくなっている。CALLシステムのプラットフォームとして、外国語の学習支援に広く使われている。本研究で開発したモジュールもこのMoodleシステムに実装して使用するようになっている。また、従来の音声支援システムのように、学習者の読上げ（朗読）の音声をそのまま録音して、教師に提出する機能をも持たせている。この部分のインターフェースはvoicerec [6]というモジュールを参照している。音声認識及び音声合成部分のインターフェースは主にMozillaのWeb Speech APIのライブラリーを使用している[5 ] [ 7 ]。

2.2 システム概念構成従来のCALLシステムにおいて音声（発音、単語等の読上げ）支援では、テキストや練習課題に

対応する音声データを事前にCALLシステムに用意しておかなくてはならない。本システムでは、既存のCALLシステム機能を持ちながら、近年進化を遂げた音声認識技術と音声合成技術を利用して、音声認識と音声合成のインターフェースを開発して実装する。これにより音声データを事前に用意しておかなくても単語やテキスト文章の読み上げ、学習者の発音練習、また発音の正しさのチェックが可能になる。

本システムの音声合成と音声認識の概念図は、それぞれ図１と図２に示す。音声合成のプロセス（図１）は、講師が用意した文章、語彙などの練習問題内のテキストを選択

して、読上げを指示すると、選択された文字情報（①）が本システムのサーバーに送られ、本研究で開発した音声認識インターフェースがインターネットクラウドと連携してテキスト情報に対応した音声信号を合成し、学習者側（②）に返送して、音声再生がなされる。

一方、音声認識のプロセス（図２）では、学習者はブラウザで練習課題を開いて、朗読し、マイクからの音声信号はブラウザを経由して、本システムのサーバーに送られる。音声認識インターフェースはインターネットクラウドと連携して、音声信号をそれに対応したテキスト（文字情報）に変換され、ブラウザに戻す（②）。これにより学習者が元のテキストと比較して、自分の発音（朗

図1　音声合成のプロセス

図2　音声認識のプロセス

音声認識と音声練習の学習過程を記録できる中国語課外学修支援システム

― 2 ―

読）の正確さを確認することができる。音声認識、音声合成及び学修過程の記録を実現するモジュール（recspeechという）の開発が本

研究の主な部分になる。

3．システムインターフェース

本節ではrecspeechの構成及び実現する機能を説明する。

3.1　WebSpeechAPIについてWebSpeechAPIは主に音声認識と音声合成の機能を提供する。前者はSpeechRecognition、後者

はSpeechSynthesisというインターフェース経由してアクセスする。SpeechRecognitionは、SpeechRecognition.SpeechRecognition（） で 生 成 し、grammars、lang、

continuous、interimResults、MaxAlternatives、serviceURIなどの属性を持つ。また、イベントハンドラーとしては、onaudiostart、onaudioend、onend、onerror、onnomatch、onresultなどを持つ。更にメソードは、abort（）、start（）とstop（）を持つ。

音声合成SpeechSynthesisは、paused、pending、speakingという属性を持ち、onvoicechangedというイベントハンドラーを持つ。メソードとしては、上位インターフェースEventTargetから継承するが、cancel（）、getvoices（）、pause（）、resume（）、speak（）などのメソードがある。これらのライブラリーの詳細構成および使い方は紙面の関係でここで省略するが、文献[6] [ 7 ]を参照されたい。

3.2　recspeechの構成recspeechのファイル構成を図３に示す。

主なファイルの簡単な説明が以下の通りである。view.php：recspeechを利用する際に最初に実行され、db（データベース）から利用者のID等を

読み取り、教師ブロック、学習者ブロックなどを画面にレイアウトする。locallib.php：recspeech内部各種関数を定義する。

図3　recspeechのファイル構成

県立広島大学　総合教育センター紀要　第４号

― 3 ―

mod_form.php：本モジュール画面の入力フォームの各種パラメータを定義する。モジュールのセットアップとアップデートのインスタンスのフォームである。

save.php：学習者の演習結果、課題結果などを提出する際に、データベースへの操作コマンドを定義する。

lang：このフォルダには利用者の使用するランゲージ（の属性）に応じて、recspeech内部の文字列を言語毎に記載する。現時点では英語（lang＝en）と日本語（lang＝ja）のみ、記載している。

module.js：このファイルは本モジュールの主要部分であり、音声の録音、音声認識および音声の合成（テキスト読上げ）をつかさどる。中には音声合成API（SpeechSynthesisUtterrance（））、音声認識API（SpeechRecognition（））の具体的な属性の設定、ハンドラー、例外などを展開し、処理している。

3.3　recspeechのインストール本モジュールは、Moodleのモジュールインターフェースに準拠しており、モジュールのインス

トール手順もMoodleのモジュールインストール手順の通りである。まず、本モジュール一式をMoodleのモジュールフォルダ（moodle/mod/）に配置する。そして、

管理者権限で、Moodleサーバーにログインして、「サイト管理」→「通知」を選択する（図４）。

「Moodleデータベースを更新する」をクリックしてデータベース等に反映する（図５）。「続ける」でインストールを完了する。続いて学習者が一回の録音時間の上限と同一の演習課題の提出回数の上限を調整して、初期設定を終了する。

図4　モジュールのインストール

図5　インストール成功

音声認識と音声練習の学習過程を記録できる中国語課外学修支援システム

― 4 ―

正常にインストールされたかは、サイドの「サイト管理」→「プラグイン」→「プラグイン概要」で確認できる（図６）。

3.4　recspeechの使い方前述のように、recspeechは音声認識、音声合成、音声録音及び学習者の練習回数の簡易記録な

どの機能を提供するので、これらの機能を利用することを想定した学修コースであれば利用できる。使い方はいたって簡単である。

教師での操作：当該コースを編集モードに切り替えて、recspeechを利用するセクションに、「活動またはリソー

スを追加する」→「音声認識」→［追加］（図７）。

続いて、課題の設定は、ムードル流（例えば、課題の開始日時、提出日、〆切り後再提出許可するかどうかなど）で設定すればよいが、recspeech独自の項目として、「録音時間」（一回朗読で録音できる時間の上限）、「録音ファイルの数の上限」（この課題で提出できるファイル回数の上限）、

「今回の課題」などがある（図８）。「今回の課題」には、課題文を直接入力するか、課題ファイルをここにリンクする。設定が終わると、図９のように追加される。

図6　インストール済みのrecspeech

図7　recspeechモジュール利用課題の追加

県立広島大学　総合教育センター紀要　第４号

― 5 ―

学習者での学習操作：今回利用したWebSpeechAPIのライブラリー仕様により、この音声認識と音声合成機能に公式

に対応しているブラウザはGoogleのChrome（バージョン33以上）及びFirefox（バージョン44以上）である。従って学習者はChromeかFirefoxを使用することをお勧めする。

学習者での操作は、コースにサインインしたら、課題文を開いて課題に従って練習し、提出する。図10に学習者による課題の練習操作を示す。

１．［聴く・読上げ］（音声合成）機能：・課題ボックス（①）から、任意の順で、聴く単語（語彙、文章など）を選択して、再生（読上

げ）ボタン（③）をクリックして、単語、語彙の発音、文章の朗読を聴く。また、課題ボックスから選択をしないで、再生すると、課題ボックスの全てのテキストが読み上げられる。

２．［読んで・テキストに変換］（音声認識）機能：・上記１番で繰り返し、発音・朗読を聴いた後、いよいよ学習者が自分の朗読練習をする。・学習者の使用するデバイスのマイクを有効にし、「提出タイトル」を付けて、⑤番の録音ボタ

ンをクリックして、朗読する。マイクから入った朗読音がrecspeech内部に実装した音声認識APIで音声認識して、認識した結果をテキストとして、⑥番のボックスに表示される。音声認識機能で認識され、この⑥番の音声認識ボックスに表示された内容が課題に出されたテキスト

図8　recspeechの課題設定

図9　recspeech課題追加後

音声認識と音声練習の学習過程を記録できる中国語課外学修支援システム

― 6 ―

（或いは、学習者が自発的に練習したい教材・文章でもよい）と一致していれば、発音、読上げに問題がないと考えられる１。この機能により、初学者に自分の発音が正しいかどうかは自分では確認できないという従来の問題が改善されたと言える。

3．［音声データの再生確認］（音声認識）機能：・従来のシステムのように、音声を録音して確認することもできる。⑤番の「確認」ボタンをク

リックすれば、録音した音声データがそのまま、再生され、学習者が自らの発音を聴いて確認することができる。取り直したい場合は、もう一度「録音」ボタンをクリックしてやり直せばよい。

・音声認識の結果および録音が満足のレベルに至ったら、⑦「提出」ボタンで提出すればよい。以上はこのモジュール（recspeech）の簡単な使い方である。

１ 筆者達による繰り返しの練習で、音声認識ボックスに認識された文章が、元の課題文章と同じであれば、発音やアクセントが標準の発音と多少のずれがあっても、コミュニケーションには問題がなく、ちゃんと相手に伝わることが確認されている。音声情報処理技術については［10］を参照されたい。

図10　学習者による課題の練習操作

県立広島大学　総合教育センター紀要　第４号

― 7 ―

４．運用状況

本節では、recspeechの運用状況について述べる。本研究で構築した語学学修支援サイト［8］にrecspeechを実装して、本年度から試験的に運用を始

めた。現時点、以下の科目で利用している。⑴　「系統的に学ぼう　中国語Ⅰ」⑵　「できる・伝わるコミュニケーション中国語」⑶　「中国語Ⅵ，Ⅷ」⑷　「中国語検定４級模擬テスト」⑸　「中国語検定４級和文中訳練習」⑹　「中国語検定３級模擬テスト」⑺　「中国語検定３級和文中訳練習」⑻　「中国語常用漢字読み方能力判定テスト」以上の内容は二つに大別され、⑴⑵⑶⑻は授業の延長にあり、課外の自主的な学修を支援するも

のであり、⑷⑸⑹⑺は本学の人間文化学部国際文化の「東アジアの言語を学ぶ学生の自律的学修を支援し、語学検定の積極的受験へと促す」という重点事業に合わせて作成したコンテンツである。

4.1　課外の自主学修支援実験的に運用していた段階を含めて、上記した⑴⑵⑶の授業はこのシステムを利用した。主に授

業外で、単語と本文の正しい発音を自学の形で聞くことができ、その上自分でよく読んで、きれいに読めるようになれば、録音して先生に提出する。録音は何回もでき、その中で一番満足しているものを先生に送信することが可能であるので、朗読の練習の回数も増えることになる。これは語学教育で最も求めたいところであり、本システムを開発する狙いの一つでもある。更にシステム上で課題のところを読んで、発音が正しければその発音に対応する漢字（ ）が出てくる。これで自分の発音が正しいかどうかというチェックになる。対応する漢字（ ）が出なければ、発音が正しくないことを意味するので、発音の反省、調整と修正になる。これも先生に提出する。

効果として、まずは、このプロセスはいずれもモニターすることができるので、授業外の発音練習の宿題を出すことが可能になる。次に、学習者が提出する音声宿題を確実にチェックすることができるので、問題点の発見と個別指導がより適切且つ有効になる。また、課題を練習してその出来具合が学習者自分でも把握でき、例えば発音が正しくなければ課題に対応する漢字（ ）が出ないので、正しく発音できるように調整したり練習したりして、学修のモチベーションの向上につながる。利用例として、本学の中国語教育の「できる・伝わるコミュニケーション中国語」クラスと

「中国語Ⅵ・Ⅷ」クラスで実際導入した。その結果、発音練習の回数が大幅に増え、例年のクラスより発音の正確さも定着度合いも一歩進んだと担当教員の実感があった。

4.2　中国語検定の受験支援本学では、外国語の修得を促進し、またその教育成果を客観的に把握するために、語学検定の受

験を大いに推し進めている。その中で、中国語検定の受験［9］を支援するため、このシステムで「中国語検定４級」、「中国語検定３級」の模擬テストをそれぞれ10セット作成した。イーラニングとし

音声認識と音声練習の学習過程を記録できる中国語課外学修支援システム

― 8 ―

て受験者はいつでもどこでもインターネットと接続できれば練習可能で、しかも自動採点も、正解の提示も実現されているので、自主的に学修でき、自分の進歩もその都度分かり、一歩一歩と前へ進もうと挑戦していく中で、レベルが確実に伸びるし、合格する自信も付く。このシステムの導入により、以下の実績があった。

中国語検定４級受験データ95回（2018年６月24日）受験者数 合格者数 合格率 全国合格率

10名 9名 90.0％ 67.0％

リスニング平均点は88.3（全国平均点70.0）で、合格者の9名のうち100点満点の人は４名いた（これまでに１人もいなかった）。筆記平均点は89.1（92点以上４名）（全国平均点72.4）である。合格率が高い上、得点も高いということが今回の受験に見られる特徴である。これは、普段の授業で中検受験を意識しながら授業を進めることに、今回構築した中国語検定受験支援イーラニングとしての模擬テストを授業外で多く練習したことを加えた結果と考えられる。

このシステムを開発する背景と狙いは、大学で中国語を第二外国語として履修する学習者が多い。当然なことで、クラスの人数が多い上、授業時間が限られているという現状の中において、入門段階の授業では発音の練習が十分に出来ないから、授業外の宿題として出すことがよくある。しかし、宿題として出せば心配事が二つある。一つは正しく発音できるかどうかがモニターもサポートもできない。もう一つはやったかどうかが（音声だから消えてしまう）チェックできない。このような課題を解決する試みとして、本システムを開発してきたわけである。初歩的な成績ではあるが、一応目標達成していると評価できるのではないかと思われる。

5．おわりに

本稿では、語学の初学者にとって重要とされる「読む」（発音）と「話す」（朗読）力の養成を支援する目的で、recspeechというムードルベースのモジュールを開発した。主に以下の3つの機能を実装した。⑴音声認識機能：漢字（語彙や熟語など）、文章の発音を認識し、テキストに変換する機能。これにより、講師がいなくても学習者がどこでも情報端末を利用して練習が可能になる。⑵音声合成機能：読めない、或いは発音を確認したい語彙や文章を選択して、聴くことができる機能。⑶練習過程の記録機能：学習者の繰り返し練習の回数、内容を記録できる機能。これにより講師が練習課題を完成するまで学習者の大まかな練習過程を把握でき、授業の計画や指導の一助になると考えられる。

本システムの特徴は、インターネットを介したサーバー・クライアントモデルを採用し、インターネットが利用できる環境であれば、どこからでも利用できることにある。またモジュールには汎用的なライブラリー［7］を利用しており、中国語の初学者をターゲットに開発した語学学習支援システムであるが、日本語、韓国語、ドイツ語、スペイン語など多くの言語に対応しており（図10の②番言語選択ボックスから選択）、多様な外国語の学習に活用できる。

今後の課題としては、学習者に対してアンケート調査を行い、recspeechの操作性、使用の効果などを評価する必要がある。

県立広島大学　総合教育センター紀要　第４号

― 9 ―

謝辞

本研究は、科学研究費助成事業（基盤研究C、16K02886）を受けた研究である。モジュールの開発にあたり、東京外国語大学の梅野毅氏から助言等を頂きました。御礼を申し上げます。

参考文献

［1］ Levy M. CALL: context and conceptualization, Oxford: Oxford University Press, 1997.［2］ 穂屋下 茂、藤井 俊子、岡島 俊哉、ほか８名、“オンライン学習教材開発と教育改善に関する

研究”、ISPJ SIG Technical Report, Vol. 2012-CLE-7 No.5, pp.1-6, May 2012。［3］ 洪 潔清、藤本 茂雄、“千葉大学中国語教育におけるMoodleの活用”、千葉大学、言語文化論叢、

第６号、pp.101-115、2012年３月。［4］ Moodle, https://moodle.org/［5］ Y. Kawamura, C.-X. Chen, and R. Hou, “Implementation of Voice Recognition and Synthesis

Module in Moodle System,” Proc. Of Int’l Conf. ICTC2018, pp.757-759, Oct. 2018［6］ “voicerec”, https://github.com/umenotsuyoshi/voicerec［7］ “Web Speech API”, https://developer.mozilla.org/ja/docs/Web/API/Web_Speech_API［8］ https://sky.in.pu-hiroshima.ac.jp/［9］ “日本中国語検定” http://www.chuken.gr.jp/［10］ 河原 達也、峰松 信明、“音声情報処理技術を用いた外国語学習支援”、電子情報通信学会論文

誌、D、Vol.J96-D、No.7 PP.1549-1565、2013年７月。

音声認識と音声練習の学習過程を記録できる中国語課外学修支援システム

― 10 ―