情報理論（No.1）

氏名：大原康博

前職：NTTソフトウェア株式会社 （2002年～2016年3月）

（ＮＴＴ持株会社の子会社、情報通信システムの開発等が主業務）

ＮＴＴ情報通信研究所（1978年～1999年）

ＮＴＴコムウェア（1999年～2002年）

連絡先：

Email:yasu-1948615.k2623@nifty.com (PCメール）

yohara26623-1225@docomo.ne.jp (携帯メール）

携帯： 090-1664-1300

教材の保管先：神奈川大ドットキャンパス：https://ku-lms.kanagawa-

u.ac.jp/campus/secure/login.aspx

2016/9/17

各回資料は保存・準備のこと

NO(1)-1

講義目次

•０．はじめに

• 0.1 情報理論の講義について

• 0.1.1 講義方法、0.1.2 教科書、0.1.3 他の教科との関係

• 0.2 情報理論を学ぶ目的

• 0.3 情報理論（講義）の到達目標

• 0.4 情報理論の講義目次

•１．序論

• 情報理論とは何か

• 情報とは何か（情報の定義）

• 情報の尺度、シャノン（情報理論の創始者）の理論

• 情報の符号化

• 通報、シンボル系列、情報源、情報源記号、などの概念の定義

• 符号（10進数符号、モールス符号、PCM符号) の符号化の定義と例示

No(1)-2

０．はじめに

0.1 情報理論の講義について0.1.1 講義方法

0.1.2 教科書

0.2 情報理論を学ぶ目的

0.3 情報理論（講義）の到達目標

0.4 情報理論の講義目次

NO(1)-3

0.1 情報理論の講義について

0.1.1 講義方法

•教科書（宮川著 情報理論）の要約資料を用いる•各回の資料は保存し、前回資料も持参できること

• １回で講義が終了せず、次回も継続する場合があるため

•試験方法•期末試験（1月下旬）は行わない

•その代り、複数回のミニテスト又はレポート（各３～４問）で合否判定• 第1回目は10月、第2回目は11月か12月、第3回目は1月に実施予定

• 実施日は講義で発表する。そのため講義には毎回出席すること

•評価方法•平均点60点以上を合格

•出席点は合否の総合評価の時に考慮する

•テスト欠席やレポート未提出の場合は点数0点No(1)-4

0.1.2 教科書

◎ 宮川洋著： 情報理論 ［電子通信学会大学講座 第３９巻］• コロナ社、昭５４（１９７９） （ISBN: 4-339-00102-3)• 教科書として定評があるが「符号理論」や「応用例」を十分カバーしていない。

• 本講義では、本書の内容に「符号理論」と「応用例」を追加したテキストを用いる。

○ 推薦参考書• 今井秀樹著： 情報理論、昭晃堂 (1984/01)

• 岩垂好裕編： 情報伝送と符号の理論、オーム社

• 宮川・岩垂・今井著： 符号理論、昭晃堂、昭４８（１９７３）

• 今井秀樹著： 符号理論、電子情報通信学会 (1990/03)

○ 専門書Shannon and Weaver著：The Mathematical Theory of Communication, Univ.

of Illinois Press, 1949

• 邦訳：植松友彦訳、通信の数学的理論、筑摩学芸文庫、2009

情報理論創始者C.E. Shannonの原論文にWeaverの解説を加えたもの

No(1)-5

0.2 情報理論を学ぶ目的（なぜ学ぶか？）

1. 「情報とは何か？」を正しく理解する• 現代は情報の洪水であるが、基本的な「情報」、「情報を作る、伝える」ことの意味が理解されていない。

• 情報は厳密に数学的に計算できることを学習する。

2. 情報科学科として基礎知識を習得する• オートマトン、形式言語理論、ソフトウェア（ＯＳ）、プログラム言語、データベース理論、と並ぶ基礎科目で常識として必須である。

• 将来学習する「通信理論」「通信工学」「コンピュータ基礎論」「暗号理論」などの基礎になる。

3. 実生活分野にも多く関連しており、原理を理解することで応用に役立つ• インターネット、パソコン、ＡＶ機器、TV放送、衛星通信、携帯電話、等でディジタルデータが処理、伝送されているが、その最も基本的な部分で情報理論が利用されていることを学ぶ。

• 特に、符号理論（データ圧縮符号、誤り訂正符号）が多く応用されている。

No(1)-6

0.3 到達目標（何ができれば単位が取れるか？）

•ディジタル、符号化、等の基本概念を理解する

•シャノンの情報理論の内容と意味を説明できる

•符号理論の初歩を理解し、簡単な符号を作ることができる

（例１）「情報量」の概念、応用を理解する• 「区別つかないＮ個の貨幣があり、そのうち１つだけ軽い贋金が混じっている。天秤だけで贋金を確実に見つけ出すには何回天秤を使えばよいか」

（例２）「情報源の符号化」を理解する

• 「発生確率が予め分かっている情報源の各記号を最適符号（ハフマン符号）化せよ」

• Ａ：｛A1=0.09, A2=0.14, A3=0.4, A4=0.15, A5=0.11, A6=0.11］

• の問題を解く

（例３）「通信路」や「通信路容量」の概念を理解する

• 「雑音のある通信路 (誤り率ｐ＝０．０１)の２元対称通信路の容量を求めよ」

No(1)-7

0.4 情報理論の講義目次(1/2)

１．情報理論 序論• 情報とは何か（情報の定義）

• 情報の尺度、シャノンの理論

• 情報の符号化• 通報、シンボル系列、情報源、など• 符号、符号アルファベット、など

２．情報量• 情報量の定義

３．情報源• 無記憶情報源

• エントロピー、平均情報量

• マルコフ情報源• 単純マルコフ情報源• エルゴード情報源• これらのエントロピーの定義

４．符号の性質• 一意に復号可能な符号

• 特異、非特異符号、分節可能

• 瞬時に復号可能な符号• 語頭（プレフィックス）符号

• 瞬時に復号可能な符号の構成法• 符号木、語頭条件

• Kraftの不等式• 瞬時に復号可能な符号の符号語長条件

５．情報源の符号化• 平均符号長

• 効率の良い符号の構成法、コンパクト符号

• 特殊な情報源の符号化の手法• シャノンの第１定理

• 情報源符号化定理

• ２元コンパクト符号の構成法• シャノン・ファノー符号• ハフマン符号

• 符号の効率と冗長度• 効率• 冗長度

６．データ圧縮• 歪のある情報源符号化• データ圧縮理論

No(1)-8

0.4 情報理論の講義目次（2/2)

７．通信路• 通信路の定義と種類• 事前エントロピーと事後エントロピー

• シャノンの第１定理の一般化

８．相互情報量と通信路容量• 相互情報量• 雑音のない通信路と確定的通信路

• 通信路容量

９．雑音通信路での高信頼情報伝送• 誤り率と判定規則• 雑音通信路での高信頼情報伝送

10．通信路符号化定理• シャノンの第２定理

11．誤り訂正符号の基礎• 誤り訂正・検出のための符号化• ハミング距離

12．誤り訂正符号（ブロック符号）• 非２元符号とガロア体、線形符号

• 巡回符号

13. 誤り訂正符号（畳込み符号）14. 連続情報源と連続通信路

• DA変換、標本化、量子化• 連続情報源• 連続通信路、ガウス通信路

15. 標本化定理• 帯域制限関数• 標本化定理、標本化関数

16. 連続通信路の通信路容量• 連続情報源のエントロピー• 連続通信路の通信路容量

No(1)-9

１．序論

• 1.1 「情報」とは何か？

• 1.2 「情報」の表現法

• 1.3 符号化系式の例

• 1.4 情報の表現法

• 1.5 情報の意味（セマンティックス）の側面

• 1.6 確率的な情報理論

• 1.7 情報理論とは何か

NO(1)-10

1.1 情報とは何か（辞書的定義）

• 角川 国語辞典：事情や状況を知らせること

• 岩波 広辞苑

• (information)ある事柄についての知らせ [極秘_]

• 判断を下したり行動を起こしたりするために必要な、種々の媒体を介しての知識

• 三省堂 大辞林 第二版

• 事物・出来事などの内容・様子、またその知らせ

• 〔information〕ある特定の目的について、適切な判断を下したり、行動の意志決定をするために役立つ資料や知識

• 機械系や生体系に与えられる指令や信号、例えば遺伝情報など

• Wikipedia

• 事象、事物、過程、事実などの対象について知りえたことで、概念を含んでおり、一定の文脈の中において特定の意味をもつもの。意味のあるデータ。

• 情報理論における情報

• 「他との差異」である。何かを区別するものを情報という。

No(1)-11

1.1 情報とは何か（理工学的定義）

•理工学的定義• ある知識が得られるもの（＝何かを教えてくれるもの）で、不確実な知識を確実にしてくれるもの 【甘利俊一「情報理論」】

•日常生活での意味• 受け手にとって価値ある外部からの刺激

• ○○情報という形で用いる、例えば「個人情報」「就職情報」

•例：文字による表現• 「2012年7月27日からロンドンでオリンピックが開催された」、は過去の情報

• 「2016年8月5日からリオデジャネイロでオリンピックが開催される」、は未来の情報

しかし

• 「今日の講義は有益だった」「私は山本さんが好きです」、等は感情表現であり、事実表現ではないので、情報ではない

No(1)-12

種類 例 符号化形式例(*)

文字 今日は9月25日。 JISコード、ユニコード等

静止画 写真、イラスト JPEG, GIF

音声 声、音楽MIDI, RealAudio, MP3, WAV, ATRAC

動画 TV、映画

MPEG-1, MPEG-2, MPEG-4H.264WIndowsMedia, RealVideo,QuickTime, DV

1.2 情報の表現形式（フォーマット）

* 符号化とは情報の表現形式である。後に詳しく述べるNo(1)-13

1.3 符号化形式の詳細例（１）

名称 意味

JPEG静止画圧縮方式であり、またこれを作った国際標準化組織（ISO/IEC JTC1)の名前。

GIF米国企業CompuServeが開発した画像ファイル形式の一つ。LZW アルゴリズムを使用した画像圧縮を用いる。256色以下の画像を扱うことができる可逆圧縮形式。

TIFF1986年にMicrosoft社及びAldus社（現アドビシステムズ）が開発した画像ファイル形式。

MIDI

日本のMIDI規格協議会と米国のMMA により制定された、電子楽器の演奏データを機器間でデジタル転送するための規格。MIDIによって送られるのは実際の音ではなく、楽譜に書かれてあるような情報（音の高さ、音の大きさ、等の楽器や音源へのメッセージ）。

No(1)-14

1.3 符号化形式の詳細例（２）

名称 意味

MP3MPEG-1のオーディオ規格で非可逆圧縮ファイル形式。CDなどのPCM音声を通常の試聴に耐えられる範囲で約1/10に圧縮することができる。

WAV MicrosoftとIBMにより開発された音声データ記述形式。

ATRACソニーが開発したオーディオの非可逆圧縮規格。MD等で主に利用される。

MPEG-2ビデオ、オーディオ、システムに関する標準規格。様々なメディアでの利用を想定し複数の解像度、圧縮率が可能。DVD-Videoやデジタル放送の符号化に適用される。

No(1)-15

1.3 符号化形式の詳細例（３）

名称 意味

MPEG-4MPEG-2より低ビットレート用の画像符号化方式としてスタートしたが、現在はMPEG-2範囲を含む広範囲なレートをカバー。

WMTMicrosoft社の映像符号化技術。映像（Windows Media Video）、音

声（Windows Media Audio） などの要素を含む総称。

RealVideoRealAudio

RealNetworks社が開発した動画 圧縮(RealVideo), 音声圧縮（RealAudio)方式。

DVビデオテープレコーダ(VTR)の規格の一つ。テープに映像をデジタルデータとして記録するため、編集や複製に伴う画質の劣化がない。

QuickTimeApple社の開発した、パソコンで動画や音声を扱うためのソフトウェア。当初は同社のMac OS用だったが、現在ではWindows環境でも広く使われている。

No(1)-16

1.4 情報の表現法：記号と通報（メッセージ）

•情報とは：

•不確定性をもつ（＝いくつかの状態があり得る）対象物に

ついて、それを知る（＝情報を得る）ことで不確定さが減少

するもの。その「知ったもの」。

•情報の表現法：

•新聞や本は文字の配列、写真や映像は（分解すると）０と

１の系列の集まりで表現されている。文字や０、１などを記

号と呼ぶ。

•記号がいくつか連続した系列を通報（ﾒｯｾｰｼﾞ）と呼ぶ。

No(1)-17

1.4.1 記号と通報の例（１）：文字列

•「1998年10月9日の東京証券取引所の株式の取

引高は３億株であった」

•記号は、日本語文字（漢字、ひらがな、数字等）

•通報は、日本語文字の列（1998年10月9日の東京証券

取引所の株式の取引高は３億株であった）

•新聞や雑誌記事、本等が典型的な例

•文字列の特徴

•言語により記号が異なる（例：英語と日本語）

•抽象性が高く意味を理解するために高度な知識が必要

（読み書き能力、リテラシー）、等

No(1)-18

1.4.2 記号と通報の例（２）：イメージ

•記号は、絵、日本語、英語

•通報は、天候の「晴れ」、「曇り」、「雨」

雨 曇り 晴れ

rainy cloudy fine

天候事象を絵、日本語、英語の３種類の記号で表した例

イメージ

（画像）

文字列

No(1)-19

1.5 情報の意味の側面

•通報の意味、ニュアンスまでは立ち入らない

•「本日は晴天なり」、「今日の天気は晴れです」、「今日はよ

い天気だ」

• 意味（セマンティックス）は少し違う（通報を受け取る人により、意味合い

が異なる）

• 記号系列（シンタックス）はほぼ同じ

•通報を数学（工学）的に扱うため意味は考慮しない

•シンタックス（形式）のみを扱う

No(1)-20

1.6 確率的な情報理論：情報を確率的に捉える

•日常生活の情報は、ニュースバリューがある事象（主

観的であるが）のほうが価値がある

•ニュースバリューがあるとは何か？

• 「人が犬に噛み付かれ怪我をした」はニュース性が低い（よくある

ことだから）

• 「犬が人に噛み付かれて怪我をした」はニュース性が高い（めった

にないことだから）

•「TVが見れるスマホが発売された」と「匂いが相手に伝わ

るスマホが○年に発売される」は、情報として差がある

• 前者より後者のニュースのほうが興味がわく（価値がある） ・・・後者の情

報＞前者の情報

No(1)-21

1.6 確率的な情報理論：シャノンが創始

•ありふれているか、めったにないかの違いが重要

•事象の起きる確率と情報が関係している

•確率的な情報理論が誕生した

•シャノン（Shannon：米国のAT&Tベル研究所の研究者）が創始した

•１９４８年（昭和２３年）にベル研究所の論文で情報理論を発表した。

これを理論化した

No(1)-22

1.7 情報理論とは何か

•情報の量（大小）の尺度に関する理論

⇒情報量、エントロピー

•情報を運ぶ記号（シンボルという）の作り方や記号の性質に関する理論

⇒情報源符号化

•情報を相手に早く、しかも誤りなく伝達するための記号の性質に関する理論

⇒通信路符号化

•記号の具体的な作成法、受信後の解読法

⇒符号理論

No(1)-23

1.7.1 情報量、エントロピーとは何か

情報の量を決める一つの指標（モノサシ）

•例えば、

①野球の試合の勝ち負けの結果を知る情報と、

②コインの表裏を知る情報と、

③天気の結果を知る情報、

のうちどれが大きいかを判断できる。

①は、どちらが勝ったか、何対何だったかの情報

②は、表だったか、裏だったかの情報

③は、晴れ、雨、曇り、その他等の天候種別の情報

•このため、「起こりえる場合の数や確率の高

さ」を考え、これらを尺度にする

No(1)-24

1.7.2 情報源符号化とは何か

情報を曖昧性なく表現する方法

•例：

•「トランプのカード（５２枚＋ジョーカー）」の情報をどう表すか：

（１）絵文字

（２）文字列 例：スペードのエース

（３）記号列 例：

X=スペード、Y=ハート、Z=ダイヤ、W=クラブ、で表し、直後に数値をつける規則を決めておき、

『X１（スペードのエース）』などの記号列で表す

No(1)-25

1.7.3 通信路符号化とは何か

曖昧性なく表現された情報を、相手に誤りなく伝えるように、さらに別の表現に変える方法

•例：「２０日に駅に着くので迎えに来て欲しい」ことを伝える記号の作り方• 早く効率よく伝えるには、電報文「２０ヒエキツクムカエタノム」がより良い。

• しかし、途中でエラーが発生すると、語（“エ”や“タ”）が落ち意味が伝わらない恐れがある。

• そこで、「２０ヒニ、ジェイアールエキニツクノデ、ムカエニキテ、タノム」のように、下線部の冗長性のある記号列のほうが確実性が高まる。しかしこれでも「２０」が「２１」に誤れば、正しく伝わらない。

•このように、効率と確実性は相反するので、適切な符号を見つけることが重要

No(1)-26

1.7.4 通信路符号化の応用例

•音声や画像情報を高品質で送るために、デジタル通信が一般化している。例えば、

•インターネットWebやYouTube等のストリーミング

•衛星や地上波で送られるデジタル放送

•携帯電話での音声、画像通信、など

•これらにおいては、伝送途中に発生する雑音に対抗して、情報をいかに効率よく確実にディジタル化する（＝符号化する）かが重要な鍵となる。

•そのため、いろいろな通信路符号化方法が用いられている。

No(1)-27

1.7.5 データ圧縮とは何か

情報をできるだけコンパクトに変換し詰め込む理論

•例えば、音声や画像情報を記録媒体（ＣＤ，ＭＤ、ＤＶＤなど）にたくさん詰め込む場合の方法論• 圧縮方法（フォーマット）として、MPEG-１, 2, 4, MP3などが良く知られ、実用化されている。

•符号化との関係

•元情報との誤差（=ひずみ）を許して符号化すること• レートひずみ理論（Rate Distortion Theory）として体系化

No(1)-28

変調器 伝送路 復調器

送信系列

送信信号

受信信号

受信系列

ＡＭ/ＦＭ/ＰＣＭ等のエンコーダ

電話線、無線、衛星、光ファイバ等

デコーダ

現実の通信路モデル

２元情報

送信機（符号化）

通信路（伝送路）

受信機（復号化）

２元情報

雑音

２元データ通信路モデル

1.7.6 情報の符号化モデル

雑音

アナログ信号

アナログ信号

この部分の詳細は次ページ

No(1)-29

雑音による誤りに備えた冗長ビット

情報源符号化

通信路符号化

通報

1.7.6 詳細な符号化モデル: 符号化の詳細

•情報源符号化と通信路符号化に分かれる

001101.. 11 0011 11 01..

音楽情報の

情報源符号語

通信路

（音楽）

音楽情報の

通信路符号語

デジタル化(PCM)

No(1)-30

1.7.7 情報源符号化の例（１）

•通報 符号語（JIS符号,ﾋﾞｯﾄ列）

男 0100001101001011 (434B)

女 0011110101110111 (3D77)

若 0011110001100011 (3C63)

老 0100111100110111 (4F37)

•通報の符号化例：

•老若男女は 4F37 3C63 434B 3D77 と符号化される

•このような符号化は、通報の全体集合の大きさ、使用頻度、通報間の相関関係、等を考慮して決められる。

（16進数表現）

No(1)-31

1.7.7 情報源符号化の例（２）

•通報 例（天気情報） 符号語

ｓ１ 晴 ０

ｓ２ 曇 ０１

ｓ３ 雨 ００１

ｓ４ 霧 １１１

•通報の符号化例：• ８月１日、8月２日の横浜の天気が１日は霧、２日は雨とする

と、これを表す通報（霧、雨＝s4s3）は「111001」で符号化される。

• しかし受信側では, 111001を 111 , 0 , 01 と区切るかも知れない。この結果、s4s1s2と解釈される可能性がある。

• こういう解釈に曖昧性のある符号を、「特異な符号」という

No(1)-32

1.7.7 情報源符号化の例（３）

（改良した符号）

通報 例 符号語

ｓ１ 晴 ０

ｓ２ 曇 １０

ｓ３ 雨 １１０

ｓ４ 霧 １１１０

★（疑問点）

なぜ前の符号は曖昧で、改良した符号は良いのか？どんな違いがあるのか？ 別の良い符号はあるのか？⇒情報理論はこれらを解明する

No(1)-33

1.7.8 基本的な用語 (1/2)

•ディジタル情報(離散的情報)• 離散的な値で表現されるもの：株価“12000”円、数“531”、など

•アナログ情報(連続的情報)• 連続的な値で表現されるもの：人の音声、写真、ＴＶ画像、など

•通報（メッセージ）• 文の形で表現されたもの: “天気は晴れ”、“金額は120円”

•記号（情報源記号、シンボル）• 通報は一般的に記号列として表されるが、その通報を構成するもの

• “天気晴れ” の「天」「気」「晴」「れ」

•情報源アルファベット• 情報源記号の全体集合

• 日本語の五十音｛あ、ア、・・・、ん、ン｝、10進数｛０，１，．．，９｝，常用漢字｛亜 哀 愛 悪 握 圧・・・｝、など

• 英語アルファベット｛Ａ，Ｂ，．．．，Ｚ｝，コイン投げ結果｛表，裏｝，など

No(1)-34

1.7.8 基本的な用語(2/2)

•符号•情報源の記号を別の記号に割当てたもの

• １０進数の２進符号、英語のモールス符号等

•２元符号• 符号アルファベットが｛０，１｝から成る符号

•２進化１０進符号• １０進数の各桁を２進数系列で符号化したもの

•モールス符号• 船舶などの電信で使われていた符号

•ＰＣＭ符号• パルス符号変調で使われる符号

•符号アルファベット•符号を構成する記号の集合

• ２進符号の｛０，１｝• モールス符号の｛－，―――， ｝

No(1)-35

米国のCalifornia州

株価が１２０００円

1.7.9 通報,記号,アルファベット,符号の関係

天気は晴れ

通報

情報源アルファベット

亜 天 愛逢 気・・・

あ い うえ ・・・

0 12….

天気=晴

株価（円）=12000

California:州（米国）

記号

001,110

100,9,12000

100, 3, 1, 3,1,12,9,6, 15, 18, 14, 9, 1

天気 晴

株価 単位円

米国 州 英字 C A L ・・

符号

符号アルファベット

0 1 2….

金額

No(1)-36

R. 参考

• R.1 情報理論の歴史（シャノンについて）

• R.2 情報理論に関係する他の分野

• R.3 暗号理論

• R.4 量子情報理論

NO(1)-37

R.1 情報理論の歴史

• 1948年のシャノン論文

「A Mathematical Theory of Communication」（和名：通信の数学理論）により情報理論が誕生.

• シャノンClaude Elwood Shannon

• 1916年ミシガン州出身。

• シャノン以前はナイキストやハートレーらによるディジタル信号理論や通信理論があった

• ナイキスト Nyquist

• 標本化定理の発見者。ナイキスト間隔として名前が知られる。

• ハートレー R. V. Hartley

• 1928年に情報容量というのを明らかにして，「M 面体の均一なサイコロはlog10 M だけの情報のいれもの」と述べて、情報容量の単位として記号数の対数rを用いるべきことを指摘した。

• このため、情報量の単位の一つとして名前が残る。

No(1)-38

R.1 情報理論の歴史

•Shanonn の略歴

•大学時代

• 18歳でミシガン大に入学、電気工学と数学を専攻。ブールの記号

論理学（ブール代数）を学び、後の情報理論に利用する。

•大学院時代

• ミシガン大を卒業後、MITの助手になると共に大学院に進む。ヴァ

ネバー・ブッシュの作った微分解析機の操作を担当していたが、

解析機のリレー回路をもっとうまく作れないかを研究し、有名な

修士論文を書く。

• 1940年（24歳）でMIT博士課程を卒業、数学博士号を取得。

•ベル研究所時代

• 第二次世界大戦の勃発のため1941年にAT&Tのベル研究所に入り、

対空防御システム、スイッチング回路、暗号の研究を行った。以

後、1956年までの15年間をベル研で過ごす。

No(1)-39

R.1 情報理論の歴史

• MIT時代

• 1956年、ベル研からMIT教授に迎えられる。しかし、ベル研の職は1972年ま

で続ける。1978年に引退。

• 2001年（平成13年）2月、84歳で亡くなった。

•A Mathematical Theory of Communication

• 確率論に基礎を置いて、通信の悩ましい問題に解決を与えた。

• それまでは通信途中で発生する雑音により、「正確」な通信は不可能であ

ると信じられていた。

• さらに、雑音に打ち勝って誤りなく通信できる限界だけでなく、

「誤りを許した時の通信速度限界」、「データ圧縮」、「パ

ターン認識」など幅広い分野にわたり情報理論の基礎を作り上

げた。

• その後の情報理論の研究・実用化はこの論文の上に成り立って

いる。

No(1)-40

R.1 情報理論の発展：主な理論と貢献者

通信路モデル、通信路容量

無記憶情報源

記憶情報源

レートひずみ理論

ユニバーサル符号化

符号化、符号理論

暗号理論、セキュリティ

1948 1950 1960 1970 1980 1990 199519851975

▲Shannon▲Kolmogorov（露）

▲Feinstein

▲McMillian▲Berger

▲Gallager

▲Lempel,Ziv (LZ)

▲Rissanen▲Hamming

▲Bose, Chaudhuri, Hocqenghem (BCH)

▲Reed,Muller (RM)

▲Reed, Solomon (RS)

▲Berlekamp▲Viterbi

▲Goppa ▲Justesen

情報幾何

▲甘利▲韓

情報スペクトル論

▲嵩

▲Peterson

▲Huffman

▲Fano▲Shannon

▲Shannon

▲金谷

▲Diffie, Hellman

公開鍵暗号

▲Rivest, Shamir, Adleman (RSA)

▲ElGamal▲Koblitz, Miller

楕円暗号

▲Kraft

No(1)-41

R.2 情報理論と親類たちの関係

古典情報理論

現代情報理論

古典暗号理論

データ圧縮

古典符号理論 ユニバーサル符号

多元情報理論

レート歪み理論

現代暗号理論

公開鍵暗号 量子暗号

楕円暗号

量子情報理論

現代符号理論 LDPC符号

情報スぺクトル理論

算術符号

分類原理

MDL原理

賭けの理論

計算量安全性慣用暗号

講義範囲

No(1)-42

R.3 暗号（暗号理論）

• 暗号とは、伝えたい受信者には情報を確実に伝えるが、それ以外の第3者には何の情報も伝えないことを目的とする通信方式

• 昔からローマ時代のシーザー暗号などが存在する

• 暗号を科学の対象として捉え、暗号理論を試みたのはシャノンが最初（1949年）

• 基本要素として、鍵(key)、拡散（diffusion)、混合（confusion)、判別距離（unicity distance)などを定義した

• しかしその後引き続く研究は行われなかった

• 1976年、全く新しい原理に基づく暗号方式が提案された（Diffie, Hellman: 公開鍵暗号）

• 計算量安全性に基づく暗号

• 1978年、具体的な公開鍵暗号として、RSA暗号が発表された

No(1)-43

R.3 暗号の初歩 (1)

•換字暗号（単文字換字暗号）

• 各文字を一定の規則で置換する暗号。英語の26字を例にとると、仮

に次の置換規則を用いるとする。

• このとき、「TODAY」は「XQFTN」に暗号化される。またもっと長い

「INFORMATION」は「SMGQDHTXSQM」になる。

• この暗号において、置換σが鍵であるが、もしこれを知らなければ、

鍵の総数は26!≒4×1026とおりあるので、盗聴者が鍵を全部調べて

解読することは不可能。

• しかし平文がある程度の長さ以上あれば、その統計的性質を調べて

解読可能。（通常、25文字以上の英文であれば街道可能と言われ

る）

KYCENUBLHMQVIDPXTRAFOGZJSW

UVWXYZKLMNOPQRSTABCDEFGHIJ

No(1)-44

R.3 暗号の初歩 (2)

• 転置暗号

• 単文字換字暗号は、1文字ずつ暗号化する「逐次暗号」の一種である。

これに対して、複数の文字をまとめて暗号化する方式を「ブロック暗

号」という

• 転置暗号とは、「文字列を一定の長さ（n）のブロックに区切り、各ブ

ロックの文字順序を一定の規則で置き換える暗号」

• 例：n=5の場合、置換規則τが次式で与えられる場合

• 前と同様に、英語の暗号「CRYPTOGRAM」は、前の5文字「CRYPT」は

「PYCTR」となり、後の5文字「OGRAM」は「AROMG」となるので、結

局全体で「PYCTRAROMG」と暗号化される

• 米国のDESは、このようなブロック暗号の一種

35214

12345

No(1)-45

R.4 量子情報理論

• 量子情報理論は、シャノンの情報理論を量子に拡張したものではなく、量子情報に関する理論。すなわち、

• 量子情報理論≠量子に対する情報理論

• 量子情報理論＝量子情報に関する理論

• 量子情報とは

• 量子力学の「量子状態」と「重ね合わせ原理」を情報に導入した概念

• 量子状態は、対象のとる値を確定値と見ず、ゆらぎ（曖昧性）をもつ波動と見る。

• 重ね合わせの原理は、異なる量子状態をもつものを加えることで対象の状態を観測できる。

• 量子状態とは ・・・比喩的な説明

• 古典的な物理学はどちらかに1個入っているが、我々にわからないだけと考える

• 量子力学は、どちらに入っているかは誰かが見るまで決まっていない、神様でも知らない、と考える

No(1)-46

R.4 量子情報理論の展開

•公開鍵暗号の安全性へのチャレンジ

•RSAなどの公開鍵暗号は、長い桁の数の素因数分解が実効的に困難であることを、安全性の基盤にしている• RSA暗号で使われる155桁の10進数の素因数分解が、292台のコンピュータで7．5か月かかった、という例がある（1999年）

• 従って、200桁のRSA暗号は安全と見なされている

•しかし、1994年にShorが多項式時間（指数関数的でなく桁数の代数関数的オーダの時間）で素因数分解できることを示した。

•このとき使われた手法が量子計算である。

•これにより公開鍵暗号が絶対的に安全であるということがいえなくなり、安全性の見直しが必要となった

No(1)-47