はじめてのパターン認識 第1章
DESCRIPTION
第1回「はじめてのパターン認識」読書会 第1章「はじめに」TRANSCRIPT
第1回「はじめてのパターン認識」読書会
2013/6/18 (火)Prunus1350
1.1 パターン認識とは
「パターン認識」とは,
1.1 パターン認識とは
「パターン認識」とは,
「物事の類型を知るはたらき,およびその内容」
1.1 パターン認識とは
「パターン認識」とは,
「物事の類型を知るはたらき,およびその内容」
ちょっとわかりづらい？
1.1 パターン認識とは
「パターン認識」とは,
1.1 パターン認識とは
「パターン認識」とは,
「対象の特徴量から対象が属するカテゴリを推測する方法」を指す.
『Rで学ぶデータサイエンス5 パターン認識』より
1.1 パターン認識とは
識別対象
具体例
1.1 パターン認識とは
識別対象
硬貨
具体例
1.1 パターン認識とは
識別対象
特徴抽出硬貨
具体例
1.1 パターン認識とは
識別対象
特徴抽出サイズ
重さ
透磁率
穴の有無
…
硬貨
具体例
1.1 パターン認識とは
識別対象
特徴抽出サイズ
重さ
透磁率
穴の有無
…
硬貨識別の手がかりとなる
「特徴量」
具体例
1.1 パターン認識とは
識別対象 特徴ベクトル
特徴抽出サイズ
重さ
透磁率
穴の有無
…
硬貨
具体例
1.1 パターン認識とは
識別対象 特徴ベクトル
特徴抽出 識別規則サイズ
重さ
透磁率
穴の有無
…
硬貨
具体例
1.1 パターン認識とは
識別対象 特徴ベクトル 識別クラス
特徴抽出 識別規則サイズ
重さ
透磁率
穴の有無
…
10円
50円
100円
500円
識別不能
硬貨
具体例
1.1 パターン認識とは
識別対象 特徴ベクトル 識別クラス
特徴抽出 識別規則硬貨
識別対象は多岐に渡る
電話音声
顔画像
テキストデータ
…
1.1 パターン認識とは
識別対象 特徴ベクトル 識別クラス
特徴抽出 識別規則硬貨
特徴ベクトルの形になってしまえば, 同じ識別規則が使える
電話音声
顔画像
テキストデータ
…
特徴量1
特徴量2
特徴量3
特徴量4
…
クラス1
クラス2
クラス3
…
識別不能
1.2 特徴の型
観測された特徴
1.2 特徴の型
観測された特徴
• 定性的特徴（非数値データ）
• 定量的特徴（数値データ）
1.2 特徴の型
観測された特徴
• 定性的特徴（非数値データ）• 名義尺度 （分類のための単なる名前） • 順序尺度 （順序関係を表す）• 定量的特徴（数値データ）
1.2 特徴の型
観測された特徴
• 定性的特徴（非数値データ）• 名義尺度 （分類のための単なる名前） • 順序尺度 （順序関係を表す）• 定量的特徴（数値データ）• 比例尺度 （原点が定まっており, 比率が意味を持つ）• 間隔尺度 （一定の単位で量られた量, 量間の比が意味を持たない）
例題 1.1
次の特徴の型は何か.
(1)試験の点数
(2)成績表のA, B, C, D
(3)偏差値
(4)単語の出現頻度
例題 1.1
次の特徴の型は何か.
(1)試験の点数 → 間隔尺度
(2)成績表のA, B, C, D
(3)偏差値
(4)単語の出現頻度
例題 1.1
次の特徴の型は何か.
(1)試験の点数 → 間隔尺度
(2)成績表のA, B, C, D → 順序尺度
(3)偏差値
(4)単語の出現頻度
例題 1.1
次の特徴の型は何か.
(1)試験の点数 → 間隔尺度
(2)成績表のA, B, C, D → 順序尺度
(3)偏差値 → 間隔尺度
(4)単語の出現頻度
例題 1.1
次の特徴の型は何か.
(1)試験の点数 → 間隔尺度
(2)成績表のA, B, C, D → 順序尺度
(3)偏差値 → 間隔尺度
(4)単語の出現頻度 → 比例尺度
1.2 特徴の型
定性的な特徴を計算機上で扱うために符号化を行う.
1.2 特徴の型
定性的な特徴を計算機上で扱うために符号化を行う.
例1) 2クラス
男性：0, 女性：1
1.2 特徴の型
定性的な特徴を計算機上で扱うために符号化を行う.
例1) 2クラス
男性：0, 女性：1
例2) 多クラス
（5つのクラスラベルでクラス2を表現）
t = (0, 1, 0, 0, 0)T
1.3 特徴ベクトル空間と次元の呪い
• 特徴数がd個あれば, 特徴ベクトルはd次元線形空間を張る.
x1
x2
65
70
(例) 特徴数2の特徴ベクトルx = (65, 70)T
1.3 特徴ベクトル空間と次元の呪い
• 特徴数がd個あれば, 特徴ベクトルはd次元線形空間を張る.
(例) 手書き文字認識 （kaggle）
1.3 特徴ベクトル空間と次元の呪い
• 特徴数がd個あれば, 特徴ベクトルはd次元線形空間を張る.
(例) 手書き文字認識 （kaggle）
• 28×28=784個の画素値• 各画素が256階調のグレースケール
1.3 特徴ベクトル空間と次元の呪い
• 特徴数がd個あれば, 特徴ベクトルはd次元線形空間を張る.
(例) 手書き文字認識 （kaggle）
• 28×28=784個の画素値• 各画素が256階調のグレースケール→ 784次元のベクトル空間の各軸が256個の区画を持っている.
1.3 特徴ベクトル空間と次元の呪い
• 特徴数がd個あれば, 特徴ベクトルはd次元線形空間を張る.
(例) 手書き文字認識 （kaggle）
• 28×28=784個の画素値• 各画素が256階調のグレースケール→ 784次元のベクトル空間の各軸が256個の区画を持っている.
区画の数は全体で 256784
1.3 特徴ベクトル空間と次元の呪い
適応制御において未知の複雑な関数を学習するために必要なデータが, 次元の増加と共に指数関数的に増加することを
「次元の呪い」
という.
例題 1.2
d次元超立方体の面（ファセットという）の数は2d個であることを示せ.
例題 1.2
d次元超立方体の面（ファセットという）の数は2d個であることを示せ.
A. d次元超立方体は, 各軸の直交する二つのd-1次元超平面で構成されるので, 面は全部で2d個ある.
章末問題 1.1
あなたの利き手でない方の人差し指と中指の指紋を区別したい, どのような特徴をとればよいか観察せよ.
章末問題 1.2
辺の長さが の 次元超立方体について, 以下の問いに答えよ.
da
章末問題 1.2
(1) 次元超立方体の頂点の数は 個であることを示せ.d 2d
章末問題 1.2
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 0次元の場合
d
頂点の数：
2d
20 = 1
章末問題 1.2
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 0次元 → 1次元
新しい軸 を考える
Ox1
d 2d
x1
章末問題 1.2
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 0次元 → 1次元
の正負の方向 の位置に頂点を移す
O�1
2a
1
2a
x1
d 2d
x1 ±1
2a
章末問題 1.2
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 1次元の場合
O�1
2a
1
2a
x1
d 2d
頂点の数： 21 = 2
章末問題 1.2
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 1次元 → 2次元
軸 に直交する軸 を考える
O�1
2a
1
2a
x1
x2
d 2d
x1 x2
章末問題 1.2
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 1次元 → 2次元
O�1
2a
1
2a
�1
2a
1
2a
x1
x2
d 2d
の正負の方向 の位置に頂点を移す
±1
2ax2
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 2次元の場合
章末問題 1.2
O�1
2a
1
2a
�1
2a
1
2a
x1
x2
d 2d
頂点の数： 22 = 4
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 2次元 → 3次元
章末問題 1.2
3次元空間を考える
x1
x2
d 2d
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 2次元 → 3次元
章末問題 1.2
x1
x2
d 2d
x3
軸 に直交する軸 を考える
x1, x2
x3
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 2次元 → 3次元
章末問題 1.2
x1
x2
x3
d 2d
の正負の方向 の位置に頂点を移す
±1
2ax3
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 3次元の場合
章末問題 1.2
x1
x2
x3
d 2d
頂点の数： 23 = 8
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 3次元 → 4次元
章末問題 1.2
軸 に直交する軸 を考える
x1
x2
x3
d 2d
？x1, x2, x3
x4
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 3次元 → 4次元
章末問題 1.2
x1
x2
x3
d 2d
？ の正負の方向 の位置に頂点を移す
±1
2ax4
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 4次元の場合
章末問題 1.2
x1
x2
x3
d 2d
？ 頂点の数： 24 = 16
(1) 次元超立方体の頂点の数は 個であることを示せ.
• 同様にして, 次元が増えるごとに超立方体の頂点の数は2倍になるので 次元超立方体の頂点の数は 個である.
章末問題 1.2
d 2d
d
2d
(2) 次元超立方体の表面積を求めよ.
章末問題 1.2
d
(2) 次元超立方体の表面積を求めよ.
• 1辺の長さが の 次元超平面の表面積は と表される.
章末問題 1.2
d
a d� 1
ad�1
(2) 次元超立方体の表面積を求めよ.
• 1辺の長さが の 次元超平面の表面積は と表される.
例題1.2より, これが 個あるので,
章末問題 1.2
d
a d� 1
ad�1
2d
ad�1 ⇤ 2d = 2dad�1
(3)超立方体を構成する 次元超平面の個数が
で表されることを, 3次元立方体で確かめよ.
章末問題 1.2
m
(0 m d� 1)
2d�m
✓d
m
◆
(3)超立方体を構成する超平面の個数
• 0次元（頂点）
章末問題 1.2
23�0
✓3
0
◆= 23 ⇤ 1
= 8
x1
x2
x3
(3)超立方体を構成する超平面の個数
• 1次元（辺）
章末問題 1.2
23�1
✓3
1
◆= 22 ⇤ 3
= 12
x1
x2
x3
(3)超立方体を構成する超平面の個数
• 2次元（面）
章末問題 1.2
23�2
✓3
2
◆= 21 ⇤ 3
= 6
x1
x2
x3
(4)超立方体を構成する 次元超平面の総数を求めよ.
章末問題 1.2
m
(4)超立方体を構成する 次元超平面の総数を求めよ.
• 次元超平面の個数は
と表されるので,
章末問題 1.2
m
2d�m
✓d
m
◆m
(4)超立方体を構成する 次元超平面の総数を求めよ.
• 次元超平面の個数は
と表されるので, それを0次元から 次元まで合計すればよい.
章末問題 1.2
m
2d�m
✓d
m
◆m
d� 1
(4)超立方体を構成する 次元超平面の総数を求めよ.
• 次元超平面の個数は
と表されるので, それを0次元から 次元まで合計すればよい.
よって
章末問題 1.2
m
2d�m
✓d
m
◆m
d� 1
d�1X
m=0
2d�m
✓d
m
◆
(5)その式から, 5次元超立方体を構成する超平面の総数を求めよ.
章末問題 1.2
(5)その式から, 5次元超立方体を構成する超平面の総数を求めよ.
章末問題 1.2
5�1X
m=0
25�m
✓5
m
◆=
4X
m=0
25�m
✓5
m
◆
(5)その式から, 5次元超立方体を構成する超平面の総数を求めよ.
章末問題 1.2
5�1X
m=0
25�m
✓5
m
◆=
4X
m=0
25�m
✓5
m
◆
= 25�0
✓5
0
◆+ 25�1
✓5
1
◆+ 25�2
✓5
2
◆+ 25�3
✓5
3
◆+ 25�4
✓5
4
◆
(5)その式から, 5次元超立方体を構成する超平面の総数を求めよ.
章末問題 1.2
5�1X
m=0
25�m
✓5
m
◆=
4X
m=0
25�m
✓5
m
◆
= 25�0
✓5
0
◆+ 25�1
✓5
1
◆+ 25�2
✓5
2
◆+ 25�3
✓5
3
◆+ 25�4
✓5
4
◆
= 32 ⇤ 1 + 16 ⇤ 5 + 8 ⇤ 10 + 4 ⇤ 10 + 2 ⇤ 5
(5)その式から, 5次元超立方体を構成する超平面の総数を求めよ.
章末問題 1.2
5�1X
m=0
25�m
✓5
m
◆=
4X
m=0
25�m
✓5
m
◆
= 25�0
✓5
0
◆+ 25�1
✓5
1
◆+ 25�2
✓5
2
◆+ 25�3
✓5
3
◆+ 25�4
✓5
4
◆
= 32 ⇤ 1 + 16 ⇤ 5 + 8 ⇤ 10 + 4 ⇤ 10 + 2 ⇤ 5
= 32 + 80 + 80 + 40 + 10
(5)その式から, 5次元超立方体を構成する超平面の総数を求めよ.
章末問題 1.2
5�1X
m=0
25�m
✓5
m
◆=
4X
m=0
25�m
✓5
m
◆
= 25�0
✓5
0
◆+ 25�1
✓5
1
◆+ 25�2
✓5
2
◆+ 25�3
✓5
3
◆+ 25�4
✓5
4
◆
= 32 ⇤ 1 + 16 ⇤ 5 + 8 ⇤ 10 + 4 ⇤ 10 + 2 ⇤ 5
= 32 + 80 + 80 + 40 + 10
= 242
ご清聴ありがとうございました。