Download - はじパタ 10章 クラスタリング 前半
+
はじパタ 10章 クラスタリング 前半(10.1 ~ 10.3)
2014/3/4 yamakatu
+omae dare yo
n やまかつ(@yamakatu)
n フルスタックイクメンエンジニア
n 主に検索方面
n gihyo.jp Mahoutで体感する機械学習の実践 n 合い言葉は「読まずにはてブだけ」
n 一部の心ない人たちからソーシャルチンピラって呼ばれてる n インターネット怖い
+最初に知っておくべきこと 1/2
+最初に知っておくべきこと 2/2
+10章 クラスタリング
n 教師なし学習の一つ
n 入力データ間の類似度や非類似度から、データをグループ分け
n 手法(やまかつ、ポッター小野氏) n 非階層的クラスタリング
n K-means法 n 階層的クラスタリング(融合法)
n 単連結法 n 完全連結法 n 群平均法 n ウォード法 n 重心法 n メディアン法
n 混合分布(混合分布モデル n EMアルゴリズム
+
10.1 類似度と非類似度
+10.1.1 距離の公理
n データをグループ分け n 指標:類似度や非類似度
n 尺度:距離
n 距離の公理 n 非負性:d(x,y) >= 0
n 反射律:d(x,y) = 0 の時、x = yが成り立つ
n 対称性:d(x,y) = d(y,x)
n 三角不等式:d(x,z) <= d(x,y) + d(y,z)
+
n で、実際の距離の計算方法は? n ミンコフスキー距離
n パラメータa,bの値次第で以下の距離に派生する n a=1, b=1 : 市街地距離(マンハッタン距離) n a=2, b=2 : ユークリッド距離 n a=2, b=1 :ユークリッド距離の2乗(ユークリッド平方距離) n a=b=∞ : チェビシェフ距離(各次元の差の内、最大の差が距離となる)
n 一言で言うと n aの増加:個々の特徴間の差の重みが大きくなる n bの増加:差分累乗和に対する重みが小さくなる
10.1.2 ミンコフスキー距離
+その他の距離
n キャンベラ尺度(キャンベラ距離)
n マンハッタン距離の亜種っぽい感じ n 各次元を正規化できる
n 方向余弦(方向余弦距離、コサイン類似度)
n ベクトル間の角度を利用
n LTの資料がまとまってるぽい
+新鋭
n アルベルト距離 n ??????????
n いつかきっとアルベルトな方が説明してくれる、、、?
+
10.2 非階層型クラスタリング(K-平均法)
+10.2 非階層型クラスタリング (K-平均法) 1/2
n 非階層型クラスタリング、と言うよりK-Meansの話
n 目的 n d次元のN個のデータ n これをあらかじめ定めたK個のクラスタに分類する
n 定義 n 各クラスタの代表ベクトルの集合 n k番目の代表ベクトルが支配するクラスタ n 帰属変数
n K-Meansの評価関数
n 最適化
+10.2 非階層型クラスタリング (K-平均法) 2/2 n アルゴリズム(逐次最適化)
n 以下、TJO氏のサイト wikipedia( http://en.wikipedia.org/wiki/K-means_clustering )から
n 収束するまで3〜4を繰り返す n ちなみにKmeansの初期化ってやりかた2つあるよね
n 本:データをクラスタにランダムに割り当てる n wikipedia:ランダムに重心を決める
n ちなみにK個のKはCanopyクラスタリングで求める方法があるぜよ
1. 2. 3. 4.
+
10.3 階層型クラスタリング(融合法)
+10.3 階層型クラスタリング(融合法)
n 類似度の高い順に融合していって、最終的にN個のデータを一つのクラスタに統合
n デンドログラムで表現できる
+クラスタ間の類似度の定義
n 単連結法
n 完全連結法
n 群平均法
n ウォード法
n 重心法
n メディアン法
+10.3.1 単連結法
n 二つのクラスタA,B間でもっとも類似度の高いデータ間の距離を、クラスタ間の距離にする
+単連結法の性質
n クラスタに一つデータが追加されると、他のクラスタとの距離は小さくなるか、または変化しない n 最も距離が近いデータを採用してるから、遠くなることはない
n クラスタAとBが融合してクラスタCができた場合、他のクラスタXとの距離
n 大きなクラスタができる傾向がある n ???
n あるクラスタから同じ距離に二つのクラスタがある場合、どちらを選んでも結果は同じ n ???
+10.3.2 超距離
n 単連結法と完全連結法との間にいきなり出てきた、、、だと!?
n 「二つのデータxiとxjが融合する直前のクラスタ間の距離」
n 例題10.1にもどる n BとEの超距離を考える n クラスタBCとDEがあるとする n このクラスタ間の距離は、ユークリッド距離で単連結法だとd(C, E)で2√2になる
n そういう訳で n 「融合する直前」というより単に「融合前」 n でxiとxjが属するクラスタが融合する前のクラスタ間の距離を表現する
+10.3.3 完全連結法
n 単連結法の逆
n クラスタ間でもっとも類似度の低いデータ間の距離をクラスタ間の距離に
n 性質も逆 n 略
+10.3.4 群平均法
n 二つのクラスタ間のすべてのデータ間の距離の平均
n 式 n NA, NB:クラスタA, Bのデータ件数
+10.3.5 ウォード法
n クラスタを融合したときのクラスタ内変動の増加分で距離を定義
n この距離が小さなクラスタから融合する n データ間の距離計算にはユークリッド距離(って書いてあるけど、他じゃ駄目なの?)
n 式
n 階層法の中で最も精度が高い
Have a nice clustering!!