wikipedia mining

22
1 Wikipedia Mining NTU NLP Lab Seminar Changhua Yang

Upload: zorana

Post on 15-Jan-2016

81 views

Category:

Documents


0 download

DESCRIPTION

Wikipedia Mining. NTU NLP Lab Seminar Changhua Yang. WM Database 直接下載 , 免 Crawl. http://download.wikimedia.org/backup-index.html. 中文 Wiki 重要的 DB. XML 格式文字檔 Wikipedia 條目越來越多. XML, Content, Article Link, Category Link, Inter-Language Link. 抓中文人名集合. Category 當 Hint 某某姓 499 個姓 8945 筆人名 - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Wikipedia Mining

1

Wikipedia Mining

NTU NLP Lab Seminar

Changhua Yang

Page 2: Wikipedia Mining

2

WM Database 直接下載 , 免 Crawl

• http://download.wikimedia.org/backup-index.html

Page 3: Wikipedia Mining

3

中文 Wiki 重要的 DB

• XML 格式文字檔• Wikipedia 條目越來越多

Page 4: Wikipedia Mining

4

XML, Content, Article Link, Category Link, Inter-Language Link

Page 5: Wikipedia Mining

5

抓中文人名集合• Category當 Hint

• 某某姓– 499 個姓– 8945 筆人名

• 例外

Page 6: Wikipedia Mining

6

抓人名集合• 符合以下任一條件

– 某某姓– 某某年出生– 某某年逝世

• 18,115 筆• 但是會多出外國人

Page 7: Wikipedia Mining

7

Political divisions, Locations

• 符合以下任一條件– 某某区划– 某某區劃– 某某城市– 某某都市

• 11,030 筆

Page 8: Wikipedia Mining

8

人名辨識系統• 將Wikipedia 語料化 (BIO 標記 )

• 关羽 是 concept 、關公是 appearance

• 張作霖沒被標到

Page 9: Wikipedia Mining

9

Character-Base CRF

• 抽了 32,466 句• 有 815,980個 characters

• 需要多一點 features– 中文人名– 中文姓

St-1

St

St+1

et-1

et

et+1

FSt-1

FSt

FSt+1

Page 10: Wikipedia Mining

10

人名偵測測試總統馬英九昨透過發言人王郁琦發表聲明去香港遇到楊昌樺和李佳穎在吃漢堡總統楊昌樺昨透過發言人馬英九發表聲明總統林敏順昨透過發言人李佳穎發表聲明去香港遇到馬英九和李佳穎在吃漢堡去北極遇到紀存希和楊昌樺在釣魚去北極遇到楊昌樺和紀存希在釣魚楊昌樺率領太平天國跆拳道選手李佳穎跆拳道選手紀存希台大校長林敏順返國前 看來以 Wikipedia 自動產生的

語料還堪用,但句型仍有限,有加強空間

Page 11: Wikipedia Mining

11

Referencing Mining (hint [[ 关羽 | 關公 ]])

黃鈺筑 15 黃鈺 -{筑 }- 3 瑤瑤 2 保留原型 , 暱稱康華 12 康 華 2 排版洪詩涵 12 洪詩 2 藝名秦煌 11 秦 煌 秦 煌 0 排版宣萱 11 宣 萱 1 排版蔡冕麗 9 Mini 2 夏至 6 蔡冕麗 筆名孫中山 9 孙中山 9 簡繁秦沛 9 秦 沛 9 排版胡楓 9 胡 楓 9 排版羅蘭 8 羅 蘭 8 排版楊怡 8 楊 怡 8 排版羅莽 7 羅 莽 7 排版汪琳 7 汪 琳 汪 琳 6 排版夏萍 7 夏 萍 7 排版

周杰倫 7 周 -{杰 }- 倫 6 《周杰倫 07-08 世界巡迴演唱會香港站 》 保留原型 , 代表作

鄭如吟 7 玉兔 7 藝名

唐玄宗 6 李隆基 玄宗 4 玄宗皇帝 但其實最有名的稱呼是 唐明皇

Pitfall:藝人黑澀會團體人數太多又互相以暱稱 reference

Page 12: Wikipedia Mining

12

Referencing Mining ( 不限定人名 )Samples

法拉利車隊 100

Ferrari 69 法拉利 31 簡稱 , 原稱

清朝 96 清廷 清初 2 大清帝國 5 晚清 2 清末 3 中国 清領 大清國 清代 7 清帝国 滿清 清 71

簡稱 , 別稱 , 上下位

福爾摩沙高速公路 92

國道 3 號(二高) 國道三號 7 國道三號 ( 福高 ) 6 國道三號 ( 福高 ) 北二高 5 福高 2 國道三號大甲交流道沙鹿交流道 國道三號:福高 國道三號福爾摩沙高速公路 3 國道三號(福高) 54 國道 3 號

別稱

波音 747 92

波音 747-300 3 747-400 2 波音 747-100, -200 and -300 波音747-400 型 B747-400 2 哪一款 波音 747-400( 74A ) 波音 747-400 Combi 波音 747-400D 波音 747-409F 波音 747-100B 波音 747-283B 波音 747-481 3 … ( 還沒列完 , 共幾十個型號 )

上下位從屬關係

明朝 77 明末 3 明 64 明代 8 大明朱朝 大明帝國 簡稱 , 別稱 , 上下位

大韓民國 72 南 南韓 6 韓國 60 韩国 3 全國 2 簡稱 , 代稱 , 別稱聲優 66 配音員 30 配音 CV 9 聲 26 簡稱 , 代稱

台灣 42 台灣籍 台 4 詳情 ... 台灣區 台灣地區 台灣島 2 臺湾 中華民國(台湾) 台湾 3 臺灣 27

Link,

Pitfall: 雜訊太多

Page 13: Wikipedia Mining

13

Referencing Mining 2 (Redirection)• Wikipedia共 131,199筆 redirection• 品質似乎比較好 , 最後有 2386組人物

关羽 13文衡聖帝 關聖恩主 關帝君 協天大帝 关公信俗 關羽 关老爷 迦藍菩薩 關聖帝君 恩主公 關二哥 关云长 關雲長

梁启超 9 饮冰子 飲冰室主人 飲冰子 饮冰室主人 梁啓超 梁卓如 梁啟超 梁任甫 梁任公商纣王 9 商帝辛 商紂 紂王 纣 商纣 帝辛 纣王 受辛 子受辛吕洞宾 9 呂洞賓 呂祖師 呂純陽 孚祐帝君 吕祖師 呂仙祖 吕祖 純陽祖師 孚佑帝君刘邦 8 漢太祖 汉高帝 汉太祖 汉高祖 劉季 漢高祖 汉高祖刘邦 高皇帝蔣中正 8 蔣介石 蒋介石 蒋中正 蒋匪 軍事委員會委員長 中正 蔣公 中國國民黨總裁 刘备 7 先主 刘玄德 漢昭烈帝 昭烈帝 汉昭烈帝刘备 蜀汉先主 劉備 朱温 7 後梁太祖 朱全忠 后梁太祖 朱晃 梁太祖 朱溫 后梁太祖朱晃 鲁班 7 公輸子 公输般 公孫般 魯班 公孫班 鲁班传说 公輸班 卫绍王 7 完顏允濟 衛紹王 完顏永濟 金衛紹王 完颜允济 完颜永济 金卫绍王 金庸 6 金庸小說 查良鏞 查良镛 查良庸 金庸小说 金庸武侠小说 孫中山 6 孙大炮 孫文 中華民國國父 中山樵 孙文 孙中山 韩愈 6 韓昌黎 韓退之 韓文公 韩昌黎 韓愈 韩退之 姜尚 6 姜子牙 太公望 姜太公 齊太公 吕尚 吕望 李商隐 6 玉谿生 樊南生 玉溪生 李商隱 李義山 李义山

Page 14: Wikipedia Mining

14

Referencing Mining 2 ( 不限定人物 )

結誼 176

誼母女 乾哥哥 結乾親 結拜 誼姊弟 契妹 契父母 義父母 契母 結義 安答 結拜姊妹 把兄弟 沙耕 義兄姐 乾姊弟 八拜之交 金蘭姊妹 契姐 摟給 誼親 誼姐 誼姐妹 血誓兄弟姊妹 盟兄 義父女 契阿兄 契仔 乾姐弟 盟姐 契兄妹 契姐姐 盟兄弟姐妹 保爺 契父 拜乾親 血誓兄弟 盟兄弟姊妹 契兄弟姊妹 乾子女 乾兄妹 盟姊 乾爹 義姐弟 契娘 金蘭契 打老庚 拜過房娘 誼母子 誼子女 契媽 契爸 乾爹娘 寄父母 義母 乾閨女 義姊 契母子 誼父 義姐妹 換帖 乾女兒 契親 義兄妹 義兄弟姐妹 摟友 拜過房爺 拜把子 乾兄弟姊妹 契爺 異姓兄弟 乾兄弟 義姊弟 結拜兄弟 乾大 誼母 盟姊妹 誼父子 契大佬 血誓姊妹 誼兄弟 乾父女 認乾親 契父子 乾親 義父 拜契 血誓姐妹 結義兄弟 嘎戳 誼姐弟 乾兒子 義兄弟姊妹 契細佬 乾媽 血盟兄弟姐妹 上契 契兄弟姐妹 乾妹 誼兄妹 義兄姊 金蘭之交 結拜姐妹 換帖兄弟 契兒 乾姐妹 金蘭契友 乾妹妹 誼父女 盟兄弟 契哥 血盟兄弟姊妹 契子 乾兒 義子女 乾姐姐 義兄弟 老庚 血盟姐妹 誼女 血盟姊妹 契家姐 契姊弟 契大兄 乾弟 義子 乾兄弟姐妹 義母女 乾姊姊 血誓兄弟姐妹 保娘 乾哥 義姐 誼兄 契母女 義兄 金蘭姐妹 契女 契姐妹 誼弟 誼姊 乾姊妹 誼姊妹 義父子 乾姊 盟弟 契父女 乾弟弟 契兄 盟妹 磕頭兄弟 義妹 契姊妹 乾母女 乾姐 義姊妹 契弟 契爹 血盟兄弟 義弟妹 誼妹 乾父子 乾娘 義母子 契友 盟姐妹 契兄弟 誼父母 誼子 契細妹 義女 乾字輩 結義金蘭 乾母子 契姐弟 義弟

共 176種結拜

博義一世 85聖邦尼腓斯一世 邦尼腓斯一世 聖波裏法斯一世 聖邦尼非士一世 保尼弗斯一世 …

共有 85種稱呼的教宗

第 16屆澎湖縣議員列表

19第 16届澎湖县议员列表 陳進兩 陳富厚 呂春茶 許月里 劉陳昭玲 葉明縣 魏長源 歐陽洲 李添進 楊曜 葉竹林 …

這個很難說是百科全書該有的了

九一一袭击事件 17

911恐怖攻擊事件 九一一袭击 911事件 911攻擊 九一一恐怖攻擊事件 九一一恐怖事件 911袭击 九一一恐怖袭击事件 911恐怖攻擊 九一一恐怖襲擊事件 九一一事件 911袭击事件 九一一襲擊 9·11事件 911恐怖袭击 九一一恐怖袭击 九一一

杜垩登家族 16锐森 ·杜垩登 布里莎 ·杜垩登 札克纳梵 狄宁 狄宁 ·杜垩登 纳梵 ·杜垩登 玛雅 ·杜垩登 维尔娜 ·杜垩登 纳梵 席纳菲 ·赫奈特 玛烈丝 ·杜垩登 布里莎 席奈安 ·杜垩登 锐森 札克纳梵 ·杜垩登 玛烈丝

小說迷的威力

國立臺東大學 15

台東師院 省立台東師範專科學校 省立台東師範學校 省立台東師範學院 台東大學 台灣省立台東師範學校 台東師範專科學校 國立台東師範學院 國立台東大學 台灣省立台東師範專科學校 台東師範學院 東師 台東師範學校 NTTU 台灣省立台東師範學院

舊台東師院

Page 15: Wikipedia Mining

15

Disambiguation (WM 格式未統一 )然而中文有歧義的不多,僅 300 多筆

• 最結構化格式

• 解釋

• 半結構化

Page 16: Wikipedia Mining

16

跨語言 Issue (1)• 지미 카터 1924년 태어남 吉米 ·卡特

• 함석헌 1901년 태어남 1989년 죽음 咸錫憲• 백남준 2006년 죽음 1932년 태어남白南準• 귄터 그라스 1927년 태어남 君特 ·格拉斯

• 데니스 리치 1941년 태어남 丹尼斯 ·里奇

• 토마스 만 1955년 죽음 1875년 태어남• 하인리히 뵐 1985년 죽음 1917년 태어남• 노무현 1946년 태어남• 장국영 1956년 태어남 2003년 죽음• 빅토르 최 1990년 죽음 1962년 태어남• 막스 플랑크 1947년 죽음 1858년 태어남

從不熟的語言也可以找到類似的結構10704 筆韓文人名

Page 17: Wikipedia Mining

跨語言 Issue(2)• ソクラテス 紀元前 399年没• 士郎正宗 1961年生• 高橋留美子 1957年生• 村上もとか 1951年生• 青木光恵 1969年生• 赤塚不二夫 1935年生• 一条ゆかり 1949年生• うすた京介 1974年生• 浦沢直樹 1960年生• 車田正美 1953年生• 高橋しん 1967年生• 高屋奈月 1973年生• 竹本泉 1959年生• 寺沢武一 1955年生• 冨樫義博 1966年生• 鳥山明 1955年生• 聖悠紀 1949年生• 日渡早紀 1961年生• 藤島康介 1964年生

17

日文可以抓到 111,285 筆人名

Page 18: Wikipedia Mining

18

托马斯 ·曼 トーマス・マン Thomas Mann 토마스 만海因里希 ·伯尔 ハインリヒ・ベル Heinrich Böll 하인리히 뵐盧武鉉 盧武鉉 Roh Moo-hyun 노무현芥川龍之介 芥川龍之介 Ryūnosuke Akutagawa 아쿠타가와 류노스케張國榮 レスリー・チャン Leslie Cheung 장국영马克斯 ·普朗克 マックス・プランク Max Planck 막스 플랑크维尔纳·海森贝格 ヴェルナー・ハイゼンベルク Werner Heisenberg 베르너 하이젠베르크

朝永振一郎 朝永振一郎 Sin-Itiro Tomonaga 도모나가 신이치로汤川秀树 湯川秀樹 Hideki Yukawa 유카와 히데키小柴昌俊 小柴昌俊 Masatoshi Koshiba 고시바 마사토시伊利亚 ·普里高津イリヤ・プリゴジン Ilya Prigogine 일리야 프리고진鄭周永 鄭周永 Chung Ju-yung 정주영马丁· 加德纳 マーティン・ガードナー Martin Gardner 마틴 가드너弗里曼 ·戴森 フリーマン・ダイソン Freeman Dyson 프리먼 다이슨曼弗雷德 ·艾根 マンフレート・アイゲン Manfred Eigen 만프레트 아이겐琳 ·馬古利斯 リン・マーギュリス Lynn Margulis 린 마굴리스阿诺 ·施瓦辛格 アーノルド・シュワルツェネッガー Arnold Schwarzenegger 아널드 슈워제네거

跨語言人名對應 (四語都有 )有 3754 筆

Page 19: Wikipedia Mining

跨語言 Issue(2)• 韓中日英的原始資料比大概是 1:4:16:64

• 各種知識 mining量大概也成這種比例

19

高橋葉介 Yōsuke Takahashi

高橋葉介

赤松健 Ken Akamatsu 赤松健麻宮騎亞 Kia Asamiya 麻宮騎亜

东清彦 Kiyohiko Azuma

あずまきよひこ

桂正和 Masakazu Katsura

桂正和

三浦建太郎 Kentaro Miura 三浦建太郎

皆川亮二 Ryōji Minagawa

皆川亮二

椎名高志 Takashi Shiina 椎名高志尾田荣一郎 Eiichiro Oda 尾田栄一郎高河优 Yun Kōga 高河ゆん手塚治虫 Osamu Tezuka 手塚治虫

永野護 Mamoru Nagano

永野護

梶原一騎 Ikki Kajiwara 梶原一騎安达充 Mitsuru Adachi あだち充荒木飛呂彥 Hirohiko Araki 荒木飛呂彦

池上辽一 Ryoichi Ikegami

池上遼一

人名對應

韓中日英 3754 筆 ( 上一頁 )中日英 12375

Page 20: Wikipedia Mining

跨語言 Issue(3)

芝加哥 Chicago シカゴ旭川市 Asahikawa, Hokkaidō 旭川市弘前市 Hirosaki, Aomori 弘前市

关西国际机场 Kansai International Airport

関西国際空港

橫須賀市 Yokosuka, Kanagawa 横須賀市八戶市 Hachinohe, Aomori 八戸市

旧金山 San Francisco, California

サンフランシスコ

田澤湖 Lake Tazawa 田沢湖巴塞罗那 Barcelona バルセロナ布宜諾斯艾利斯 Buenos Aires ブエノスアイレス亞松森 Asunción アスンシオン蒙得维的亚 Montevideo モンテビデオ拉巴斯 La Paz ラパス浦那 Pune プネー

豪斯登堡 Huis Ten Bosch (theme park)

ハウステンボス

20

• 地名對應仍有雜訊 , 僅列 Sample

Page 21: Wikipedia Mining

Conclusions

• WM當材料優點–持續有更新–可把某語言方法套用到別語言–可以獲得跨語言綜合資訊

• 缺點–材料不齊全或不 balanced, 在某些語系或

model 的建置上仍不 robust

• Future: 本土教學材料

21

Page 22: Wikipedia Mining

本土教學材料

22

Ô͘C Gím-tô 胡锦涛Kim Chèng-ji̍ It金正日Siā Tiông-têng

謝長廷

TōC Hú 杜甫Lí Kong-iāu 李光耀Lí Chū-sêng 李自成Kim Ji̍ It-sêng 金日成Lí PeIk 李白Tân Chúi-píⁿ 陳水扁GôC Chok-tòng吴作栋Lí Hián-liông 李显龙Sòng ChhóC-jû宋楚瑜Liân Chiàn 連戰Má Eng-kiú 馬英九Lí Teng-hui 李登輝Chiúⁿ Kài-seIk 蔣中正

SòC-haIk 数学Tiat-haIk 哲学LeIk-sú 歷史Tiān-iáⁿ 电影Im-gaIk 音乐Choh-sit 农业Tiong-hoâ Jîn-bîn Kiōng-hô-kok

中华人民共和国

Chok-giaIp hē-thóng 操作系统Nobel Chióng 诺贝尔奖Tiān-náu bāng-lō· 计算机网络Siōng-hái 上海市Tiong-kok 中国Tiong-hoâ Bîn-kok 中華民國Chong-kàu 宗教Kè-sǹg gí-giân-haIk 计算语言学Tē-jī-chhù Sè-kài Tāi-chiàn第二次世界大战