Introduction to Text Mining
(data)3 base|warehouse|mininghttp://www.dataminingtrend.com
http://facebook.com/datacube.th
Eakasit Pacharawongsakda, Ph.D.
Co-founder of Data Cube & Certified RapidMiner Analyst
facebook.com/datacube.th
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Install text mining plugin to RM6• ตดตง text mining plugin ลงใน RapidMiner Studio 6
• เลอกเมน Help > Marketplace (Updates and Extensions)…
2
1
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Install text mining plugin to RM6• คนหา plugin ทชอวา text processing
3
2
4
3
5
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Install text mining plugin to RM6• เลอก I accept terms of all license agreements.
4
6
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Install text mining plugin to RM6• RapidMiner Studio 6 จะทำการดาวนโหลด plugin และตดตงให
5
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Install text mining plugin to RM6• หลงจากตดตงเสรจแลวจะใหทำการ restart RapidMiner Studio 6
6
7
สญลกษณของ text mining plugin
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • ดงขอมลจาก Twitter โดยใชโอเปอเรเตอร Search Twitter
7
1
3
2
4
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • สราง Connection ใหมสำหรบดงขอมลจาก Twitter
8
5
6
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • Connection ใหมจะถกสรางขนมาดานซายมอ
• สราง access token ใหม
9
7
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • คลกทปม Request access token
10
8
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • คลกทปม Authorize app
11
9
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • copy หมายเลข PIN ทแสดงอยและนำไปใสใน RapidMiner Studio 6
12
10
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • paste ตวเลข PIN ลงในชอง Copy Code
13
11
12
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • คลกทปม Save all changes
14
13
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • ใส keyword ทตองการคนหา เชน ซเกมส ในพารามเตอร query
15
14
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Search Twitter • ผลการคนหาใน Twitter
16
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• ตวอยางขอมลจาก Data Science Thailand meetup #1
• ขอมลจาก Twitter แบงเปน 2 ประเภท (class)
• Tweet ทเกยวของกบรานกาแฟ Amazon
• Tweet อนๆ ทไมไดหมายถงรานกาแฟ Amazon อาจจะเปนเวบไซต amazon.com
17
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Text Mining Example• ภาพรวมของ Process ทสรางขน
18
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• โอเปอเรเตอรทเกยวของ
19
โอเปอเรเตอร คำอธบาย
Read CSVใชสำหรบอานไฟลประเภท CSV มาใชงาน ในตวอยาง Process นอานไฟล training data มาใชงาน
Read Excelใชสำหรบอานไฟลประเภท Excel มาใชงาน ในตวอยาง Process นอานไฟล testing data มาใชงาน
Naive Bayesใชสำหรบสรางโมเดล Naive Bayes เพอ classify ขอมลออกเปน Amazon หรอ Other
Apply Modelใชสำหรบนำโมเดล (classification model) ไปทำนาย (predict) ขอมลใหม
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• โอเปอเรเตอรทเกยวของ
20
โอเปอเรเตอร คำอธบาย
Performance ใชสำหรบวดประสทธภาพของโมเดลทสรางขนมา
Validation ใชสำหรบแบงขอมลและทำการทดสอบแบบ cross-validation
Process Documents from Data
ใชสำหรบสำหรบจดการขอความ (text) ทอานไดจากไฟล
Tokenize ใชสำหรบตดคำออกเปนคำศพทตางๆ
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• โอเปอเรเตอรทเกยวของ
21
โอเปอเรเตอร คำอธบาย
Filter Tokens by Length
ใชสำหรบกรองคำศพท (token) ทมคานอยกวาหรอมากกวาทกำหนด
Stem (Porter)ใชสำหรบแปลงคำศพทใหอยในรปของรากศพทภาษาองกฤษ (root)
Filter Stopwords(English)
ใชสำหรบตดคำเชอมหรอคำทไมจำเปนทง
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• โหลดขอมล twitter.csv ดวยโอเปอเรเตอร Read CSV
22
1
1
2
3
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เลอกไฟล twitter.csv
23
4
5
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เปลยน File Encoding เปน UTF-8 และเลอก Comma “,”
24
6
7
8
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• คลกท Next ไดเลยครบ
25
9
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เปลยนแอตทรบวต Class ใหเปน label และ Tweet เปน text
26
1011
12
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เพมโอเปอเรเตอร Process Document from Data เพอทำ preprocess ขอมล text
• เลอก vector creation เปนแบบ TF-IDF
• เลอก prune method เปน percentual เพอ prune คำระหวาง 3% - 30%
27
13
14
15
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• double click ทโอเปอเรเตอร Process Document from Data
• เพมโอเปอเรเตอร Tokenize เพอตดคำ และตอ port doc เขากบ Tokenize
28
16
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เพมโอเปอเรเตอร Stem (Porter) เพอทำ stemming (แปลงขอมล
ใหเปน root)
• ตอ port จาก Tokenize ไปยง Stem (Porter)
29
16 17
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เพมโอเปอเรเตอร Filter Tokens (by Length) เพอลบคำทสนหรอ
ยาวเกนไป
• ตอ port จาก Stem (Porter) ไปยง Filter Tokens (by Length)
30
18
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เพมโอเปอเรเตอร Filter Stopwords เพอลบคำทเปน stopword ทง
• ตอ port จาก Filter Tokens (by Length) ไปยง Filter Stopwords
31
19
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• ผลการทำงานจะตดคำตางๆ ออกมาได พรอมทงความถของคำตางๆ
32
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• ผลการทำงานแสดงขอมลในรปแบบตาราง โดยมคำตางๆ เปน
แอตทรบวต
33
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• คลกขวาในสวน Main Process และเลอกเมน Insert Building Block
และเลอกเมน Nominal X-Validation
• ตอพอรต mod และ ave ของโอเปอเรเตอร X-Validation ไปยง res
34
20
21
22
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• double click ทโอเปอเรเตอร X-Validation
• เปลยนโอเปอเรเตอรจาก Decision Tree เปน Naive Bayes แทน
35
23
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• กดปม Run เพอดผลการทดสอบประสทธภาพของโมเดล
36
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• โมเดล NaiveBayes ทสรางได
37
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• หลงจากสรางโมเดลและวดประสทธภาพไดเรยบรอยแลว ขนตอนถดมาจะเปนการนำโมเดล
ไปใชงาน
• ใชโอเปอเรเตอร Read Excel เพออานไฟลทดสอบทอยในรปแบบ Excel
38
24
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เปลยนแอตทรบวต prediction (Label) ใหเปน label และ Tweet เปน text
39
2526
27
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• copy โอเปอเรเตอร Process Documents from Data มาตอกบ Read Excel
และตอพอรต wor มาตอกบโอเปอเรเตอร Process Documents from Data
4028
29
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• เพมโอเปอเรเตอร Apply Model เพอนำโมเดลไป predict ขอมลใหม
41
30
(data)3 base|warehouse|mining
http://dataminingtrend.com http://facebook.com/datacube.th
Example: Amazon coffee?• กดปม Run เพอดผลการ predict
42
ผลการ predict