analiza danych nieustrukturyzowanych: text mining · analiza danych nieustrukturyzowanych: text...
TRANSCRIPT
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
Analiza danych nieustrukturyzowanych: Text Mining
dr Karolina Kuligowska
Wydział Nauk Ekonomicznych
Uniwersytet Warszawski
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
1) Komercyjne 1. Zintegrowane aplikacje analityczne
2. Analiza sentymentu
2) Aplikacje open source
Część 3 Inne narzędzia Text Mining
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
1) Komercyjne 1. Zintegrowane aplikacje analityczne
2. Analiza sentymentu
2) Aplikacje open source
Część 3 Inne narzędzia Text Mining
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
171
dr Karolina Kuligowska
dr Karolina Kuligowska
SAS Text Miner
IBM SPSS Modeler Text Analytics
STATISTICA Text Miner
Provalis Research WordStat
Megaputer TextAnalyst
Zintegrowane aplikacje analityczne
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
Firma: SAS
Produkt: SAS Text Miner
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
173
dr Karolina Kuligowska
http://support.sas.com/documentation/onlinedoc/txtminer/
SAS Text Miner
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
174
dr Karolina Kuligowska
dr Karolina Kuligowska
SAS Text Miner prowadzi analizę nieustrukturyzowanych dokumentów w językach europejskich:
angielski, holenderski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki, polski
oraz:
japoński, koreański, uproszczony chiński, tradycyjny chiński, arabski
Obsługiwane języki
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
175
dr Karolina Kuligowska
dr Karolina Kuligowska
szukanie rdzenia wyrazów
automatyczne rozpoznawanie terminów wielowyrazowych
standaryzacja wyrażeń takich jak data, godzina, waluta, procenty
wydobywanie niestandardowych wyrażeń (nazwy organizacji, produkty, tytuły itp.)
etykietowanie części mowy
rozpoznawanie synonimów
Obsługiwane funkcje
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
176
dr Karolina Kuligowska
dr Karolina Kuligowska
filtrowanie wiadomości e-mail
grupowanie dokumentów według tematu w określone kategorie
wyszukiwanie w tekście nowych informacji
analiza klastrów w dokumentach naukowych
analiza klastrów danych ankietowych
analiza klastrów w skargach, komentarzach i zażaleniach klientów
Zastosowania
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
177
dr Karolina Kuligowska
dr Karolina Kuligowska
SAS Text Analytics
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
178
dr Karolina Kuligowska
dr Karolina Kuligowska
SAS Content Categorization
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
179
dr Karolina Kuligowska
dr Karolina Kuligowska
SAS Social Media Analytics
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
180
dr Karolina Kuligowska
SAS Social Media Analytics
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
181
dr Karolina Kuligowska
SAS Social Media Analytics – social forecast
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
182
dr Karolina Kuligowska
SAS Social Media Analytics – sentiment by time
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
183
dr Karolina Kuligowska
SAS Social Media Analytics – media workbench
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
184
dr Karolina Kuligowska
SAS Social Media Analytics – fraud framework
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
185
dr Karolina Kuligowska
Maspex Wadowice Group https://www.sas.com/en_us/customers/maspex-wadowice-group.html
Parks Division of Alberta Tourism, Parks and Recreation
https://www.sas.com/en_us/customers/alberta-parks.html
Hong Kong government's Efficiency Unit https://www.sas.com/en_us/customers/hong-kong-efficiency-unit-visual-analytics.html
Success stories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
186
dr Karolina Kuligowska
Sub-Zero and Wolf Appliance http://www.sas.com/en_us/news/press-releases/2014/march/sub-zero-warranty-analytics-award.html
Hewlett-Packard http://www.sas.com/en_us/customers/hp.html
Success stories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
Firma: IBM SPSS
Produkt: IBM SPSS Modeler Text Analytics
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
188
dr Karolina Kuligowska
https://www.ibm.com/support/knowledgecenter/SS3RA7_15.0.0/com.ibm.spss.ta.help/tmfc_intro.htm
IBM SPSS Modeler Text Analytics
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
189
dr Karolina Kuligowska
dr Karolina Kuligowska
Wspierane natywnie
angielski, francuski, hiszpański, holenderski, niemiecki, włoski, portugalski, japoński
Wspierane przez moduł tłumaczeniowy Language Translation Interface
arabski, chiński, hindi, perski, rumuński, rosyjski, somalijski, szwedzki
Obsługiwane języki
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
190
dr Karolina Kuligowska
dr Karolina Kuligowska
Analiza wzorców w tekstach i powiązań między tekstami
Analiza pytań otwartych w ankietach
Klasteryzacja, kategoryzacja
Modelowanie predykcyjne
Zastosowania
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
191
dr Karolina Kuligowska
What do you like most about this portable music player? /categories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
192
dr Karolina Kuligowska
What do you like most about this portable music player? /concept map
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
193
dr Karolina Kuligowska
What do you like most about this portable music player? /positive
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
194
dr Karolina Kuligowska
What do you like most about this portable music player? /negative
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
195
dr Karolina Kuligowska
Customer service / text link analysis
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
196
dr Karolina Kuligowska
What factors influence your decision to choose a car rental company for business?
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
197
dr Karolina Kuligowska
dr Karolina Kuligowska
Sentiment Analysis
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
198
dr Karolina Kuligowska
PGM Holdings K.K.
http://www-03.ibm.com/software/businesscasestudies
Hamilton County Department of Education
http://www-03.ibm.com/software/businesscasestudies
BMW Group
http://www-03.ibm.com/software/businesscasestudies
Success stories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
Firma: StatSoft
Produkt: STATISTICA Text Miner
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
200
dr Karolina Kuligowska
http://www.statsoft.pl/Programy/STATISTICA-Text-Miner
STATISTICA Text Miner
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
201
dr Karolina Kuligowska
dr Karolina Kuligowska
Wspierane natywnie
duński, holenderski, angielski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki
Obsługiwane języki
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
202
dr Karolina Kuligowska
dr Karolina Kuligowska
szukanie rdzenia wyrazów
pomijanie nieistotnych słów
transformacja i redukcja wymiarów
analiza dokumentów
podsumowania
mapy podobieństw
analiza skupień (metody EM i k-średnich)
predykcyjny text mining
Obsługiwane funkcje
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
203
dr Karolina Kuligowska
dr Karolina Kuligowska
Analiza dużych zbiorów dokumentów tekstowych
grupowanie dokumentów w określone kategorie
wyszukiwanie w tekście nowych informacji
Analiza treści stron WWW, portali internetowych i grup dyskusyjnych
Prognozowanie
Zastosowania
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
204
dr Karolina Kuligowska
Accident reports
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
205
dr Karolina Kuligowska
Credit scoring
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
206
dr Karolina Kuligowska
Biuro Ubezpieczycieli Czeskich http://media.statsoft.pl/_old_dnn/downloads/success_stories/ckp_wykorzystuje_statistica_enterprise_text_miner.pdf
Analiza opisów roszczeń ubezpieczeniowych
przewidywanie ryzyka wystąpienia wysokich roszczeń z tytułu uszczerbku na zdrowiu
dokładniejsze szacowanie łącznej wartości odszkodowania z tytułu OC na wczesnym etapie rozpatrywania danej sprawy
Success stories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
Firma: Provalis Research
Produkt: WordStat
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
208
dr Karolina Kuligowska
http://provalisresearch.com/products/content-analysis-software/
Provalis Research WordStat
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
209
dr Karolina Kuligowska
dr Karolina Kuligowska
Wspierane natywnie
angielski, francuski, hiszpański, niemiecki, włoski, portugalski
Obsługiwane języki
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
210
dr Karolina Kuligowska
dr Karolina Kuligowska
analiza wyszukanego tekstu i wizualizacja
wyszukiwanie słowa kluczowego i słowa kluczowego w kontekście
identyfikacja powiązanych segmentów tekstu
grupowanie i analiza korespondencyjna wyrażeń
klasteryzacja
automatyczna klasyfikacja tekstu
krzyżowanie dwóch zmiennych
Obsługiwane funkcje
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
211
dr Karolina Kuligowska
dr Karolina Kuligowska
analiza zawartości zamkniętych/otwartych zapytań w formularzach, kwestionariuszach
wydobywanie informacji ze sprawozdań i raportów wydarzeń
analiza nowych informacji w literaturze naukowej i sprawozdaniach
wykrywanie nieprawidłowości i oszustw
identyfikacja autorstwa i analiza patentowa
analiza stron WWW
Zastosowania
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
212
dr Karolina Kuligowska
Keyword retrieval
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
213
dr Karolina Kuligowska
Keyword distribution
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
214
dr Karolina Kuligowska
Bubble chart
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
215
dr Karolina Kuligowska
Dendogram
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
216
dr Karolina Kuligowska
2D concept map
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
217
dr Karolina Kuligowska
3D concept map
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
218
dr Karolina Kuligowska
Proximity plot
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
219
dr Karolina Kuligowska
JetBlue Airways http://provalisresearch.com/solutions/case-studies/application-of-text-mining-to-aviation-safety-data/
Cornell University School of Hotel Administration
http://provalisresearch.com/solutions/case-studies/content-analysis-of-hotel-customer-satisfaction/
Center for Business Performance http://provalisresearch.com/solutions/case-studies/mesuring-disclosure-of-intangible-resources-in-corporate-annual-reports/
Success stories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
Firma: Megaputer
Produkt: TextAnalyst
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
221
dr Karolina Kuligowska
http://megaputer.com/site/textanalyst.php
Megaputer TextAnalyst
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
222
dr Karolina Kuligowska
dr Karolina Kuligowska
Wspierane natywnie
angielski
Obsługiwane języki
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
223
dr Karolina Kuligowska
dr Karolina Kuligowska
tworzenie list synonimów
klasteryzacja
kategoryzacja dokumentów
wydobywanie niestandardowych wyrażeń
wizualizacja powiązań między dokumentami a słowami
analiza powiązań stron WWW
Obsługiwane funkcje
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
224
dr Karolina Kuligowska
dr Karolina Kuligowska
identyfikacja słów kluczowych
automatyczne generowanie streszczeń
tematyczna eksploracja tekstu
wykrywanie nieprawidłowości
generowanie interaktywnych raportów
prognozowanie
Zastosowania
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
225
dr Karolina Kuligowska
Keyword extraction - medical records
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
226
dr Karolina Kuligowska
Topic detection - medical records
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
227
dr Karolina Kuligowska
Link chart – crime reports
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
228
dr Karolina Kuligowska
Correlation diagram – crime reports
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
229
dr Karolina Kuligowska
e-Complaints from e-Auction Store http://www.cluteinstitute.com/ojs/index.php/JBER/article/view/2286
Crime reports analysis http://www.megaputer.com/site/success_stories.php
Government agency http://www.megaputer.com/site/success_stories.php
Success stories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
1) Komercyjne 1. Zintegrowane aplikacje analityczne
2. Analiza sentymentu
2) Aplikacje open source
Część 3 Inne narzędzia Text Mining
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
Firma: Clarabridge
Produkt: Clarabridge Analyze
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
232
dr Karolina Kuligowska
http://www.clarabridge.com/wp-content/uploads/2014/11/clarabridge_6-3_datasheet.pdf
Clarabridge Analyze
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
233
dr Karolina Kuligowska
Overall sentiment - hotels
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
234
dr Karolina Kuligowska
Category volume report - hotels
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
235
dr Karolina Kuligowska
Motion chart - hotels
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
236
dr Karolina Kuligowska
Red Roof Inn http://www.clarabridge.com/case_study/red-roof-inn/
B/E Aerospace http://www.clarabridge.com/case_study/be-aerospace/
Success stories
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
1) Komercyjne 1. Zintegrowane aplikacje analityczne
2. Analiza sentymentu
2) Aplikacje open source
Część 3 Inne narzędzia Text Mining
Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”
238
dr Karolina Kuligowska
dr Karolina Kuligowska
GATE
http://gate.ac.uk/
RapidMiner
https://rapidminer.com/products/studio/
National Centre for Text Mining
http://www.nactem.ac.uk/software.php
Aplikacje open source