analiza danych nieustrukturyzowanych: text mining · analiza danych nieustrukturyzowanych: text...

Studia Podyplomowe „Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS”

Analiza danych nieustrukturyzowanych: Text Mining

dr Karolina Kuligowska

Wydział Nauk Ekonomicznych

Uniwersytet Warszawski

1) Komercyjne 1. Zintegrowane aplikacje analityczne

2. Analiza sentymentu

2) Aplikacje open source

Część 3 Inne narzędzia Text Mining

karolina@kuligowska.com

SAS Text Miner

IBM SPSS Modeler Text Analytics

STATISTICA Text Miner

Provalis Research WordStat

Megaputer TextAnalyst

Zintegrowane aplikacje analityczne

Firma: SAS

Produkt: SAS Text Miner

http://support.sas.com/documentation/onlinedoc/txtminer/

SAS Text Miner

SAS Text Miner prowadzi analizę nieustrukturyzowanych dokumentów w językach europejskich:

angielski, holenderski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki, polski

japoński, koreański, uproszczony chiński, tradycyjny chiński, arabski

Obsługiwane języki

szukanie rdzenia wyrazów

automatyczne rozpoznawanie terminów wielowyrazowych

standaryzacja wyrażeń takich jak data, godzina, waluta, procenty

wydobywanie niestandardowych wyrażeń (nazwy organizacji, produkty, tytuły itp.)

etykietowanie części mowy

rozpoznawanie synonimów

Obsługiwane funkcje

filtrowanie wiadomości e-mail

grupowanie dokumentów według tematu w określone kategorie

wyszukiwanie w tekście nowych informacji

analiza klastrów w dokumentach naukowych

analiza klastrów danych ankietowych

analiza klastrów w skargach, komentarzach i zażaleniach klientów

Zastosowania

SAS Text Analytics

SAS Content Categorization

SAS Social Media Analytics

SAS Social Media Analytics – social forecast

SAS Social Media Analytics – sentiment by time

SAS Social Media Analytics – media workbench

SAS Social Media Analytics – fraud framework

Maspex Wadowice Group https://www.sas.com/en_us/customers/maspex-wadowice-group.html

Parks Division of Alberta Tourism, Parks and Recreation

https://www.sas.com/en_us/customers/alberta-parks.html

Hong Kong government's Efficiency Unit https://www.sas.com/en_us/customers/hong-kong-efficiency-unit-visual-analytics.html

Success stories

Sub-Zero and Wolf Appliance http://www.sas.com/en_us/news/press-releases/2014/march/sub-zero-warranty-analytics-award.html

Hewlett-Packard http://www.sas.com/en_us/customers/hp.html

Success stories

Firma: IBM SPSS

Produkt: IBM SPSS Modeler Text Analytics

https://www.ibm.com/support/knowledgecenter/SS3RA7_15.0.0/com.ibm.spss.ta.help/tmfc_intro.htm

IBM SPSS Modeler Text Analytics

Wspierane natywnie

angielski, francuski, hiszpański, holenderski, niemiecki, włoski, portugalski, japoński

Wspierane przez moduł tłumaczeniowy Language Translation Interface

arabski, chiński, hindi, perski, rumuński, rosyjski, somalijski, szwedzki

Analiza wzorców w tekstach i powiązań między tekstami

Analiza pytań otwartych w ankietach

Klasteryzacja, kategoryzacja

Modelowanie predykcyjne

Zastosowania

What do you like most about this portable music player? /categories

What do you like most about this portable music player? /concept map

What do you like most about this portable music player? /positive

What do you like most about this portable music player? /negative

Customer service / text link analysis

What factors influence your decision to choose a car rental company for business?

Sentiment Analysis

PGM Holdings K.K.

http://www-03.ibm.com/software/businesscasestudies

Hamilton County Department of Education

BMW Group

Success stories

Firma: StatSoft

Produkt: STATISTICA Text Miner

http://www.statsoft.pl/Programy/STATISTICA-Text-Miner

STATISTICA Text Miner

Wspierane natywnie

duński, holenderski, angielski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki

szukanie rdzenia wyrazów

pomijanie nieistotnych słów

transformacja i redukcja wymiarów

analiza dokumentów

podsumowania

mapy podobieństw

analiza skupień (metody EM i k-średnich)

predykcyjny text mining

Analiza dużych zbiorów dokumentów tekstowych

grupowanie dokumentów w określone kategorie

wyszukiwanie w tekście nowych informacji

Analiza treści stron WWW, portali internetowych i grup dyskusyjnych

Prognozowanie

Zastosowania

Accident reports

Credit scoring

Biuro Ubezpieczycieli Czeskich http://media.statsoft.pl/_old_dnn/downloads/success_stories/ckp_wykorzystuje_statistica_enterprise_text_miner.pdf

Analiza opisów roszczeń ubezpieczeniowych

przewidywanie ryzyka wystąpienia wysokich roszczeń z tytułu uszczerbku na zdrowiu

dokładniejsze szacowanie łącznej wartości odszkodowania z tytułu OC na wczesnym etapie rozpatrywania danej sprawy

Success stories

Firma: Provalis Research

Produkt: WordStat

http://provalisresearch.com/products/content-analysis-software/

Provalis Research WordStat

Wspierane natywnie

angielski, francuski, hiszpański, niemiecki, włoski, portugalski

analiza wyszukanego tekstu i wizualizacja

wyszukiwanie słowa kluczowego i słowa kluczowego w kontekście

identyfikacja powiązanych segmentów tekstu

grupowanie i analiza korespondencyjna wyrażeń

klasteryzacja

automatyczna klasyfikacja tekstu

krzyżowanie dwóch zmiennych

analiza zawartości zamkniętych/otwartych zapytań w formularzach, kwestionariuszach

wydobywanie informacji ze sprawozdań i raportów wydarzeń

analiza nowych informacji w literaturze naukowej i sprawozdaniach

wykrywanie nieprawidłowości i oszustw

identyfikacja autorstwa i analiza patentowa

analiza stron WWW

Zastosowania

Keyword retrieval

Keyword distribution

Bubble chart

Dendogram

2D concept map

3D concept map

Proximity plot

JetBlue Airways http://provalisresearch.com/solutions/case-studies/application-of-text-mining-to-aviation-safety-data/

Cornell University School of Hotel Administration

http://provalisresearch.com/solutions/case-studies/content-analysis-of-hotel-customer-satisfaction/

Center for Business Performance http://provalisresearch.com/solutions/case-studies/mesuring-disclosure-of-intangible-resources-in-corporate-annual-reports/

Success stories

Firma: Megaputer

Produkt: TextAnalyst

http://megaputer.com/site/textanalyst.php

Megaputer TextAnalyst

Wspierane natywnie

angielski

tworzenie list synonimów

klasteryzacja

kategoryzacja dokumentów

wydobywanie niestandardowych wyrażeń

wizualizacja powiązań między dokumentami a słowami

analiza powiązań stron WWW

identyfikacja słów kluczowych

automatyczne generowanie streszczeń

tematyczna eksploracja tekstu

wykrywanie nieprawidłowości

generowanie interaktywnych raportów

prognozowanie

Zastosowania

Keyword extraction - medical records

Topic detection - medical records

Link chart – crime reports

Correlation diagram – crime reports

e-Complaints from e-Auction Store http://www.cluteinstitute.com/ojs/index.php/JBER/article/view/2286

Crime reports analysis http://www.megaputer.com/site/success_stories.php

Government agency http://www.megaputer.com/site/success_stories.php

Success stories

Firma: Clarabridge

Produkt: Clarabridge Analyze

http://www.clarabridge.com/wp-content/uploads/2014/11/clarabridge_6-3_datasheet.pdf

Clarabridge Analyze

Overall sentiment - hotels

Category volume report - hotels

Motion chart - hotels

Red Roof Inn http://www.clarabridge.com/case_study/red-roof-inn/

B/E Aerospace http://www.clarabridge.com/case_study/be-aerospace/

Success stories

http://gate.ac.uk/

RapidMiner

https://rapidminer.com/products/studio/

National Centre for Text Mining

http://www.nactem.ac.uk/software.php

Aplikacje open source

analiza danych nieustrukturyzowanych: text mining · analiza danych nieustrukturyzowanych: text...

Documents

wczesna analiza danych

analiza danych środowiskowych iii rok oŚ

przegląd i analiza technik odzyskiwania danych

wykorzystanie i monitorowanie scoringu · 2013. 12. 20. ·...

analiza danych eksperymentalnych

archiwizacja i analiza danych ze · 2016-12-16 ·...

data mining analiza danych statisticadla...

wprowadzenie do kdd i data mining -...

analiza danych nieustrukturyzowanych: text mining ·...

analiza danych jakościowych

analiza fundamentalna - wpływ danych fundamentalnych

archiwizacja i analiza danych ze - gddkia.gov.pl€¦ ·...

zastosowanie metod eksploracji danych data mining w...

archiwizacja i analiza danych ze stacji · 2019. 8. 12. ·...

excel. analiza danych biznesowych

data mining analiza danych statisticadla jakoŚci · ten...

zastosowanie metod eksploracji danych data mining w...

implementacja metod eksploracji danych - oracle data...

archiwizacja i analiza danych ze · 2016. 12. 16. ·...

zastosowanie metod eksploracji danych data mining w...