szemantikus keresés – a szintaktikai keresőktől a szemantikus...

Szemantikus Keresés –A szintaktikai keresőktől a szemantikus keresőkig

Alkalmazott Informatikai Intézeti Tanszék MŰSZAKI INFORMATIKA Dr.Dudás László 0.

Forrás: A. Frank: From Syntactic Search to Semantic Search

http://www.powershow.com/view1/5ad5d-ZDc1Z/From_Syntactic_Search_to_Semantic_Search_powerpoint_ppt_presentation

A szintaktikai keresés és a szemantikai keresés összevetése

Szemantikus keresőgépek





Használom a Google-t mielőtt buta kérdéseket teszek fel.





A Google- Egy szöveginput ablakot nyújt, melybe szabad formájúszöveges lekérdezést adhatunk be

- Alapvetően kulcsszókeresésre alapozott dokumentum-előhívást végez

- A keresőalgoritmus szöveg/mintaillesztésen, statisztikus gyakoriságokon és a Page-rank-on, az adott weblapra mutatóhivatkozások számán alapszik

- Némi enyhe szemantika felfedezhető: amikor ismert objektumokra, vagy publikus adatokra keresünk, a Googleismeri ezeket az entitástípusokat és tényszerű választ ad.





Aktuális válaszok a tényszerű kérdésekre.





Publikus adatok keresése





Publikus adatok összevetése





Az aktuális állapot

- A keresők mai generációja eléggé korlátozott a felhasználószándékainak és a webtartalomnak a megértésében

- A szemantikus keresés nagyobb figyelmet kapott a múlt évben, elsősorban a Szemantikus Web egésze miatt

- Maga a „Szemantikus Keresés” fogalma eléggé népszerű ahhoz, hogy túlhasználtnak tartsuk

- Azonban általában ez olyan módszereket takar, amelyek aszintaktikus szint kulcsszóillesztését valamennyivel meghaladják





A szintaktikai és a szemantikai keresés

- Szintaktikus keresés – Tudja ellenőrizni a következőket:- a források szöveges tartalmának indexe- URI-k (URL-ek, URN-ek) a rendszerben- literálok az RDF metaadatban- vagy az előzőek kombinációja, lehetőleg a következőketfelhasználva: - Exakt, prefix vagy résztring egyeztetés és szótövezés, vagy minimális szerkesztési távolság.

- Szemantikus keresés – a szintaktikus keresésen felül ellenőrzi:

- a mondatok jelentésének indexelését- szemantikus tudás struktúráját és elemzését- az RDF metaadat gráfszerkezetét,- vagy az előzőek kombinációját, lehetőleg a következőket

felhasználva: query expanzió, osztályozás/kategorizálás, tagging, gráfábrázolás, mikroformátumok, RDF, OWK következtetés





Meg tudja ezt a szemantikus keresés válaszolni?

-

Hello, Bob! Apa vagyok ismét. Van egy másik kérdésem az új számítógépemmel kapcsolatban. Tudom én rögzíteni a filmet a videomagnómon, majd átjátszani CD-re, utána emailhez csatolva átküldeni a bátyám mobiljára hogy csinálhasson egy másolatot róla a szomszéd gépére?





Szemantika és NLP

- A szemantika a nyelvészet egy alterülete amely a jelentéstanulmányozására szolgál, ahogy szavakkal, kifejezésekkel,mondatokkal és még nagyobb szövegegységekkel kifejezzük

- A természetes nyelv feldolgozás Natural Language Processing, NLP a mesterséges intelligencia és a számítógépes nyelvészet egy alterülete amely az emberinyelv számítógéppel történő automatikus generálásának és megértésének a problémáját tanulmányozza

- A Szemantikus NLP a fentieket integrálja, hogy a jelentést és megértést nyújtsa a számítógépes alkalmazás környezetén belül.





A Szemantikus keresés általánosságban

- Kollektív módszerek, melyek az egyes szavak és frázisokmögötti információt nézik

- A szemantikus keresés módszerei eltérőek és a következőterületek egy tartományát fedik le:- Információelőhívás, Természetes nyelv feldolgozás, Szemantikus elemzés, a Szemantikus WEB, Adatbázisok,Információkinyerés, Információ megjelenítés, stb.

- A tartalom megértése a szemantikai szinten szintén lehetővéteszi hogy összegyűjtsünk, összehasonlítsunk és megokoljunka tartalommal, mint strukturált adattal.

- Megengedi az embereknek, hogy tetszőlegesen összetett kérdéseket begépeljenek, majd értelmezi azokat és végrehajtja.





A szemantikus keresőgépek típusai

- Szemantikus WEB keresők- a Szemantikus WEB adatain keresnek (RDF, OWL, stb.)

- Szemantikailag továbbfejlesztett keresőmotorok- többnyire felnagyítják és finomítják a kijelzett eredményeket

- NLP-alapú keresőgépek- főként a keresés indexelési és lekérdező oldalán dolgoznak

- Szemantikus NLP alapú keresőgépek- szemantikai tudásszerkezeteket és elemzést alkalmaznak

- Számítási-NLP alapú keresőgépek- egy következtetőgépet alkalmaznak amely következtetésre és számításokra is képes.





A szemantikus keresőgépek típusai

- Szemantikus WEB keresés (nem elemezzük)- a Szemantikus WEB adatain keresnek (RDF, OWL, stb.)

- Szemantikailag továbbfejlesztett keresés (alig tárgyaljuk itt)- Google Orion, Yahoo!, SearchMonkey, MS Kumo (?), …

- NLP-alapú keresés- Meta web freebase, MS Powerset, …

- Szemantikus NLP alapú keresés- hakia, Cognition, (Readware?),…

- Számításos NLP alapú keresés- True Knowledge, (Wolfram Alpha?),…

-





Az itt használt minte lekérdezések

- A lekérdezés magába foglalja a fogalmak kifejtését- Mesterséges intelligencia

- A lekérdezés magába foglal többértelmű szavakat- Jaguar, Cycle

- A lekérdezés magába foglal adatösszesítést- Mit csinált Albert Einstein?

- A lekérdezés magába foglal következtetést - Mikor született Kalifornia kormányzója?

- A lekérdezés magába foglal számítást - Mennyi a Miskolc - London távolság?

-





Az itt használt minta lekérdezések eredményei

Fogalom-

kifejtés

Többér-

telműség

Adat-

összes.

Követ-

keztetés

Számítás





Szemantikailag továbbfejlesztett keresés – Google Orion

- Technológia, amely jobban megérti a keresésre vonatkozó azasszociációkat és a fogalmakat

- Kapcsolódást talál a lekérdezések és a vonatkozó fogalmakközött és azokat keresési finomításként prezentálja:- A lapokat valós időben szkenneli be a Google miután a lekérdezést beadtuk.

- A fogalmilag és context alapján összefüggő oldalakat beazonosítja és növelt finomítással adja.

- Hosszabb szövegrészleteket is ad (a kulcsszót közvetlenültartalmazó részlet) amikor a felhasználó három, vagytöbbszavas lekérdezéseket ad be.

-





Orion keresés általi finomítások





Yahoo! Search Monkey

- A Search Monkey platform alapvetően a Semantic Webmegközelítésen alapszik

- A keresési eredmények megjelenítési plugin-ok segítségévelváltoztathatók

- A tartalomszolgáltatók vagy külső fejlesztők saját adatkinyerőszolgáltatásokat fejleszthetnek, mellyel kinyerik az adatokat aweboldalról

- A kinyert sajátosságok definiálása után egy fejlettebbképernyő nyújtható





Yahoo! Search Monkey





NLP alapú keresés – MetaWeb Freebase

- Nyitott, megosztott adatbázis a világ tudásáról amely awebről gyűjti az adatokat, hogy egy masszív, együttműködően szerkesztett adatbázisát hozza létre akeresztbelinkelt adatokból

- Bárki szabadon lekérdezhet, közreműködhet, építhet ráalkalmazást vagy beintegrálhatja a weboldalába

- A hangsúly a komplex adatszerkezetek szervezésén és menedzselésén van Szemantikus Web technológiák felhasználásával

- Lehetővé teszi rendezett tudás kinyerését az olyan káoszból,mint az aktuális web.





NLP alapú keresés – MetaWeb Freebase





A Freebase raktár

- Témák milliói kategóriák százaiban

- A Freebase strukturált információt tartalmaz sok népszerűtémában, mint a mozi, zene, emberek és helyszínek, az összes összehangolt és szabadon elérhető

- A alap a weboldal egy új fajtája amelyet a Freebasehasználatával bárki tud építeni; Egy olyan hely, ahol egy egyéni témáról szervezhetünk és oszthatunk meg információt

- A Freebase két kereső interfésszel bír:- Free form queries; egy szövegkereső doboz- MQL (MetaWeb Query language) lekérdezések.





A Freebase szerkezete

- A Freebase átfedi a tartományokat, de igényli, hogy egy résztéma csak egyszer létezzen, még ha normálisan több bázisban is megtalálható

- Pl. Arnold Schwarzeneggernek meg kellene jelennie a mozi bázisban, mint színész, a politikai bázisban, mint kormányzóés a testépítő bázisban mint Mr. Universe

- A Freebase rendszerben csak egy téma van ArnoldSchwarzenegger részére, de mind a három szegmenssel az őszemélyéről, egyesítve.





A Freebase és a Wikipédia összehasonlítása

- A különbség az információtárolás módjában van

- A Wikipédia az információt cikkekben rendezi el

- A Freebase a tényeket és a statisztikákat listázza

- A listaformája nem csak azon emberek számára jó, akiktényekkel akarnak tündökölni, de azoknak is, akik arraakarják használni az adatokat, hogy másik weboldalt / szoftvert fejlesszenek

- A Freebase által lefedett témák magukba foglalnak olyantémákat is, melyek túl jelentéktelenek a Wikipédia számára.





A lekérdezés magába foglalja a fogalmak kinyerését





A lekérdezés magába foglalja a többértelmű fogalmakat





A lekérdezés magába foglalja az adatok összesítését





A lekérdezés magába foglalja az adatok összesítését (2)

Alkalmazott Informatikai Intézeti Tanszék MŰSZAKI INFORMATIKA Dr.Dudás László 28




A lekérdezés magába foglalja a következtetést





A lekérdezés magába foglalja a számítást





Microsoft Powerset

- Egy NLP alapú keresőgép

- A Powerset elolvas és megért minden mondatot a weboldalonés lehetővé teszi a kérdezést normál angol nyelven

- A Powerset keresési és felfedezési tapasztalata jelenleg aWikipédia és a Freebase adatain alapszik

- Nagy vonalakban, a Powerset megpróbálja egyeztetni alekérdezésnek a jelentését a Wikipédia mondatainakjelentésével, ill. a Freebase tényeinek jelentésével





Microsoft Powerset

- Éppen azt csinálja, mint az előadó Tudor nevű programja:

L. Dudás: A Semantic-distance Based Sentence Searching System and a Few

Possible Applications

Proceedings of MicroCAD'2003 International Computer Science Conference, 6-7

March 2003, Section N, Miskolc pp.23-28

Wikipedia: Powerset is a Microsoft owned company based in San Francisco,

California, that, in 2006, was developing a natural language search engine for the

Internet

On July 1, 2008, Microsoft signed an agreement to acquire Powerset for an

estimated $100 million

http://en.wikipedia.org/wiki/San_Francisco,_California

http://en.wikipedia.org/wiki/Natural_language_search_engine

http://en.wikipedia.org/wiki/Internet

http://en.wikipedia.org/wiki/Microsoft





Microsoft Powerset





Microsoft Powerset – Szolgáltatások

- A keresősorba beadhatunk kulcsszavakat, kifejezéseket,vagy egyszerűen kérdést.

- A találati lapon a Powerset pontosabb válaszokat ad, gyakran közvetlenül megválaszolva a kérdést, és összesítve az információt több cikkből.

- A Powerset technológiája a Wikipédia cikkeinek jobbelérését és bennük jobb navigálást eredményez.





Microsoft Powerset – Tények: „Factz”

- A Factz tömör reprezentációja a mondatokból kinyert információnak

- Három részből állnak: alany, reláció és tárgy (pl.: Oswald lelőtte Kennedyt.)

- A Fatz nem ad mindig igazat, inkább előfelevéseket, melyek aWikipédia szövegében vannak.

- A kereési eredmény lapon általános témakeresésekhez is találunk eredményt, ezek a Wikipédia lapokról lettek kigyűjtve.

- Egy egyedi témalapon a Factz az adott lapról kigyűjtött adatokat jeleníti meg.





Microsoft Powerset – Részlet az Eredmények lapról





Microsoft Powerset

- A lekérdezés magába foglalja a fogalmak kinyerését is





Microsoft Powerset

- A lekérdezés magába foglalja a kétértelmű szavak kezelését





Microsoft Powerset

- A lekérdezés magába foglalja az adatok összesítését





Microsoft Powerset

- A lekérdezés magába foglalja a következtetést





Microsoft Powerset

- A lekérdezés magába foglalja a számítást





Szemantikus + NLP alapú keresőgépek

- Ezek közé tartozik a Powersetre emlékeztető hakia, továbbáa Cognition.

- Inkább jelentés, semmint kulcsszó alapú keresést folytatnak,Ontologia, Fuzzy logika, statisztikus nyelvészet alkalmazásával.

szemantikus keresés – a szintaktikai keresőktől a szemantikus...

Documents