Download - Mire költik az adóforintodat?
![Page 1: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/1.jpg)
kozbeszerzes.ceu.hu
Koren MiklosCEU MicroData
blog.microdata.iotwitter.com/korenmiklos
A projektet az Europai Kutatasi Tanacs(,,Networks” Starting Grant) tamogatta.
![Page 2: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/2.jpg)
Problema
![Page 3: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/3.jpg)
Hogyan jutunk el innen...
1
![Page 4: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/4.jpg)
ide...
2
![Page 5: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/5.jpg)
es ide?
3
![Page 6: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/6.jpg)
Open data
Az open data elvek jegyeben a kozbeszerzesi adatbazis legyen:
1. Letoltheto
2. Online bongeszheto
3. Keresheto
4. Geppel olvashato
4
![Page 7: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/7.jpg)
Peldaul
1. Letoltheto az eredeti dokumentum es a feldolgozott xml is.
2. Amikor egy tender nezek, a nyertes ceg nevere kattintvamegtalalom a ceg tobbi tenderet.
3. Megkeresek egy ceget a neve alapjan.
4. Letoltom egy ceg osszes tenderet Excelben.
5. Megjelolok egy rekordot, ha hibasan azonosıtja a nyertest.
5
![Page 8: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/8.jpg)
Kihıvasok
1. Gyakran valtozo sema
2. Egyedi azonosıtok hianya
3. Szamok, szoveg gyakori elırasa
4. Duplikatumok
6
![Page 9: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/9.jpg)
Feldolgozas
![Page 10: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/10.jpg)
Feladatok
1. Semak azonosıtasa
2. Adatbeolvasas
3. Validalas
4. Entitasfeloldas
5. Minosegbiztosıtas
7
![Page 11: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/11.jpg)
Entitasfeloldas
I ,,Gyor Megyei Jogu Varos Polgarmesteri Hivatala”” =466004-es PIR szamon nyilvantartott koltsegvetesi intezmeny
I ,,Ablakcentrum Kft”” = 10304563 adoszamu gazdasagitarsasag
I elırasokI hibas cegformaI hibas cımI permutacio: ,,BELVAROS -LIPOTVAROS BUDAPEST
FOVAROS V. KER. ONKORMANYZATA”
8
![Page 12: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/12.jpg)
Entitasfeloldas
I ,,Gyor Megyei Jogu Varos Polgarmesteri Hivatala”” =466004-es PIR szamon nyilvantartott koltsegvetesi intezmeny
I ,,Ablakcentrum Kft”” = 10304563 adoszamu gazdasagitarsasag
I elırasokI hibas cegformaI hibas cımI permutacio: ,,BELVAROS -LIPOTVAROS BUDAPEST
FOVAROS V. KER. ONKORMANYZATA”
8
![Page 13: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/13.jpg)
Minosegbiztosıtas (Precognox-reklam)
I 100 veletlenul kivalasztott tendert ,,kezzel” ellenoriztunk.I ceg- es intezmenytalalatokI osszegekI datumok
I Adatmezok pontossaga 89-95% kozott.
9
![Page 14: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/14.jpg)
Webstack
![Page 15: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/15.jpg)
Az adatbazis logikai semaja
10
![Page 16: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/16.jpg)
Donteseink
I RDB es dinamikus website helyett statikus xml fajlok.I teljesıtmenyI konnyebb karbantartaniI ketfele dokumentum: entitas es tender
I Nincs szerveroldali logika: xml, xslt, csv es js fajlok AmazonS3-on
I sebessegI robosztussagI karbantartasI de nincs slicing/dicing, aggregalas, vizualizacio
I Minimalista UI.
I Egyetlen szuk keresztmetszet: keresomotor
11
![Page 17: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/17.jpg)
Minimalista interfesz
12
![Page 18: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/18.jpg)
Egyszeru API
/entity/t/10950676.xml
A Kozgep Zrt. alapadatai (az entitas xml-attributumaikent) es azaltala kiırt, megpalyazott es megnyert tenderek.
/tender/2002/28/5592.xml
Egy hıdepıto tender alapadatai (az entitas xml-attributumaikent)es a kiıro, megpalyazo es nyertes entitasok.
13
![Page 19: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/19.jpg)
Egyszeru API
14
![Page 20: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/20.jpg)
Kereses
![Page 21: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/21.jpg)
Kereses
I Nem akartunk sajat keresot ırni: hosted ElasticSearchI found.noI qbox.io
I Ertelmes default indexalas es kereses: tf-idfI de szoveges relevancia 6= gazdasagi relevancia
I Jol terhelheto (,,index.hu cımlap”-teszt)
15
![Page 22: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/22.jpg)
FAIL: a relevans talalat csak a 12.
16
![Page 23: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/23.jpg)
Relevancia
I Irrelevans talalatok szuresere ket tuzoltas-jellegu megoldas:
1. feloldatlan nevekben ne keressen2. a kapcsolodo tender szama szerint rendezunk
I A relevancia-szurest mas helyeken is alkalmazni fogjuk (pl.entitasfeloldas).
17
![Page 24: Mire költik az adóforintodat?](https://reader033.vdocuments.pub/reader033/viewer/2022052600/5585afc0d8b42ae3228b5202/html5/thumbnails/24.jpg)
Relevans talalatok
18