rark Kiitiiplu/I1cci/igi 9,3 (1995),302-314

Bilgi Eri§im Sistemleri

Infonnation Retrieval Systems

Y~rTonta*

Oz

BIl r;aZ,§mada bilgi eri§im sis/emleriyle ilgili lemei kavramlar incelcnlllckteciir. Bilgi eri§im sorllnrma k,saca hir giiz atlid/ktan sO/Ira bir hilgi ai§im sistell/ini olll§ttmlll derme veri laham, belgelerin dizinlenmesi, sorg/l ciim/esi /uwrlama, klll/amcl arahirimi gihi temel bilqel1lL'r k,saca ar;lklanmaktadlf. Belli /m§ll eri!jim k/lrallan V£' modeller (kesil1 r;akl§ma ve olasdlk kllramllla dayanan eri§im kural/an, Boole eri~'im kural/an, vektiir llzayl modeli) ozetl£'flerek "eri§im isabeti" I'C' "kesin isabel" gibi C'fi~'il1/ etkinli.~j iilr;iilai incelenmekteciir. Bilgi eri§im sistemlerinde eri§illl etkinli.~ini artJ/"/lIak ;(ill kill/am/an i/gililik gerihildirimi (relevance feedback) ve kiimeleme (clilstering ) yiintemlerine de de,~il/ilmckledir.

Abstract

This paper exam inc's the basic cOl/cepts in informatioll rC'lriel'al systems. Ajief tIll' introduction oft!le information retrieval proh/em, it briefly f('l'iews the maior components of an information retrieval system such as the document datafJt1se, indexing, ql/ay j(lfIJlulation, and the user inteiface. II summarizes tlte retriel'al rules and models (exact match, Booh'an, probabilistic, vector space) and describes a ji'W measllres of retrieval ejJ£'ctil'ene.l's such as precision Ilnd recall. Filially, it discusses 11I0re advanced retrieval methods (i.e .. relevance feedback and clustering) which are IIsed to improl'(' tIll' e.ffectiveness of information retriel'(li systems.

1. Bilgi Eri~im Sistemlerine Genel Bakl~

Bir hiJgi eri~im sisteminin temel i~levi dermedeki ilgili (relevant) belgelerin tiimiine eri~mek. ilgili olmayanlan da aylklamaktrr/reddetmektir. ideal bir bilgi eri§im sistemi ilgili beJgelerin tiilnilne ve salt ilgili belgelere eri§im sa~lamahdlf. Ama, ashna bakIllrsa, ideal bir bilgi eri~im sistemi yoktur. Bilgi eli§im sistemleri ilgili he\gelerin tiimiine ve salt ilgili belgelere genellikle eri§im saglayamamaktadlf. Kullamctlar birka~ ilgili belgcye IlIZh hir §ekilde eri§im sa~layan sistemlerlc de tatmin

olabilmektedirler.

• Do~. Dr. Ya~ar TonIa H.O. K(uiiphall~cilik \1oliimii Ogrclim Ekmallll.hr.

Bilgi Eri~illl Sistemleri 303

Maron (1984) beige eri§im sorununun daha aynntlh bir tanUn11l1 yapmakta ve geleneksel bir beIge eri~im sisteminin manttksal organizasyonunu ana <;izgileriyle vennektedir (~izim 1).

<;izim l. Geleneksel Bir Beige Eri§im Sisteminin Manhksal Organizasyonu (Kaynak: Maron, 1984: 155)

W Gelen belgeler KullamCl

1 ) . Kavramsal dizin / " ~

Dizinleme / / Sorgu ctimlesi

sozliik 1/ haztrlama '\. I'\.

~ ~ ~ Dizin kaYltIan " Eri~im kurah / Sorgu climlcsi

/ '\.

<;izim 1 'den de gorUlebilecegi gibL dermeye eklenen her belgenin teme! karakle­ristikleri (ornegin, yazar adl, kilap adl, konusu) dizinleme i§lemi snasmda belirlenmektedir. Dizinciler her belgeye dizin terimIcri ya da konu ba§hklan vennek i<;in kavramsal dizinlerden (thesauri) veya s(izWklcrdcn (denelimli s(iz dagarclk­lanndan) yararlanabilirler. Sonu<; olarak, her belgc i~in daha sonra eri§im saglamak amaclyla bir dizin tutanagl (kaydl) olu§turulur.

Kullal11cllar da uygun arama terimlerini bu dizinleme kaynaklanna bakarak belirleyebilirler. ilk akla gelcn lerimlerin g~erliligini kontrol eUiklen ve yeni terimleri belirledikten sonra ku\lamcI, sorgu climlesi olarak sisteme sunmak tizere eri~im ac;:lsmdan hangi terimlerin en uygun olduguna karar verir. Ancak <;ogu kullamctlarm bilgi gereksinimlerini daha iyi apklamak i<;in yararlanabilecekleri bu kaynaklardan haberleri yoktur. Bu da, kullamclIun se<;ligi lerimlerle sistemdeki terimlerin uyu§mamasl dolaytslyla aramalarm b..1§.,1fISIZhkla sonu<;lanmaslI1a yol a<;abilmektedir.

Bir bilgi eri§im sisteminin veri taballlndaki bazl belgelere eri~im saglayabilmesi i<;in iki ko§ul yerine getirilmelidir. BirincisL dizinciJer tarafllldan belgelere uygun dizin terimleri verilmelidir. ikincisi, kullalllctiar bclgelere vcrilen bu dizin terimlerini dogru olarak tahmin edip sorgu ctimlelerini ona gore girmelidirler. Maron (1984: 155) arama stirecini §oyle a<;tklamaktadlr:

... ger~ek arama ve eri~im, dizin kaYltlanyla resmi (fOimal) sorgu ciimlesinin ~akl~maslyla ger~ekle~ir. <;akl~llla ·Eri.~im Kurah' (Rt:trit:val Rule) olarak adlandmlan kurah izler. Btl kural ~oyle a<,:lklanabilir: Herhangi bir resmi sorgu (ciimlesil i~in bu arama sorgusunda belirlenen kayttlafln alt setinde yer alan dizin kaYltlaruun tiimiine ve salt bu dizin kaYltlanna eri~im sagla.

Boylece, bir bilgi eri~im sisteminin §U bilc§clllerden olu§tugu ortaya r;:lkmaktadlr: (1) bir beige dermesi (ya da bu belgeleri temsil eden kaYltlar [surrogates)): (2)

304 Ya~ar Tonta

kullamcIlann sistemle etkile~ilTlini saglayan bir kullamCl arabirimi (user interC1ce); (3) kullamcIIann sorgu ciimlple~inde yer alan terimlerle dermedeki belgclerc verilen terimleri kar~Ila~tlrarak dermedeki iigili bclgelcri belirlernek iCin bir eri§irn kuralt. Ku§kusuz, bilgi gereksinimlerini kar~Ilamak iCin sistcmi kullanan bir kullamci grubunun gerekli oldugu da unutulmamahdlr.

<;:evrimi~i (online) bilgi cri§im sistemlerinin hclli ha§h bilc§cnlcri daha ayr1l1tIh olarak a§aglda incclcnmck!cdir.

2. Derme Veri Tabam

Her bilgi eri§im sistemi IC1l1 bir denne ya da bu dennedeki bclgelcri temsil eden kaYltiardan olu~an bir veri taballlnm (database) varhgl bir onko§uldur. "Bclgc" terimi burada en gcni§ anlamlyla kullallllmaktadir. Bilgi \a§lyan hcr~ey bclgcdir (kitaplar, kasetler, li~ boyutlu materyaller, elektronik dosyalar, vd.). Veri tabanmda belgeleri temsil eden kayItlar depolaIllTIl§ olabiJecegi gibi bu belgelerin tam metinleri de depolalllnI§ olabilir.

3. Belgelerin Dizinlenmesi

Belgeleri ya da dermedeki bclge\cri tell1sil eden kaYltlan iceren bir veri tabam yaratmak iCin her belgenin ozelliklcri belirlenip kaydedilmelidir. Dizinleme olarak bilinen bu i§lem ya entelleklliel olarak ya da otomatik olarak gercekle§tirilebilir. Entelleklliel dizinlclllenin yaplkhgl hir ortamda proresyonel dizinciler belgelerin talllmlaYlcl (descriptive) ve konusal karaktcristiklerini saptarlnr ve her beige i~in bir kayl! olu§lururlar.

<;:izim 1 'de de goriildligii gihi. dizincilcr kavramsal dizin, sozllik ve dcnetimli soz dagarclgl (controlled vocabulary) listesi gibi slandart kaynaklardan yararlanahilirler. Anglo-Amerik:lI1 Kataloglama Kurallan 2 (AAKK2) ve Kongre KUlliphanesi Konu Ba§hklan Listesi bc1gelcrin tanllnlanmasmda ve konusal analizindc kullamlan kaynaklara ornek olarak vcrilehilir. Bu kaynaklardan yararlanan dizinciler belgelerin ozelliklerini kaydedcr ve her belgeye konu ba~hklan verirler. Kaydedilen bu tal11mlaYlcl ve konusal bilgiler belgeyi ternsil eden kaydl olu§turur. Bu kaYlt daha sonra eri§im noktalan saglamak ve dobYlslyla ilgili bc\gcye eri§mek il;in kulla11lhr.

Eri~im saglamak amaClyla dizin kaYltlan yaratmak iCin otomatik dizinleme yontemi de kullamhnaktadlr. BII yontemde hir makina belgelerin karakteristiklerini tamyarak kaydedecek ~ckildc programlamT. Otomatik dizinlcmede konusal analiz ic;:in belgelerin tam metinlerindcki ya da ozetlerindeki anahim' sozcUk (keyword) ve terimlerden yararlamhr. Eri~im ic;:in yararSIZ olan Cbir", "bu", "~u", "ve", "veya" gihi) sozctiklcr dikkatc almmaz. Eri~imdc kullalllian terimler soziliglintill hacmini azaltmak iCin gcnellikle terimlcrin hiklcri csas kahul cdilir. Bu i~lem dcgi§ik hicimdeki anahtar sozcUklere eri§im saglamak hakllTIlndan yararhdlr.

Dizin kaYltlan yaratlldlktan soma hclge veri taham kullalllcilann sorgulam:tsma hazlr hale gelir. Dizin kaylllanl11 ic;:ercn bir veri tabanl yaratarak bir hilgi cri§im sisterni tasarlamamn ana nedeni ku§kusllz potansiycl kullanlcllann bilgi gereksinimlerini kar~llamaktlr. ~ilT1di de kullallictlann hilgi eri§im sislemlerine nasil yakla§tIklanna ve sistemde nasIl arama yapttklanna bir giiz atahm.

Bilgi Eri~im Sistemleli 305

4. Sorgu Ciimlesi Hazlrlama Siireci

Bu slire~, sorglilama i~lcmindc kullal1llacak olan sorgll ciimlcsinin olu~turulmasml i~ennektedir. Salllldlgllllll aksinc bu, zor hir i§tir. iyi talllmlanml~ arama ctimleleri kullalllcilann bilgili olmalanlll gerektirmektedir. Oysa kuJlalllCilar amma yaptlkl;m konularda tam olarak He aradlklannl tanlln!ayacak kadar bilgili o]mayahilirler. Egcr tam olar41k ne aradlklar1l11 talllmiayahiiselcrdi helki de sistcmi kullanmalanna gcrck kaltnayacaktl. Hjerrpc bu durumll hilgi cri~imin tcmel paradoksu olarak dcgcrlen­dirmektcdir: "Hakklllda hilgi hllimak i<;in bilmcdigin hir ~eyi talllmlama gercgi" (Hjerrpe, 1986; Larson, 1991: 14Tden aktarma). Bu sorun bir hakuna "sozlUk" sozctigtintin anlam1l11 bilmeycn hir kimscnin ~aresizligine hCllzetilehilir.

Bilgi eri~im sistemlcrini ilk kez kllllananiar genelliklc ihtiyath davramp sisteme kapsamh arama sorgllIan gircrIer. Bu kullalllcIlar, araman 111 ba§Ianglcmda veri tahan1l1tn iizelliklerini (iirncgin, kaY11 saYlsl vc dcnnenin hangi konularda yogunla~tlgl gibi) bilmediklerinden hilgi eri~im sislemiyle ilgili kafalanndaki zihinsel modelleri gen;ekle bagda~llrmaya <;ah~lrlar. Bazen de hunun tersi olur ve kullalllcIlar sistellle <;ok ayrmlIlI sorul,u· yiineItehilirler. Ne kadar dar ya da kapsalllh olursa olsun, kullanlcllar biIgi cri~im sislcminin her Ilirdcki sorgulamalan yanltIamasl gerckligini du~ijntirler.

<;izim I'den de gi)rulcccgi gihi. sorgu ctim!esi hazlrlallla a~alllaslllda s(jzltiklcrden, kavramsal dizinlerdell, basIIJ cl kilapianndan ve konu ba§hklan Iistelerinden yararlanJlabiIir. Aynca, hall sistcllllcrde hu a~amada kullalllclIann i~ini kolayIa~l1rmak amaClyla ~evrimi~i ymdllll SlInlllll1akladlf.

5. Sorgu Ciimlesi

Kullal1JcI, hilgi islegini dogal dil kullanarak tal1lmladlktan sonra Sira sorgu cUll1iesinin sistell1e girilmesine gcIir. Bu sorgll cumIcsinin soz dizill1i (sentaks) sistcllIdcn sistcmc degi§ehilir. Kullalllctlar sorgu climlclerini ginnck i<;in <;ogu kez komut ve sorgll dillerinin kall SilZ dizim i kurallanna uymak zorundadlrlar. Ole yandan, hu liir sistemlerin r;ok aZI doga! (liIde girilmi§ sorgu ctimIclerini kahul ederler.

Sorgu climIesi hazlrIamak kolay bir i~ degiIdir. Kullal1Jcllar komut dillerinin varhgllldan haberdar oImak ve gcrckli komutlan hillllck zorundadlrIar. Aynca. kllllamcllann, her sorgll dilinin (izelliklerinc gtire sorgll cUIll\csinin nasIi olu§turuldugllna ili§kin cntellek(iicl hir kavraYI~a sahip oIlllalan gcrckIidir. Orncgin, Boole manllgJllI kllllanarak kanna~lk sorgu ctimIclcri oIu~turlirken <;ogu kullmuCllar zorl~l11maktadlflar.

6. KullamCI Arabirimi

Her sislemde kullalllcliann girdigi sorgu cUmlelerini kabul cdcrek bu sorglliamalan arama ve eri~im sisteminin "anlayahilccegi" hi<;imc diinij~llirell hir kullalllcl arahirimi vardlr. Bir ha~ka dcyi§le, sislcmle kllllalllcl araslIldaki ilcti~illl kllllalllCl arahirimi araclhglyla gen;ckle§ir.

Bir kullal1lcl arabiriminin tcmcl i§levlcri daha aynnttll olarak ~(iyle

stralanahiIir: a) kllllal11ctIartll, ya dogaI diIi veya sistcillce sag Ian an .~orgll dilini kuIlanarak sorgu ciillliclerini girillclerine olanak sagiamak; b) kulIalllclnln girdigi sorgll dimlesini dcgerIendirmek (iirncgin, sorgu ciimlesinin sorgu dili soz

306 Ya~arTonla

dizimine uygunlugunu kontrol ctmek. anahtar sozciiklerin koklerini bulmak gibi); C) kulla111CIllt11 girdigi sorgu ciimlesini bilgi cri~im sisteminin anlayacagl bilfime donii~tiirmek vc bunun sistcme girilmesini saglamak; d) cri~im sonulflanm gostermek; e) cri~ilen kaYltIann ilgili olup olmadlklanna ili~kin kuIlamcldan geribildirim (feedback) elde etmek ve buna gore ozgiin sorgu cumlesini yeniden degerlendirmek; ve, f) sistem. veri tabam ve sistemin kullamml hakkmda yararh bilgiler saglamak.

Sorgu cumlelerini talllmiayarak bilgi eri~im sistemine girmek ve sistemi kullanmak ilfin kuIlamcllann yararlanabilecekleri birlfok kullamcl arabirimi turu vardtr: monuye vcya komut dillerine dayah kulla111cI arahirimleri. grafik kullamcl arabirimleri. bo~luk doldurma turu kullamcI arabirimleri gibi (Shneiderman. 1986; Bates. 1989). Ku§kusuz, giinumtiz bilgi eri§im sistemlerinde bazl kulla111CI arabirim ttirleri (monii. komut dilleri) digerlerine oranla daha yaygm olarak kullamlmaktadlr. Konu~maYI (ses) girdi olarak kabul cden kullal11CI arabirimi tiirii isc yeni ycni kullnmlmaya ba~lanml~tIr. Ancak hangi tilr kullalllCI arabirimi tiiru olursa olsun. bir kullalllcI arabiriminden yararlanmak gerektiginde her zaman il,;in bir "ogrcnme egrisi" soz konusu olacaktlT. Bir ba§ka deyi§le. bilgi eri§im sistemleriyle ba§anh bir §ekilde ileti~im kurarak sorgulama yapmak ve istcnen bilgilere eri~im saglamak i~in kullal11cllann arabirimlerin nastl kuIlalllldlgllll ogrenmeieri gcrekmektedir.

Gortildiigu gibi. kuIlalllcI arabirimi veri tabanllldaki zen gin bilgilere eri~im saglayan bir ara~hr. Kullal11cllan ilgilendirdigi kadanyla bu ara~. kullalllctiann dencyim lerine. istedikleri bilgi miktanna. veri laban 111 111 ya da sorgu dilinin karma~lkhgllla hakmakslzlIl herkesin bu bilgi kaynaklanndan yararlanmasma olanak saglamahdlf. Mooers yasasl kulla1l1CI arabirimlcri il<in de gelfcrlidir: "Bir kullalllcl i~in bilgi edinmek bu hilgiyc sahip olmamaktan daha zahmetli ve slklllh verici halc geldigl anda hilgi eri~im sistcmleri kul/anllmamaya ba§lar" (Mooers. 1960: Ii).

"Kotil hir hilfimdc tasarlanml§ bir kullamci arabirimini kullanmak, kullamcllar il,;in bu arabirimi kllilanmamaktan daha zahmetli ve slkmll verici hale geldigi anda bilgi eri§im sislemleri kullallJlmamaya ba~lar" ~cklinde bir yarglya varmak belki dc fazla abartma sayilmamalldlf.

7. Eri~im Kurallan

Bilgi eri~im surecinde hclirleyici alan nokla. kullanlcllann girdigi sorgulama terimlerinin. cri~im saglamak amaclyla. sistclll Illrafllldan yorumlanmasldtr. Kullanlctlarm sorgu cumlelerindc yer alan terimlcrle hclgelcrin dizin kaYltlannda yer alan tcrimler kar~t1a~llf1hf. Arama sonucunun kalitesinin biiytik OIl<ude bu Ifukl§ma i§lcmindc kuIlallllan eri~im kllrallanna bagh oldligU al,;lktlf. <;unku hangi kaYltlara eri§ilip hangi kaYlllara eri~ilmeyeccgini cri~im kurallan belirler. Ancak. ilk olarak eri~im kurallanlllll lIyglllanmaslIldan once gelen bir yontemi, kiime/eme yijlllemini incelemckte yarar vardlr.

Bilgi EIi~illl Sislcmleri 307

7.1. Bilgi Eri~im Sistemlerinde Kiimeleme Yi)nteminin Kullamlmasl

Daha oncc ger<;ckle~tirilcn hilgi cri~im dencylcrinlic eri~imden ()!lce belgeleri kiimclcmenin / slIlIl1andmnanm daha ctkili hir yiintcm olacagl helirtilmi§tir. Buna gore, cgcr birbirlcrinc konll yiintinclcn benzer bclgclcri klimc\cmck mUmkiin olabilirse. o zaman dcrmedeki (iilll ilgili hclgclcrc eri~lllek ic;in sorgll ciillllcsinin gostcrimiyle (rcprescntation) sadece bcnzcr kiimclcrin giistcrimlerini kar~IIa§ltrmak ycterli olurdu. Bir ba§ka deyi§lc. sorgu climiesinin gt)stcrimiylc dcrmedeki her bir belgcnin gostcrimini kar§lla§tmml gcregi kalmayacaktl. Bu da. kll~kusuz. daha az i§lem gerektireceginden vc eri~im hlZlIl1 arllracaglllc1an <;ckici gdzlikHi.

Van Rijsbergcn (1979: 45) kumcIcme yontcmini dcstekleycn (emcl varsaYllnI ·ki hunu "kiimclemc hipotezi" olarak adlandlrmaktadlr- ~iiylc vurgulamaktadlr: "birhiriyle yakmdan ili§kili hclgclcrill aylll sorgulamalar i\in ilgili olarak kahul cdilmc egilimi vardlr." Kiimelcme hipotczinin dogrulugu kanlllannlI§l1r. Sir hilgi cri§im sisteminin etkinliginill bclge ktimclemc yontcmlerinin yardnmyla hcnzer hclgelcri gruplayarak artmlahilecegi dcneylcrk kal1ltlallllll~IJr (Van Rijshergen. 1979). Belgc kiimeleme yontemlcri hem ekonomik olup hem dc helli bir sorgulama ic,:in eri§ilen beige saYlslIH artmnaktadlr. Belgclcr hir kez kiimelendiklcri zaman hll hclgelcrc lek lek cri§im saglamak gerekmcmcklcdir. Klimelemenin hilgi eri~im sistemlerintie kllllanllllI hakkmda Van Rijsbergcn (I (79) vc Salton (1971 h) daha aynntllt hilgi vcrmckledirlcr.

"Kiime" burada hirhirinc henzeyen hclgelcr gruhu anlalllllla kullanllmal\talilr. Belli hir kiimede yer alan beIge saYlsl ilgili dcrmenin ()zelliklerinc vc kulla11l1an klimclcmc formiiliinc baghdlr. ('ok (,:qilli konularda bclgeler ic;crcn dermclcrdc daha kii<;iik klimeler olu~ma cgilirni gtizlcnirken. belli hir konuda helgelcr i\cren dermclerdc saylCi\ daha az ancak daha hiiyiik kiilllckr orlaya <,:lkmakladlr. Kiimclcme i<,:in kullalllian formtil klime saYlslIll ve hUyUklUiWnti etkileyehilir. Orncgin. klitiiphanc vc hil)!i ara~llrmalan konusundaki 30.000'in iizcrindeki hir define ic;in X400 civannda kiilllc yaratllml~llr (Larson. ·19X9).

Beige klimeleme. kiimclellccck helgcler araslIldaki bcnzcrli~in (i\<;ii1mcsine dayanlr. Ge<;mi~te. Kosiniis. Dice vc Jackard kalsaYllan gihi degi§ik henzerlik 619iimierine dayall hir90k kiimclemc formiilli gcli§lirildi (Salton vc McGill, 191(1: Van Rijsbergen, 1(79). Kilap adlanndaki terimler. konu ba~ltklan ve belgelcrin lam metinleri birhiriyle yakmdan ili~kili hc1gcleri kiimclemek i<,:in en Slk olarak kullalllian 'nesne'lerdir. Bir ba~ka deyi~le, adlannda aylll anahlm- stizcUkler hulllllan ya da henzer konu ba~hk1an vcrilmi~ iki helge varsa. hir kiimcleme fOflniilii hu iki bclgeyi biraraya getirir/getinnelidir.

Dalla yakm hir Imihle Larson (1991) hen/er helgcleri kiilllclemek i9in sllllJlama numaralanl11 ba~anyla kullanIllJ~IIr. Larson'a gOre eri~ill1 saglamak amaclyla hilgi eri~im sistemlerindc stnlflama lIumaralannlll kullanlll11 slllJrltdlJ'. Bir belgcye vcrilcn slIufl;l'na numaraSJ genelliklc herhangi hir ,malHar sOzciik gihi gOrlilmektedir. Arama i§lemi slraslllda benzer sllIIl1am:t nUllwraSI verilllli~ heJgclerc lek lek hakIlrnakl;ldlf. Oysaki benzer ya da aylll sll1lllallla nUlllaraSI verilmi~ bclgelcr biiyiik hir olaslltkla aylll sorulara yamt olabilir. "SlllIflallla. tlpkl kOllu ha~hkJan gibi. hir yapll hakklllda konu ba§hklannda :I<;lk<;a helirtilrncmi~ olan. kOllusal bakl~ <1t,:JSl saglar" (Larson, 199 [: 152: aynca hkz. Chan. 19Xtl. 19X9; Svcnonius. 19R3. Shepherd. 19X1. 19R3). KullanlcIlann rallarda arama yaparken sergilcdiklcri mama davranJ~lan da yuk:tndaki du~lillcclcri desteklcmeklcdir. Slillflama hilgisi glinulllLizdcki \cvrimi\i kalalogi;mla daha akIlll hir hic;:imde kullamlabilir (Hancock-Beaulieu. ILJR7. 19(0).

308 Ya~arTonla

"SmIflamaya dayah klimclemc y()tlICllli" cri~im siirecindcki elkinligi arltrmak il;in kullallIlabilir. Bir dermedeki belgelerc slIllilama numarnSl verilmi~se, ayllI numara verilmi§ olan belgeler en slk kullamlan konu ha§hklaflyla birlikte biraraya getirilebilir. Boylecc, ne zaman bir sorgu cumlesi bu kumcdcki belgclcrin gostcrimiyle ~akl§lrsa bu belgelere tek bir grup olarak eri§ilir.

7. 2. Eri~im Kurallarmm incelenmesi

Sorgu cumlesindeki terimlerle dizin terimleri araslIlda ~akl§ma olup olmadlgml helirlemek i<;:in klllhllulan bir<;:ok eri§im kurah vardlr. Blair (1990) 12 degi§ik eri§im kurah ("mode\'") listelemektc ve her bir kurah aynnllh olarak a~lklamaktadlf.l Blair'in ayrll1tlll olarak a<;:lkladlgl eri~im kurallannm klsa bir ozeti Tablo 1 'de verilmektedir. Bu tahlo Blair'in (1990) yapltlllm ikinci hbli.imlinden derlcmi§tir.

Tablo I' de Iistclenen eri§im kurallan kabaca i.i<;: grup altmda slluflandlfllabilir: 1) sorgu ci.imlcsindeki terimlerle dizin Icrimleri arasmda kesin <;:akl~ma (exact match) gerektiren cri§im kurallafl ve BooIc eri§im kurallan (model 1-4, 9-12); 2) olaslhk kuramllla dayah cri~im kurallan (model 5-7); ve 3) vektbr uzaYI modeli (model 8).

tlk grupta sorgu ctimlcsindcki tcrimler vc dizin terimleri ikilidir (binary). Yani bir terim sorgu ciimlesinde (ya da belgenin dizin kaydlllda) ya vardlr ya da yoktur. Eri§im i<;:in her terim e§it dcrecede ()nem ta~lr. Birden ~ok terimden olu§an sorgu ctimleleri i~in qik degerleri olu§turulahilir (model 3 ve 4). Sorgu ctimlesindeki terimler kavramsal dizinlerden alman ilgili terimIcrlc gcni~letilehilir (model 11 ve 12). Eri§ilen kayIllar kabaca Ccri§iJdi' ya da 'eli§ilmedi' §eklinde) slfalanabilir (model 1-3, 12), Ya da eri§ilen kaYltlar sorgu ci.imlcsinde ve dizin kaydlllda mevcut ~akl§an terim saYlsma gore slralanabilir (model 4). Sorgll cum1csindeki terimler arasmdaki ili~kiler Boole mantIgl kullamlarak tanunlanahilir (Ornegin, dizin terimlerinde sadece A ve B terimleri olan belgelere eri§) (model 9 vc 10). Boole mantlgma dayah modelin "bilgisayara dayah hilgi eri§im sistemleri i~in en gozde eri§im tasanml" oldugu samlmaktadlr (Blair, 1990: 44).

ikinci gruptaki eri§im kurallannda sorgu ctimlesindeki terimlerin (model 5). dizin kaydmdaki terimlerin (model 6), ya da hem sorgu ctimlesindeki hem de dizin kaydmdaki terimlerin (model 7) aglrhkh (weighted) olmasl gereklidir. Bir ba~ka deyi~le, eri~im amaclyla kullallliacak hir terimin eri§im iI.:in ne kadar onemli oldugu kulIamCI tarafmdan belirlcnebilir. Eri§ilcn kayItlar sorgu climlesindeki terimlerle dizin kaydllldaki terimler arasllldaki c;akl§mallln giiciine gore Slfalanmr. Bu kategorideki eri§im kurallan olaslhk kuralTllJla dayah eri§im modelleri olarak bilinir. .

O~tincti gruptaki vekllir uzaYI modeli (model 9) bir baklma model Tye benzemektedir. \-linkti hem sorgu ctimlesindeki terimler hem de dizin kaydllldaki terimler aglrhkhdlr. Ancak hu modeldc gerek sorgu ci.imlcsindeki gerekse dizin kaydmdaki terimler II-hoyutlu bir uzaydaki vekt<irler olarak i§lem gcirtir. Terimler arasmdaki «;akl~manlll gucii (y:mi slralama) sorgu ctim1csi ve dizin kaydllldaki terimler arasmdaki a«;mm kosiniisti hesaplanarak bclirlenir. VekWr uzayl modelini kullanan eri§im sistemleri 1960'11 yllann ba§lIldan beri kllllamlmakladlr (ornegin, SMART sistemi).

1 Eri~ill1 teknikJeriyle i1gili yelkin hir"ah~Llla i~in aynca hkz.: Belkin ve Croft (1(1~7I.

Hilgi Eri~ill1 Sistemleri 309

Model

2

3

4

5 Aglrhkh sorgular

6 Aglrhkh

Dizinleme

7 Aglrhkh

Sorgularve Dizinleme

8 Kosinils Kurah

9 Boole

Manllgllla Gore

Hazlflannll~

Sorgu Ciimleleri

IO Tam Melin

Eri~im

II Basit

Kavmmsal Dizin

12 Aglfilkil

Kavrdmsal Dizin

Tahlo I. Eri§im Kurallannlll OZCli Kaynak: Blair (1990). ikinci B())Um.

Amlllo iSlc~i Tek sorgu tcnmi

Sorgu klimleri ,eli (yani birden 1:1Zla)

Sorgu lcrimleri scli artl bir de "e~ik" delieri Model 3 ile aylll

Her biri pozilif degcrt! sahip sorgu Icrimleri seti

Sorgu lerimleri seti

Model 5 ilc ayll!

Model 5 ile aym

Sorgu cilmlcleri sorgu terilllierinill VE. VEY A veya DECaL gibi Boole i~le,lerinin

(operato rs) bile~iminden olll~lIr

Model 9 ile ayfll

Tek terimler

Tek telimler

Rdl{cla lklgclerc hir ya ua daha fazla dizin terimi velilir

Dizinlerimleli seli

Bir veya daha (azla dizin terimleri seti

Model 3 ilc aym

Model -' ilc aylll

I ler hiri pozilif degere sahip dizin terimleri seti

Model 6 ile aylll

Modcl6 ile aylll

Hir ya da daha fazla dizin tcrimleri seli

(Eli~illlsiz sozciikler hari~) belgelerilliam mClinleri iizerinde amma yapllahilir

Birya dadaha fazla dizin terimleri seli

Bir ya da daha fazla dizin lerimleri seli

Egcr sorgudaki Icrinl heJgeye veri len klimlcrle ~akl~lyorsa 0 7;un<Ul bu hcleeye eli~ilir Sorgudaki (iilll lerimler belgenin dizin kaydmda da vars" belgcyc erhilir

E~ik degclini "f"n say Ida terim sorgudaki telimJerk "akl~ly()l'sa belgeyc erh;ilir

Bdirienen saYlda tClimden dallO fllZ'a \,akl~tt1a go,teren belgeler ,akl~ma slra,ma gore azaJarak helirlenir

[klgeler hem ,orgu ciimiesilllleki hem de dizin kaydmdaki terimlerin toplam aglrhklanna gore a7.,larak Slral,uur

Bclgelcr hem sorgu ciimlesindeki hem de dizill kaytlmdaki terimlerin toplam aglfhklanna gore amlarak "mlamr Belgeler sorgudaki terimill ai:ilrhglyla aylll lelimin tlizin kaydllldaki aglrhgll1m ,al1'"11lannm toplamllla gore siralanif

I \em sorguda hem de bir dizin kaydmd:llllevcul ortak terimlerin aglrhklan ayn vektorler olarak allllir. Eli~ilen hir belgenin degeri iki veklilr araslIldaki a,1Il1ll kosiniisiidiir.

i) VE: Satleee sorgu ciillliesindeki lelillllcrie tiimiiyle "akl~an belgelere eli~ I) VEY A: Sorgu ciimlesindeki herhangi hir lelimie "akl~an belu e1ere eri, Ii) DEGIL: S'orgll ciimiesilllle DI.:(;(L i~lcciyle veriJcn terimler dl~lIldaki tiim belgelere eri~ Model <) ile aym. Yaklllhk i~Ic,lcri (proximity operators) de kullallliahilir

(.:evrimi"i) hir kavmmsal dizindell hakllarak sorgu ciimlesindeki terime anlalllda~ tenm(ler) eklenir

(<,'cvrimi,i) hir kavl"amsal dizinden hakllarak s()r~u dimlcsindeki tClime helli hir qik degerinin ilzerindeki (aglrhkh) 'UlJmlHla~ lelimlcr aynk olarak (disjunctively) eklcnir. E~ik dcgcli Kullanici tarafmdan helirlenehilir.

3\0 Ya~arTonta

Buraya dek geleneksel hir bilgi eri~im sisteminin lemel hilel?Cnlerini bc\ge veri labam, sorgu cumlesi hazrrlama, kullullICI arabirimi ve eri§im kurallarl ar;lsmdan inceledik. H.'mgi eri§im kumh kullamhrsa kull:uulslIl bir bilgi eri~im sisteminin son amact kullatllClllm bilgi gereksinimlerini en iyi ~kilde k:rr~llayacak kayItl:rra eri§meklir. Bu nedenle, kullamCi i<;in en onemli nokla elde edilen sonur;l:rrdrr (yani eri~imin etkinligi). A~1glda eri~im etkinligiyle iJgiJi b.1§hca ol<;tiler (measures) incclenmektcdir.

8. Eri~im Etkinligi OI.;U1eri

Bilgi eri§im sistemlerinin elkinligini degerlendirmek amaclyla birr;ok degi§ik olr;u kullaml­maktadrr. Eri§im etkinliginin ve ba~1flslzhklarm :u'a§t1l11masmda yaygmhkla kullamlan eri§im isabeti ve kesin is.'lber gibi hirkar; olr;u a§<lglda tar!t~tlmaktadlr. Literattirde oneri­len diger eri§im etkinligi olr;Uleri pek seyrek kulblllldtgIndan humda incelenmeyecektir.

C;evrimir;i bilgi cri§im sistcmleri <;ogu kcz ilgisiz helgclere eri~irken aynl zamanda ilgili olan hazllarma da eri§ememektedir. Blair (1990: 73-74) eri§im stirecini §oyle Ozetlemektedir:

Bilgi eri~im temelde hir dcneme-yamlma siireci oldugundan, bilgi en§lm sistemindeki helgelere eri~mek i\il1 yapllal1 hC1l1C11 hemen her ammmun, yararh (yani ilgili) belgelcrin yam ·SITa dcgi~cn oranlarda yamrslz (yani ilgisiz) belgelcrc eri§mesi beklenehilir. Arama si.irecindeki bu belirsi71igill yol a\ligl bir diger sorull da ~udur: biT veri tabanllldan yararh belgc1ere eri§ilse hile, kullmuclIlm \ok Israrit \abalanna kar§lI1, daha bir\ok yararh ye eri~ilcmeyebilir. Sonu\ olarak, herhangi bir arammi1n sonra, veri lahmllndaki belgc1er dOrt degi§ik bi\imde slTIlflandmlabilir:

Eri§ilen vc ilgili (yararh) Eri§ikn ve ilgisiz (yararslz) Eri§ihneycn ve i1gili [ka\an) Eri§ihneyen ve ilgisiz.

Blair bu dart Slll1fta ycr alan belgeleri a§agldaki <;izimle gostennekledir:

ERI~ILEN

ERI~ILMEYEN

<:;izim 2. Arama Sonucunun (C;JktIl1111) Gosterimi (Kaynak: Blair, 1990: 76)

luau lLGlslz

x u ERI~ILEN TOPLAM J BELGE SA YlSI=nl

v y

DERMEDEKI TOPLAM luau BELUE SA YISI=n2

C;izilll 2'ye dayanarak a§agJdaki eri~im etkinligi OIr;uleri ta1l1mlanml~trr:

J Bu terimler henuz TUrk"ede genel kabul gOllllU~ degildir. Bu "ah~mada "kesin babet" ve eri~im isabeti". suaslyla, lngilizcedeki "precision" vc "recall" terimlerinin kar~lhgl olarak kullm\llml~tlr (Alkan. 1994: 254-265). Bir ba~ka .. ah~l11ada "precision" i"in "duyarhk", "recall" i"in ise "anma" terimleri yeglelmli~tir (Koksal, 1987; aynca bkz. Koksal. 1979).

Bilgi Eri~im Sistemleri 311

Kesin isabel = XlIII

Eri~im isabe/i = x 1112

Posa = III (11 + y)

Formiillerde yer alan x, cri§ilen i1gili beige saY1sll1I: II}. cri§i1cn loplam beIge S.1Y1SU1J (<;izim 2'de x + u): 112. dermedeki toplalll ilgili beige S:IYISIIlI (<;izilll 2'de x + 1'): 1/, eri~ilen

ilgisiz beIge S.1Y1SJI1I: y ise eri~ilmeyen ilgisiz 1~lgc saYISlIlJ ibdc etmektedir. Kesin isabel ve eri~im isabeli 619ti1eri .bilgi eri~im sistcmlerinde eri§im etkinligini

degerlendirmede genellikle hirlikte kllllalllhr. "Kesin isabel. cri§ilen ilgili beige saYlsmlll eri§ilen toplam beige saYlsma orallldir" (Van Rijshergen. 1979: 10), Ornegin, belirli hir sorglllama i9in bilgi cri§im sislcminin iki kayda cri§im sagladJgulI dii§iinelim (II}). KlIllamclIllll eri§ilen hll iki kaYltlan bir lanesini ilgili (.r) hllldllgllnll varsayahm. Bu durumda hu arama sorusu i9in kcsin isahel oram (1050 olurdu (x I fll).

Eri§im isabeti dcgcrini hesaplamak kesin isabct ora III III hesaplamaktan ~ok daha giil,(ttir. <;tinkti eri§im isabcti oranllli bllllllak ic;in kulIanlclIllll ilk aramaslIlda eri§i1emeyen diger ilgili kaYltlara da eri~ilmesi gerekmektedir (Blair ve Maron, 1985: 291). "Eri~im isabel; eri§ilen ilgili beige saYlslll1ll dermedeki toplam (hem eri§ilen hem de eri§ilcmcyen) beige saYlSllla ofallldlr (Van Rijshergen. 1979: 10). YlIkanda verdigimiz ornegi cle alaltm. KlIllanlcl eri§ilen iki kaYlllan birisini ilgili huldu. Diyelim ki daha sonra dermcde ilk aramada eri~ilemeyen tiC; ilgili kaYll (v) daha bulundll. Yani sistelll. veri tahanilldaki dorl (112) ilgili kayItlan s:ldece bir lanesine eri~im saglamJ§ oldu. Bu durumda bu aram:! SOruSll ic.;in crisim isabeli oralll %2S'e e§it olllrdu (x / 112).

Blair ve Maron (1985: 290) eri~im isaheti OIc;iisiiniin. sistemin ttim ilgili belgelere ne derece saghkh eri§im sagladiguli. ole yandan kesin isabel OIc;iisiiniin ise. sistemin salt ilgili belgelere ne derece saglIkh eri~im sagladJglJ11 oll,(tiigtinii soylemekledirler.

Posa, eri§im elkinligini degcrlendirmedc klllIamlan hir diger oll,(tidiir. Posa, eri~ilcn ilgisiz kaYltiann (/I) dermedeki tiim ilgisiz kayJtlara (11 + y) Ofam olarak tammlana­bilir. Posa oram "bir sistemin ilgisiz belgeleri ne derece saghkl1 olarak rcddeUi£Hni OIc.;er" (Blair, 1990: 116). Daha once kullandJglIJlJz ornegi posa Oral1llll :1<.;Jklamak ic;in de kullanabiliriz. KulIalllClIllll cri§i1en iki kayJttan bir tanesini ilgili bllldugllnll varsayml§tIk. Daha sonra yapllan aramada ilk aramada eri§i1emeyen iic; kayJt daha belirlenmi§ti. Bu dermenin tamamlllda dokuz kayl\ (dordii ilgili he~i iigisiz) oldugunu varsayahm. KulIamcl dermedeki lOp lam be§ ilgisiz kayJllan (/I + y) bir lanesinc (II) eri§tiginden, bu arama il,(in posa oram %20 olarak gcr<.;ckle§ir (111 (u + y).

9. ilgililik Geribildirimi Kavramlan

<;a1I§mamIZ1l1 bundan bnceki hOltimlerinde. bir bilgi eri§im sisteminde kllllalllcdann sistemle etkile§imine olanak veren bir ttir kullamci arabiriminin varhgm:l (bkz. altboliim 2) ve bll arabirimin temel i§levlerine (bkz. altboliim 6) deginmi§, bu i§levlerden birisiniR de kullalllci ile bilgi eri§im sis!emi arasmda degi§ik bil,(imlerde geribildirimi miimkiin kllmasl gerektigini vurgulmn1§t1k.

312 Ya~arTol1ta

KullalllCilar aradlklanlll nadircn bir kcrcdc oulduklanndan, gcribildirim i~levine daha ayrmtlh olarak dcginmckte yarar vardlr. Eri§im kurallan kendi ba~ma (hizatihi olarak) eri~ilen kaYltlarm kullamClll1l1 istedigi kaYltlar olmaSlIlI garanti edemez. Kullamcl arabirimi. kullal1lClll1ll hir sonraki a~amada ne yapmasl gercktigini sayler ya da sistem tarafmdan yaral1lan geribildirim mesajlanyla altcrnatif stratejilcr anerehilir (arnegin, yardlln ekranlan, aramanlll statiisii, ne yapilmasl gcrektigi vb. gihi). Daha da onemlisi, sistem, eri§ilen ornek kaYltlar 1~lglllda kullamclya, sorgulamasmda degi§iklik yapma olanagl vererek hir sonraki eri§illl i§leminde ba§an diizeyinin daha da artmasllli saglar (Van Rijsbergcn, 1979). BaZl sistemlcr ilk denemede eri~ilen kaYltiann kullamci tarafllldan ilgili hulunup bulumnadlgllla bakarak iizgiin arama sorusunda otomatik olarak bazl degi§iklikler yapahilir. Bu durum "ilgililik geribildirimi" (relevance feedback) olarak bilinmektedir. ~imdi ilgililik gcribildirillli

'siirecini biraz daha yakmdan inccleyelim. Swanson (1977) literatUre ger.;mi~ lxlZl hilgi cri~im dcneylcrini ve bu dencylcrdc

kullamlan OI\(iileri incelellli~tir. Swanson'a gore bilgi cri~illl sistemleri denellle­yatulma siirecini kolayla§ltracak vc sorgulamamn diizeltilmesinc olanak verccek bi\(imdc tasarlanmahdlr (s. 142). Van Rijsbergen (1979) dc aym garii§ii payla§makta ve otomatik bir bilgi eri§im sistcmiyle kar§lla§an bir kullamClllll1 bir kerede bilgi gerekesinilllini tammlayabilmesinin pek miimkiin olmadlguH belirtmektedir. Van Rijsbergen' e gore, kullalllcl, sorgulallla hakkmda edindigi gerihildirim l§lgmda sorgulamasllli hazlrlayacagl hir dcneme-y::uulma siirecine girmek isteyecektir (s. 105).

Van Rijsbergen (1979). sorgulamalanlll haztrlarken kullalllcilara yardlmcl olabilecek liirden bilgilcri de listelcmckledir (kullalllcilann sorgu tcrimlerinin veri taballlnda olup olmadlgl. bclirli bir arama i\(in ku\(tik bir orneklcm ahnarak eri§ilebilecek kaYll saYlsl1l1ll hclirlenmesi, ve, daha etkin Imama sonur.;lan elde etmek i~in kullal11llllaSl gereken ilgili arama terimlcrinin kullal1lclya bildirilmesi gihi).

ilgililik geribildirimi. ilk aramada elde edilen sonur.;lar 1~lg1l1da, kullalllclya sorgu ciimlesinde elkile§imli olarak dcgi§iklik yapma olanagl vcrerek dencmc-yamlma siirecini kolayhl§tmm lekniklcrden birisidir. A§ag\daki alIntl ilgililik gcribildirim siirccini <;ok giizel azctlcmektcdir:

C;ogu hilgi siSlemi kullantctlan i~in ilk soru ciimlcsi hamlama (fonnulate) siirecinin saydalll olmathgt ~ok iyi hilinir. \~ogll kullantctlar, dennenin yaplSt ve eri~il11 ortamt hakklllda aynnltlt hilgi sahihi olmakslZtt1, eri~im amaclyla ,"ok iyi tasarlatum~ anlllla sOfulan haztrlamakta ()zellikle zorlanmakladtrlar. Bu durum. ilk eri~i1l1 i~lel1linill ... sadecc hir dellCmt; olarak gorUlmesi gerekligine i~aret ctlllcktedir. Daha soma, ha~lat1gt'i'ta eri~ikn hu kaytllann ilgili olup olmadtgt incelcnerek. bm1ll izleyen arama i~klllkri slrastt1da diger yararh kayttlara eri~mek umuduyla. yeni ve geli~tirilmi~ sOfular haztrlanabilir (Salton ve Buckley, 1990: 288).

SMART bilgi eri§im dencylerinde ilk kez ilgililik geribildirillli tekniginin kullal1l1masmdan bu yana neredcyse 25 yil ge<;mi§tir (Salton, 1971b). ilk ilgililik geribildirilll deneyleri eri§im performas1l11ll \(ok yiiksek oldugu kti~tik denueler tizerinde gen;:ekle§tirildi (Rocchio, 1971a: Salton. 1971a, Ide, 1971).3 Ugililik geribildirim tekniginin eri~im perfonnasl11I onemli ol<;i.ide artlrdlgllla talUk olundu. Salton ve Buckley (1990) deneysel ama~larla degi§ik konularda altl ayn beIge dennesi

J <;evrill1i~i kataloglarda ilgililik gcribildirim tckniginin kullruUIl11 hakklllda hkz.: Porter ve Galpin. 1988; Walker ve de Vere. 19<1O; Larson. 1989. 1991: Walker ve Hancock-Beaulieu. 1 'l,) I).

Bilgi Eri~im Sistcmleri 313

kullanarak 12 farkh gerihildirim yontemini inceleyip degerlendirdiler. Deneylerinde kullandlklan dermelerin btiytikJijkleri 1400 ile 12.600 beige arastnda degi~mekteydi. tlgililik gerihildirim yontemlerinin eri~im performaslIlt %47 ile % 160 araslIlda artlrdlgl gozlendi.

tlgililik geribildirimi tcknigi hakkmda daha aynntlh bilgi vc formtillcr ve bu teknigin matematiksel a~lklamasl Salton vc Buckley (1990), Rocchio (1971) vc lde'nin (1971) makalelerindc bulunnbilir.

10.Sonu~

Bu 9ah~mada biT hilgi eri~im sisteminin temel bilqenlcri incelenmi~tir. Dizinleme, soru ctimlcsi hazlrlam:l stifq:lcrinin iincmi tartl~llarak kullalllci arahirimlerinin vc eri~im kurallannlll hilgi cri~imdc oynadlgl roller a(,:lklanml~tlr. Kcsin isabel ve cri~im isabeti gibi belli ba~h cri§im bl(,:tilcri orncklcr vcrilcrek anlatllml§ ve ktimeleme ve ilgililik gcrihildirimi gibi cri§im ctkinligini nrtlran daha ileri hilgi eri§im yontcmlerine de klsaca deginihni§tir.

11. Kaynak~a

Atkan, NazI!. (1994). "Bilgi taramalannm nilelik a~lsIlldan degerlendirilmesinde 'Kesin Isabet' ve 'Eri~im lsabeti' oranlan." Tiirk Kiitiil)!!!JIecili.~i 8(4): 154-165.

Bates, Marcia J. (1989). "nle design of bro·.·. ~ing and berrypicking teclmiques for the online search ," Online Review 13(5): 407-424.

Belkin, Nicholas J. ve W. Bruce Croft. (1987). "Retrieval teclmiques." Annual Review of In/ormation Science and Teclinology 22: 109-145.

Blair. David C. (1990). Language and representation in i'1(ormatiol1 retrieval. Amsterdam: Elsevier.

Blair, David C. ve M.E. Maron. (1985). "An evaluation ofretrieval effectiveness for a full-text document-rctrieval system," Communications o/tlll! ACM 28: 189-199.

Chan, Lois Mai. (1986). "Lihrary of Congress Classification as an online retrieval tool: potentials and limitations," In/ormation Tec/molo;.;y and Lihraries 5: 181-192.

Chan, Lois Mai. (1989). "Library of Congress class numhers in online catalog searching," RQ 28(4): 530-536.

Hancock-Beaulieu, Micheline. (1987). "SUbject searching behaviour at the library catalogue and at the shelves: implications for online interactive catalogues." journal of Documentation 43: 303-311.

___ . (1990). "Evaluating Ihe impact of <Ill online library catalogue on subject searching behaviour at the catalogue and at the shelves," Journal of Documentation 46(4): 318-338.

Hjen-pe, Roland. (1986). "Project HYPERCATalog: visions and preliminary conceptions of an extended and enhanced catalog." Intelligent inJfll"/l/ation .\ystel1ls for tlie in/ormation society ic;-inde. Ed. by B.C. Brookes. New York: North-Holland Publishing Co.

Ide, E. (1971). "New experiments in relevance feedback." Bkz.: Salton (I971b: 337-354). Kbksal. Aydm. (1979). "Bilgi t:ri~im sorunu ve bir beige dizinleme ve eri~im dizgesi tasarum ve

gerc;-ekle~tirimi". (YayunlanmamJ~) Doc;-entlik Tezi. Hacettepe Oniversitesi. _____ . (1987 Ocak-Mart). "Bilgi eri~im sorunu ve bilgi eri~im dizgeIerine i1i~kin temel

-",,"amlar'. Bili~'im s.18-25. LarsOi K,:' R. (1989). "Managing information overload in online catalog subject searching",

ASI,) 1/<,) r'-oceedings of tlie 52nd MilS Annual Meeting Washington, DC. October 30-Novembc ">, jI)(~') ic;inde (129-135). Ed. by Jeffrey Katzer and others. Medford, NJ: Learned Information.