Wikipedia — nørdernes sejr over vandalerne?

Finn Arup Nielsen

9. april 2008

‘Wikipedia kan ikke virke i teorien, mengør det i praksis’ lyder det om verdenens—i skrivende stund—ottende mest besøgtewebsted.∗ Wikipedia’s artikler star ofteøverst i søgemaskinernes resultatlister, ar-tiklerne bliver citeret i aviser,2 i videnska-belige artikler, Indiens højesteret3 og ame-rikanske domstole4 har brugt Wikipedia ideres kendelser, Wikipedia’s grundlæggerJimmy Wales har vidnet for det amerikan-ske senat5 og i Tyskland anvendes offentligemidler til at forbedre indholdet af Wikipe-dia’s tyske version.6 Men hvorfor virkerWikipedia nar hvilkensomhelst person kanredigere i artiklerne, ekspert savel som van-dal? Den abne arkitektur gar direkte modnormal computersikkerheds credo, og Jim-my Wales har dog ogsa modtaget e-mailsfra bekymrede brugere der ville papege denstore ‘sikkerhedsbrist’.7

Flere forskere er begyndt at kigge nær-mere pa Wikipedia, dels for at udnytte denrige information, dels for at undersøge hvor-dan Wikipedia bliver opbygget og brugt, ogom muligt svare pa hvorfor Wikipedia vir-ker. Disse bestræbelser involverer fysikere,dataloger, ingeniører, sociologer og folk frabiblioteksvidenskaben.

Et kæmpe netværk

Forfatterene af Wikipedia udgør et kæm-pe socialt netværk, der kan studeres ud-fra deres spor i Wikipedia’s revisionshisto-rik. Flere forskere har studeret det varien-de antal redigeringer som wikipedianere fo-retager.8–10 Andre har ogsa undersøgt link-strukturen i Wikipedia.11–16 Wikipedia’s ri-ge netværksstrukturer udviser nogle slaendetræk som ogsa er set blandt andre ‘naturli-ge’ netværk, for eksempel elnettet, netværki forbindelse med neuroner i orme eller net-værket blandt filmskuespiller.† Pa trods afat Wikipedia fungerer uden central styringopstar der generelle mønstre i brugerenesadfærd og Wikipedia’s vækst. For eksem-pel: Antallet af en artikels redigeringer for-udsiger simpelt hvor mange den vil modtagefremover.18,19

Wikipedia som vidensbase

De fleste Wikipedia artikler er rubriceret ien eller flere kategorier, og kategorierne kanvære ordnet i et hierarki. Der er ingen cen-tral styring pa hierarkiet, og taksonomietopstar kun ved at Wikipedia’s brugere tag-ger hver enkelt side med emneord.22 Orde-

∗Alexa rankede som nummer 8 i slutningen af 2007. I begyndelse af 2007 var den allerede brudtigennem til top ti over verdenens mest besøgte hjemmesider.1

†Blandt undersøgte karakteristikker er mange af de moderne ‘fancy’ tal: PageRank og K-leinberg’s HITS,12 den sakaldte ‘lilleverdens-koefficient’, med cluster-koefficient og kortestevej-middelværdi,14, 16 ‘butterfly-komponenternes’ størrelser,13, 14 potenslov-koefficienter,,8, 13–15, 17 reciproci-tet,14 assortativitets-koefficient14 og triade-signifikansprofil.14

1

Historien

Allerede i ideerne fra webbensfader Tim Berners-Lee liggermekanismer der tillader infor-mation at flyde bade frem ogtilbage mellem web-serverenog brugeren. Først i 1995opstar dog den egentlige wiki,der tillader nem oprettelse ogredigering af web-sider.20 Deter Ward Cunningham der sæt-ter den først wiki op, og til for-matering og linkning benytterhan et enklere opmærknings-sprog end det sædvanlige in-ternet’s HTML. Egentligt vardet blot til at lette samarbej-de med kollegaer omkring denspecielle form for strategi tilcomputerprogrammering han

undersøgte. Wiki-ideen bred-te sig relativt langsomt, indtilLarry Sanger hørte om wiki-ideen. Sanger var ansat afJimmy Wales til at udvikleen Internet encyklopædi: Nu-

pedia. Det gik dog langsomtmed oprettelsen af artikler-ne, og derfor beslutter de toat prøve at supplere encyklo-pædien med en wiki. I løbetaf kort tid bliver denne wiki-udgave af encyklopædien—Wikipedia—større end origi-nale, og senere nedlægger deda ogsa Nupedia.Oprindeligt var Wikipedia fi-nanseret af Jimmy Wales derhavde skabt sig en formue ved

børshandel og—øjensynligt—gennem hans firma Bomis hvisaktiviteter blandt andet inklu-derede ‘Bomis Babe Report’.21

Wales har dog nu overdragetWikipedia til en fund og fun-den modtager donationer frabrugerne og firmaer.Med Wikipedia som model harwiki-ideen bredt sig, sa man-ge større virksomheder nu haren wiki som en del er de-res intranet. Softwaren Medi-aWiki, som Wikipedia anven-der, kan downloades frit, mo-dificeres og sættes op som endel af ens egen web-server. Derfindes ogsa mange andre wiki-softwarepakker.

ne ‘folksonomi’23 eller ‘folketaksonomi’ erbrugt som denne type taksonomi. Det ermuligt at fa fat i dette taksonomi, da he-le Wikipedia ligger i en kæmpe fil pa In-ternettet, lige til at downloade og fodre sinalgoritme med.

Forskere har saledes foreslaet at brugeWikipedia’s folketaksonomi til at beregneords semantiske slægtskab, for eksempel omordene ‘FBI’ og ‘investigation’ er beslæg-tede.24 Det kan være et vigtigt element icomputeres ‘forstaelse’ af naturligt sprog.Pa engelsk findes der allerede et stort vel-struktureret ordtaksonomi, WordNet, mendet mangler mange egenavne. Ved at kom-binere WordNet og Wikipedia kunne de ty-ske forskere opna de bedste resultater.

Det tyske eksempel er blot en af fle-re mader hvorpa Wikipedia bliver udnyttettil computer-baseret sprogprocessering og

avanceret informationssøgning.16,25–30 PaDTU Informatik brugte to studerende,Magnus Sigurdsson and Søren ChristianHalling, delen af Wikipedia om musikgrup-per til deres Internet-baserede søgemaskinefor at gruppere søgeresultater i forhold tilrelevante emner.31

Men hvis Wikipedia bruges som videns-base skal man kunne stole pa den, — ellerihvertfald skal en stor del være kvalitetsfuld.Er den det?

Kvaliteten?

Flere formelle studier af Wikipedia’s kvali-teter har været udført.‡ I den maske mestomtalte undersøgelse havde Nature’s viden-skabsjournalister sakset 42 af Wikipedia’sog Encyclopaedia Britannica’s naturviden-

‡Se den engelske Wikipedia’s egen oversigte pa ‘Wikipedia:External peer review’ (oldid=169010073)og ‘Reliability of Wikipedia’ (oldid=179243736).

2

Carl Hewitt vs. Wikipedia

Carl Hewitt, en pensioneretprofessor fra MIT, kom i væl-ten i slutningen af 2007 ef-ter at have redigeret Wikipe-dia.32 Han har en lang karriereindenfor programmering, menpa trods af hans store bidragi dette omrade, har flere an-dre Wikipedianere anset nogleaf hans redigeringer som selv-promovering. Han har blandtandet indsat beskrivelser afhans forskning (den sakaldteactor model) i fysikartikler, h-vor andre mente at de ikke

hørte hjemme. Uoverensstem-melsen førte til lange diskus-sioner og en sag for Arbitra-

tion Committee, Wikipedia’shøjesteret, der besluttede at atbandlyse ham.Sagen viser et eksempel pa atdet kan være svært at skrivefra et neutralt synspunkt h-vis man har en interessekon-flikt og er dybt optaget afsit forskningsfelt. Den officiel-le politik pa Wikipedia tilladerdog at specialister indsætterderes egen forskning, hvis det

ellers har baggrund i en tro-værdig udgivelse og overholderWikipedia’s andre regler. Jegselv har indtil videre sluppetafsted med at liste referencerind til nogle artikler jeg har‘været med pa’. Universiteter-ne forventer at deres forskeregør deres arbejde kendt for of-fentligheden, og Wikipedia eren made hvor man bade kanna andre forskere og alminde-lige informationssøgende.

skabelige artikler, og derefter sat blindedeeksperter til at vurdere dem.33 Sammenlig-ningen mellem de to encyklopædier viste atWikipedia’s artikler indeholdt flest mang-ler og unøjagtigheder, — men overraskendenok ikke særlig mange flere end Encyclo-paedia Britannica. Stern foretog i decem-ber 2007 en tilsvarende undersøgelse medden tyske Wikipedia overfor online-udgavenaf den tyske encyklopædi Brockhaus.34,35

Ugemagasinet havde bedt et uafhængigtforskningsinstitut, Wissenschaflicher Infor-mationsdienst Koln, om at vurdere 50 ar-tikler udfra kriterier om korrekthed, fuld-stændighed, aktualitet og forstaelighed. I43 tilfælde blev Wikipedia’s artikler vurde-ret som bedre end Brockhaus’, og Wikipe-dia fik det bedste karaktergennemsnit.36,37

Wikipedia blev anset for bedre i aktuali-tet og—maske overraskende—i korrekthed,mens Brockhaus la bedst i fuldstændighed.Desuden blev nogle af Wikipedia’s artik-ler betragtet som for komplicerede for læg-

mand.§

Blog-skribenter har ‘eksperimentelt’ re-digeret faktuelle fejl ind i Wikipedia for atiagttage hvor hurtigt de bliver rettet, — el-ler om de overhovedet bliver rettet.39,40 Omdenne sabotage-journalistik lykkes kan væ-re afhængig af hvor ‘snedigt’ og ‘snigende’man gør det. For abenbar vandalisme, hvorstore dele af en artikels tekst blive slettet,har et studie foretaget af forskere fra MITog IBM fundet at det typisk tager blot etpar minutter før artiklen bliver gendannetaf arvagne wikipedianere.41

Pa trods af at den typiske vandalismehurtigt bliver rettet betyder det dog ikkeat al form for vandalisme og fejlagtig infor-mation hurtigt bliver korrigeret: Da journa-listen John Seigenthaler fandt sig omtalt iWikipedia havde der i ikke mindre end 132dage fejlagtigt staet at han var involvereti Kennedy-mordene.42 Man kan heller ikkevære sikker pa at kvalitetsartikler vedblivermed at være det. En relativ stor del, der har

§Hverken Nature’s eller Stern’s undersøgelser var i sig selv peer-reviewet. Der er udført et peer-reviewetstudie af Wikipedia’s kvalitet.38 Det var dog ikke et sammenlignende blindet studie.

3

Wikipedia i undervisning

Mange brugere vil nok me-ner at Wikipedia fungerer ude-mærket til baggrundslæsning.Men kan man bruge Wikipe-dia som kilde? I begyndelsenaf 2007 forbød et institut paMiddlebury College de stude-rende at citere Wikipedia somkilde efter at en hel række stu-derende havde brugt fejlagtiginformation pa Wikipedia omen bestemt episode i Japan’shistorie.43 Men i slutningen af2007 udtalte Jimmy Wales athan ikke sa problemer i at yn-gre studerende brugte den somreference, og at encyklopædien

burde ses som en trædesten tilandre kilder.44

Det er forholdsvist nemt foren lærer at angive korrekt in-formation pa Wikipedia. Deter muligt at lave et perma-nent link til en bestemt versionaf en artikel. Læreren kan lin-ke til en version han selv harbedømt, sa de studerende kanføle sig nogenlunde sikre pa atWikipedia’s information er tilat stole pa og derved brugedet som supplement til en læ-rebog.I bade England og USA harstuderende faet ‘lektier for’ i

Wikipedia. Pa University ofEast Anglia skal de studeren-de i International Relationssaledes redigere og skrive ar-tikler om Mellemøsten.45 Debliver bedømt pa forbedrin-gen af otte artikler og skalselv skrive en. De ofte megetkontroversielle emner i detteomrade kræver at de stude-rende balancere de forskelligeholdning og understøtter demmed kilder. Lignende opga-ve bliver stillet i miljøhistoriepa University of Washington-Bothell.46

været erklæret ‘featured article’ pa den en-gelske Wikipedia, er pa et senere tidspunktdegraderet til ‘former featured article’.

Teknisk tillid?

Flere forskellige tekniske mader til at sik-re eller i det mindste vurdere kvaliteten afartikler i wikier pa er foreslaet.

Umiddelbart skulle man tro at hvis manikke tillod anonyme brugere at redigerei Wikipedia ville man fa bedre kvalitet,men besynderlig nok tyder resultater fraen forskergruppes analyse af de franske ognederlandske Wikipediaer pa det modsat-te: At anonyme redigering faktisk er bedreend redigeringer fra registrerede brugere.47¶

Der er dog flere andre wikier der har gi-vet køb pa en af de grundlæggende wiki-elementer og begrænset redigeringsadgan-

gen: Eugene Izhikevich—en forsker i teo-retisk neurobiologi—administrer en andenwiki, Scholarpedia, og tillader kun udvalgteeksperter at skrive artiklernes endelige ver-sion. Han har haft held med at tilstrækkeadskillige Nobelpristagere som skribenter.Ganfyd begrænser redigeringen til registre-de læger,48 mens den generelle encyklopæ-di Citizendium for eksempel ikke tolerereranonymitet. Andre tiltag fokuserer pa god-kendelse af artiklerne gennem peer-review.Der er allerede mekanismer til peer-reviewi selve Wikipedia, men derudover er der fo-reslaet kombinationer med eksterne syste-mer.49 Et eksempel er Veropedia, der harlidt over 5000 checkede Wikipedia-baseredeartikler: De kalder dem ‘veroficerede’ artik-ler.

Problemer som abenbar vandalisme kanhandteres af ‘recent changes’ patruljen, derer en løs gruppe af frivillige der konstant

¶Det er dog ikke alle der finder at anonyme redigeringer er af det gode: En stor del af vandalismen kom-mer fra anonyme brugere, se for eksempel User:SallyScot/Anonymous edit analysis (oldid 178592175) paden engelske Wikipedia.

4

Figur 1: Kilde mangler! I Wikipedia er det nemt at angive at man ikke finder et udsagnunderstøttet ved at indsætte et ‘kilde mangler’. Det kan være mere besværlig i ‘virkelig-heden’. Fra Randall Munroe’s tegneserie XKCD. c© Randall Munroe.

overvager de seneste ændringer pa Wikipe-dia og korrigerer darlige ændringer. Menmere tekniske løsninger er ogsa i værk:Wikipedianerne har konstrueret program-mer der automatisk checker nyeste redige-ringer for vandalisme, og disse programmerkan gendanne en vandaliseret side indenforet minut.50 De simple tommelfingerreglersom bruges i programmet ClueBot kan fan-ge mange vandalisme-forsøg, og program-met overvager konstant Wikipedia med storsuccess. Andre har udviklet mere avance-rede metoder blandt andet ved at opbyggestatistiske modeller pa baggrund af artik-lernes revisionshistorik.51–53 Sadanne syste-mer kan farvelægge tekstfragmenter læserenikke kan stole pa og saledes angive at deter usikkert at ‘Anders Fjogh Rasmussen’ erDanmarks Statsminister.54–56‖ Systemernekan udnytte at der er en vis grad af sam-menhæng mellem en artikels kvalitet, antal-let af dens redigeringer og antallet af dens

skribenter,18,19, 57 og at et tekstfragment derhar overlevet gennem mange redigeringer‘nok’ er troværdig. Ogsa fra DTU Informa-tik kommer et foreslag: Thomas Korsgaardbeskrev i sit afgangsprojekt et anbefalings-system baseret pa tilbagemeldinger fra be-troede brugere.58

Kildehenvisninger er en indirekte madeat sikre kvaliteten af en Wikipedia artikelpa. Disse henvisninger kan refere til blandtandet bøger, nyhedsartikler, eller trovær-digt materiale pa Internettet. Er der ikkeangivet en kilde til et udsagn i en artikelog tror man ikke pa det, kan man som skri-bent hurtigt indsætte {{fact}} i den en-gelske eller {{kilde mangler}} i den dan-ske Wikipedia og dermed angive at ‘nogen’bør sørge for en kildeangivelse, — eller s-lette informationen. Efterhanden er ganskemange artikler understøttet med henvisnin-ger. I slutningen af 2007 talte jeg at dervar over 70.000 strukturede henvisninger i

‖Wikipedia trust coloring demo, http://trust.cse.ucsc.edu/

5

Kan det blive ved?

Det bliver interessant at omWikipedia i fremtiden kanmodsta ‘angreb’ fra hvad mankunne kalde ‘kompetente van-daler’, — skribenter der ik-ke laver den vanlige grafitti-vandalisme, men skriver kom-petente bidrag der blot ervægtet bort fra Wikipedia’s‘neutrale synspunkt’. En virk-somhed eller en organisation,der ønsker et godt omdømme,vil være interesseret i at defremstar positivt pa Wikipe-dia,59 — og de ville kunne slet-te negativ omtale og fremhæ-ve positiv. Fortsætter Wikipe-dia’s popularitet med at stige

vil det blive mere og mere rele-vant at redigere i ens ‘Wikipe-dia image’. Kan de mange fri-villige Wikipedianere modstadet pres der nok opstar frafuldtidsansatte PR-folk?60

En af de første historier dersynliggjorde problemet varMicrosoft’s forsøg pa at be-tale en skribent til at rette ien artikel om abne dokument-standarder.61 Senere gjor-de den amerikanske ph.d.-student Virgil Griffith detnemt at opspore virksomhe-der’s Wikipedia-redigeringermed sin Internet-service Wiki-

Scanner. Det medførte en del

omtale i pressen. Blandt andetkunne BBC berette at ‘nogen’fra Diebold, fabrikanten afproblematiske afstemmings-maskiner, havde slettet infor-mation.62 Nogle maneder efterkunne avisen The Independent

skrive at ‘nogen’ fra BBC hav-de rettet i artiklen ‘Criticismof the BBC’. . . 63 Mulighedenfor at opspore redigeringernefik det nederlandske justits-ministerium til midlertidigt atforbyde dets 30.000 ansatte iat redigere i Wikipedia.64 EnWikiscanner for den danskeWikipedia findes ogsa.65

Wikipedia til videnskabelige tidsskriftsar-tikler. Tallet var mere end en fordoblingpa et ar. Jeg undersøgte videre i hvor højgrad disse henvisninger stemte overens medciteringerne man ser indenfor den viden-skabelige literatur,66 Det viser sig at detgør de ganske godt. Nar antallet af hen-visninger til de forskellige tidsskrifter bli-ver sammenlignet med tal fra Journal Cita-tion Reports er der en ganske god overens-stemmelse saledes at et tidsskrift der mod-tager mange Wikipedia-henvisninger ogsafar mange ‘videnskabelige’ citeringer. Foreksempel var de to mest citerede tidsskrif-ter fra Wikipedia Nature og Science. Dog erspecielt astronomi og astrofysiske tidsskrif-ter mere citeret fra Wikipedia end tallenefra Journal Citation Reports ville forudsige.Og overraskende er ogsa australske botani-ske tidsskrifter mere citeret end forventet.Det skyldes at en gruppe wikipedianere harsat sig for at skrive vel-understøttede artik-ler om den farvestralende planteslægt Bank-

sia, og ikke mindre end fire Banksia-artiklerhar opnaet Wikipedia’s ærefulde ’featured’status.

Hvorfor virker Wikipedia?

Trods de mange tekniske forslag til vurde-ring af tiltro er grunden til at Wikipedia vir-ker nok den at Wikipedia-systemet har væ-ret i stand til at tilstrække og fastholde deentusiastiske samarbejdende encyklopædi-nørder og været i stand til at gøre det be-sværlig for ondsindede eller skødesløse van-daler: At der er flere nørder end vandaler.54

At Wikipedia kan tiltrække skribenterskyldes blandt andet den lave barriere for atga i gang.67,68 For eksempel tager det blotto museklik og et tastetryk at rette en kom-mafejl. En del wikipedianer nævner ogsa atde begyndte at redigere i Wikipedia fordide opdagede fejl eller mangler ved en arti-kel som de vidste noget om.68 Betyder det sa

6

Figur 2: Programmet history flow fra IBM kan visualisere en artikels udvikling og nemtgive et overblik over hvornar store ændringer forekommer: Den danske Wikipedia’s artikelom Bobby Fischer bliver markant udvidet den 20. april 2005 af en anonym bruger. ‘Zor-robot’ star dog for de fleste redigeringer. Zorrobot er et norsk program der automatiskopdaterer de sma henvisninger til Wikipedia-artikler om Bobby Fischer pa andre sprog.

at jo mere korrekt og fuldstændig Wikipe-dia bliver jo svære vil den have i at tiltrækkenye brugere?

Et vigtigt element i en aben wiki somWikipedia er revisionssystemet, der beva-rer gamle versioner af artiklerne. Saledeskan vandaler godt nok slette skrevet in-formation, men det er dog let at genetab-lere udfra gamle gemte versioner. Det ersamtidig ogsa nemt at holde øje med an-dre brugeres bidrag. En andet teknisk e-lement der har betydning for kvalitetener diskussionssiderne der er knyttet tilhver enkelt artikels egentlige side. Pa den-ne type sider kan wikipedianerene disku-

tere og klage over problemer med for ek-sempel unøjagtigheder, læsbarhed og rele-vans.69 Revisionssystemet og diskussions-siderne muliggør ogsa at en wikipedianerkan opbygge et godt omdømme. Gratis-arbejdende Open Source programmører kanvære drevet af at fa anerkendelse.70 Lig-nende gør sig nok til en vis grad gælden-de for wikipedianere.67,71 Der findes flereweb-servicer der kan optælle en wikipedi-aners antal redigeringer, og statistik med‘List of Wikipedians by number of edits’opgøres, hvor en vis Rich Farmbrough harhaft ‘bragging rights’ som den ivrigste medsine 176.393 redigeringer i december 2007.∗∗

∗∗Redigeringsstatistikken er pa Wikipedia’s artikel ‘Wikipedia:List of Wikipedians by number of edits’(oldid = 180423533). Web-servicen WikiDashboard ved Palo Alto Research Center giver ogsa en ganskegod oversigt.

7

Desuden kan wikipedianere give hinandende sakaldte barnstars, der er udemærkelserfor godt arbejde.

Skabelsen af Wikipedia er en decentralproces uden økonomisk incitament, hvor in-dividuelle bidrag bliver sammenføjet til etkollektivt resultat. Visse web-spil har sam-me karakter: Hollywood Stock Exchange eret web-baseret markedsspil hvor det blandtandet gælder om at forudsige hvor meget enfilm vil indtjene. Deltagere kan gøre detteved frit at købe og sælge aktier i den kun-stige valuta ‘Hollywood dollars’. Fire ugerefter filmpremieren indløses Hollywood ak-tierne i forhold til den virkelige indtjening.Prisen pa aktien kommer saledes til at virkesom en forudsigelse pa en films virkelige ind-tjening. Tilbage i 2000 var jeg i en gruppeder undersøgte kunstige markedsspil’s ev-ne til at spa.72,73 Det gør de overraskendegodt. For eksempel kunne Hollywood Sto-ck Exchange forudsige Oscar-vindere bedreend udpegede eksperter. Tilsyneladende til-trækker spamarkederne vel-informerede ogvel-motiverede spillere hvis indbyrdes han-del skaber information, ogsa selv om de fri-villige deltagere ikke vinder virkelige penge.Der er ingen egentlig handel i Wikipedia,men wikipedianerne far skabt et miljø hvoren gensidig udveksling af information kol-lektivt skaber en af verdens mest besøgtehjemmesider.††

Litteratur

[1] Juan Carlos Perez. Wikipedia breaksinto U.S. top 10 sites. PCWorld, Fe-bruary 2007.

[2] Donna Shaw. Citing Wikipedia. A-merican Journalism Review, Febru-ary/March 2008.

[3] S. B. Sinha and Harjit Singh Bedi.Commr. Of Customs, Bangalore vs.m/s ACER India Pvt. Ltd. The Jud-gement Information System, December2007. Appeal (civil) 2321 of 2007.

Annotation: A case in theSupreme Court of India whe-re Wikipedia is used for thedefinition of ‘laptop’.

[4] Noam Cohen. Courts turn to Wikipe-dia, but selectively. The New York Ti-mes, January 2007.

[5] Jimmy Wales. Testimony of JimmyWales founder of the Wikipedia and ofthe Wikimedia Foundation regarding“e-government 2.0: Improving innova-tion, collaboration, and access” befo-re the U.S Senate committee on ho-meland security and governmental af-fairs, December 2007.

[6] Torsten Kleinz and Craig Morris. Ger-man Wikipedia receives state funding.heise online, July 2007.

[7] Chris Taylor. It’s a wiki, wiki world.TIME, May 2005.

[8] Jakob Voß. Measuring Wikipedia. InProceedings International Conferenceof the International Society for Sci-entometrics and Informetrics : 10th,2005.

[9] Aaron Swartz. Who writes Wikipedia.Raw Thought, September 2006. Blog.

[10] Felipe Ortega, Jesus M. Gonzalez-Barahona, and Gregorio Robles. Onthe inequality of contributions toWikipedia. In Proceedings of the 41stHawaiian International Conference onSystem Sciences (HICSS-2008), 2008.

††Der er en hel del flere videnskabelige artikler om og med Wikipedia end dem jeg har beskrevether.74–85 Pa dansk har universitetsstuderende ogsa skrevet om Wikipedia.86, 87 I øjeblikket er der ogsaen lang liste pa den engelske Wikipedia-side ‘Wikipedia:Wikipedia in academic studies’.

8

Annotation: Computationof the Gini coefficient forauthor contributions for thetop ten largest Wikipedias.The find the Gini coefficientsto be from 0.92 to 0.97. Havethey excluded bots? Whichnamespaces are they lookingat?

[11] Wray Buntine. Static ranking of webpages, and related ideas. In MichelBeigbeder and Wai Gen Yee, editors,Open Source Web Information Retrie-val, October 2005.

[12] Francesco Bellomi and Roberto Bona-to. Network analysis of Wikipedia. InProceedings of Wikimania 2005 — T-he First International Wikimedia Con-ference, 2005.

Annotation: Describes re-sults of application of Page-Rank and Kleinberg’s HITSalgorithm on the EnglishWikipedia corpus. “UnitedStates” scored highest in bo-th. Entries related to religionscored high PageRank.

[13] A. Capocci, V. D. P. Servedio, F. Colai-ori, L. S. Buriol, D. Donato, S. Leonar-di, and G. Caldarelli. Preferential atta-chment in the growth of social networ-ks: The internet encyclopedia Wikipe-dia. Physical Review E, 74:036116,September 2006.

[14] V. Zlatic, M. Bozicevic, H. Stefancic,and M. Domazet. Wikipedias: Col-laborative web-based encyclopedias ascomplex networks. Physical Review E,74(1):016115, July 2006.

[15] Todd Holloway, Miran Bozicevic, andKaty Borner. Analyzing and visua-lizing the semantic coverage of Wikipe-

dia and its authors. Complexity,12(3):30–40, January 2007.

[16] Torsten Zesch and Iryna Gurevych. A-nalysis of Wikipedia category graphfor NLP applications. In TextGraphs-2: Graph-Based Algorithms for NaturalLanguage Processing. Proceedings of t-he Workshop, pages 1–8, New Brunswi-ck, New Jersey, USA, April 2007. TheAssociation for Computational Lingui-stics.

Annotation: Descriptionof the use of the Wikipe-dia category graph for de-termining semantic related-ness. Several different simila-rity and distance measureson the graph are exami-ned on several human labe-led datasets from the Ger-man Wikipedia. Graph cha-racteristics (average shortestpath, cluster coefficient andpower law exponent) are alsoshown.

[17] A. Capocci, F. Rao, and G. Caldarel-li. Taxonomy and clustering in col-laborative systems: The case of theon-line encyclopedia Wikipedia. EPL,81(2):28006, January 2008.

[18] Dennis M. Wilkinson and Bernardo A.Huberman. Cooperation and quali-ty in Wikipedia. In Proceedings of t-he 2007 international symposium onWikis, pages 157–164, New York, NY,USA, 2007. ACM.

Annotation: An investiga-tion of what signals quali-ty articles on the EnglishWikipedia. A growth modelis suggested for the numberof edits on an article, and t-his lognormal model shows

9

good agreement with the ob-served number of edits. It isalso shown that older artic-les ypically have more editsthan newer articles and thatquality articles have compa-rably more edits, many di-stinct editors, many edits inits talk page, a quick ‘tur-naround’ and a high num-ber of edits per editor whencorrecting for article age andGoogle PageRank. They wri-te that featured articles withhigh Google PageRank havea lower number of talk pageedits than articles with lowPageRank. it is not clear if t-hat effect is due to archiving.

[19] Dennis M. Wilkinson and Bernardo A.Huberman. Assessing the value of coo-peration in Wikipedia. First Monday,12(4), April 2007.

[20] Mike Rogoway. Inventor of the wikihas a new job in Portland. OregonLi-ve.com, May 2007.

[21] Curtis Krueger. There’s no end to it.Floridan, November 2004.

[22] Jakob Voß. Collaborative thesaurustagging the Wikipedia way. arXiv,April 2006.

[23] Daniel H. Pink. Folksonomy. The NewYork Times, December 2005.

[24] Michael Strube and Simone Paolo Pon-zetto. WikiRelate! computing semanticrelatedness using Wikipedia. In Proce-edings of the Twenty-First AAAI Con-ference on Artificial Intelligence, pa-ges 1419–1424, Menlo Park, Califonia,2006. AAAI Press.

[25] Maria Ruiz-Casado, Enrique Alfon-seca, and Pablo Castells. Automatic

extraction of semantic relationships forWordNet by means of pattern learningfrom Wikipedia. In Natural Langu-age Processing and Information Sy-stems, volume 3513 of Lecture Notes inComputer Science, pages 67–79, Ber-lin/Heidelberg, May 2005. Springer.

[26] Maria Ruiz-Casado, Enrique Alfon-seca, and Pablo Castells. Automaticassignment of Wikipedia encyclopedicentries to WordNet synsets. In Advan-ces in Web Intelligence, volume 3528of Lecture Notes in Computer Scien-ce, pages 380–386, Berlin/Heidelberg,2005. Springer.

[27] Maria Ruiz-Casado, Enrique Alfon-seca, and Pablo Castells. Automatisingthe learning of lexical patterns: An ap-plication to the enrichment of Word-Net by extracting semantic relations-hips from Wikipedia. Data & Know-ledge Engineering, 61(3):484–499, June2007.

[28] Andrew Krizhanovsky. Synonymsearch in Wikipedia: Synarcher. In 11-th International Conference “Speechand Computer” SPECOM’2006. Rus-sia, St. Petersburg, June 25–29, pages474–477, 2006.

Annotation: Descriptionof the Synarcher program t-hat analyze Wikipedia withthe Kleinberg HITS algo-rithm and present relatedterms to a query term in agraph visualization.

[29] Evgeniy Gabrilovich and Shaul Marko-vitch. Overcoming the brittlenessbottleneck using Wikipedia: Enhan-cing text categorization with encycl-opedic knowledge. In Proceedings ofthe Twenty-First National Conference

10

on Artificial Intelligence, pages 1301–1306, Menlo Park, California, 2006.AAAI Press.

[30] Evgeniy Gabrilovich and Shaul Marko-vitch. Computing semantic related-ness using Wikipedia-based explicit se-matic analysis. In Proceedings of TheTwentieth International Joint Confe-rence for Artificial Intelligence, pages1606–1611, 2007.

[31] Magnus Sigurdsson and Søren Chri-stian Halling. Zeeker: A topic-basedsearch engine. Master’s thesis, Infor-matics and Mathematical Modelling,Technical University of Denmark, Kon-gens Lyngby, Denmark, 2007.

[32] Jenny Kleeman. Wikipedia ban for dis-ruptive professor. The Observer, De-cember 2007.

[33] Jim Giles. Internet encyclopaedias gohead to head. Nature, 438(7070):900–901, December 2005.

Annotation: Report of acomparison of the accuracyin Wikipedia and Encyclope-dia Britannica

[34] Wikipedia schlagt Brockhaus. Stern,December 2007.

[35] K. C. Jones. German Wikipedia out-ranks traditional encyclopedia’s onlineversion. InformationWeek, December2007.

[36] Wikipedia schlagt die Profis. SpiegelOnline, December 2007.

[37] Torsten Kleinz. Reputation undWikipedia: von Einfluss, Anerkennungund Vergleichen. heise online, Decem-ber 2007.

[38] Thomas Chesney. An empirical exami-nation of Wikipedia’s credibility. FirstMonday, 11(11), 2006.

[39] Alex Halavais. The Isuzu experiment.a thaumaturgical compendium, August2004. Blog.

[40] How authoritative is Wikipedia. Dis-patches from the Frozen North, Sep-tember 2004. Blog.

[41] Fernanda B. Viegas, Marting Watten-berg, and Kushal Dave. Studying coo-peration and conflict between authorswith history flow visualizations. InElizabeth Dykstra-Erickson and Man-fred Tscheligi, editors, Proceedings ofthe SIGCHI conference on Human fa-ctors in computing systems, pages 575–582, New York, NY, USA, 2004. ACM.

[42] John Seigenthaler. A false Wikipedia‘biography’. USATODAY.com, 2005.

[43] Noam Cohen. A history departmentbans citing Wikipedia as a researchsource. The New York Times, Febru-ary 2007.

Annotation: MiddleburyCollege history departmenthas banned students from u-sing Wikipedia as a source

[44] Alistair Coleman. Students ‘should u-se Wikipedia’. BBC NEWS, December2007.

[45] Donald MacLeod. Students marked onwriting in Wikipedia. Guardian Unli-mited, March 2007.

[46] Associated Press. University class hasstudents updating Wikipedia. FOX-News.com, November 2007.

[47] Denise Anthony, Sean W. Smith, andTim Williamson. The quality of open

11

source production: Zealots and goodsamaritans in the case of Wikipedia.Technical Report TR2007-606, De-partment of Computer Science, Dart-mouth College, Hanover, New Hamps-hire, April 2007.

Annotation: An investi-gation of 7058 contributorson the French and DutchWikipedias, to answer whet-her contributions from regi-stered users have higher qua-lity than anonymous users.Each user is measured wrt.retention of their added text,while not considering, e.g., e-dit wars. They find that theretention is higher for anony-mous users.

[48] Brandon Keim. WikiMedia. Natu-re Medicine, 13(3):231–233, February2007.

Annotation: An editori-al describing wikis usedin medicine and biology.Wikipedia, Digital Universe,Citizendium, Ganfyd, Ask-DrWiki and OpenWetWareare descriped.

[49] Kermit K. Murray. Mass spectrometryon Wikipedia: Open source and peerreview. Presented at the 55th ASMSConference on Mass Spectrometry, Ju-ne 3–7, 2007, Indianapolis, Indiana, Ju-ne 2007.

[50] Jacobi Carter. ClueBot and vandalismon Wikipedia, 2007.

[51] Pierpaolo Dondio, Stephen Barrett,Stefan Weber, and Jean Marc Seign-eur. Extracting trust from domain a-nalysis: A case study on the Wikipe-dia project. In Autonomic and Tru-

sted Computing, volume 4158 of Lec-ture Notes in Computer Science, pa-ges 362–373, Berlin/Heidelberg, Octo-ber 2006. Springer.

[52] Honglei Zeng, Maher Alhossaini,Li Ding, Richard Fikes, and Debo-rah L. McGuinness. Computing trustfrom revision history. In Proceedings ofthe 2006 International Conference onPrivacy, Security and Trust, October2006.

Annotation: Sets up a sta-tistical model (a dynamicBayesian network) for mo-deling of Wikipedia articletrust by looking at the revi-sion history.

[53] Deborah L. McGuinness, Hong-lei Zeng, Paulo Pinheiro da Silva,Li Ding, Dhyanesh Narayanan, andMayukh Bhaowal. Investigations intotrust for collaborative informationrepositories: A Wikipedia case stu-dy. In Proceedings of the Workshopon Models of Trust for the Web,Edinburgh, United Kingdom, May2006.

[54] B. Thomas Adler and Luca de Alfaro.A content-driven reputation system forthe Wikipedia. In Proceedings of the16th international conference on Wor-ld Wide Web, pages 261–270, New Y-ork, NY, USA, 2007. ACM.

[55] B. Thomas Adler, J. Benterou,K. Chatterjee, Luca de Alfaro, I. Pye,and V. Raman. Assigning trust toWikipedia content. Technical ReportUCSC-CRL-07-09, School of Engine-ering, University of California, SantaCruz, CA, USA, November 2007.

[56] Brian Bergstein. New tool measuresWikipedia entries. USATODAY.com,September 2007.

12

[57] Andrew Lih. Wikipedia as participa-tory journalism: Reliable sources? me-trics for evaluating collaborative mediaas a news resource. In 5th InternationalSymposium on Online Journalism. T-he University of Texas at Austin, April2004.

Annotation: A study exa-mining the inbound citationsto Wikipedia from press ar-ticles published in 2003 andparts of 2004. It displays “di-versity” (number of indivi-dual editors of an article) a-gainst “rigor” (number of e-dits for an article) in someWikipedia articles and thestudy regard these as indica-tors of quality. World War II,Islam and Astronomy scoredhigh on these dimensions. T-he indicators of article quali-ty increased after press cita-tion for some Wikipedia ar-ticles.

[58] Thomas Rune Korsgaard. Improvingtrust in the Wikipedia. Master’s the-sis, Technical University of Denmark,Kongens Lyngby, Denmark, 2007.

[59] Jens Schnabel. Reklamering paWikipedia er en grazone. Comon.dk,July 2007.

[60] Thomas Claburn. Law professor pre-dicts Wikipedia’s demise. Informa-tionWeek, December 2006.

[61] Brian Bergstein. Microsoft offerscash for Wikipedia edit. Washington-post.com, January 2007.

[62] Jonathan Fildes. Wikipedia ‘showsCIA page edits’. BBC NEWS, August2007.

[63] Brian Brady. BBC staff rewroteWikipedia pages to water down cri-ticism. The Independent, December2007.

[64] Associated Press. Ministry bansWikipedia editing. Guardian Unlimi-ted, November 2007.

[65] Asger Westh. Wikipedia: Den elektro-niske slagmark. epn.dk, January 2008.

Annotation: A news arti-cle about a version of theWikiScanner for the DanishWikipedia.

[66] Finn Arup Nielsen. Scientific citationsin Wikipedia. First Monday, 12(8), Au-gust 2007.

Annotation: Statistics onthe outbound scientific ci-tation from Wikipedia withgood correlation to the Jour-nal Citation Reports from T-homson Scientific.

[67] Andrea Ciffolilli. Phantom authority,self-selective recruitment and retentionof members in virtual communities: T-he case of Wikipedia. First Monday,8(12), December 2003.

[68] Susan L. Bryant, Andrea Forte, andAmy Bruckman. Becoming Wikipedi-an: transformation of participation ina collaborative online encyclopedia. InProceedings of the 2005 internationalACM SIGGROUP conference on Sup-porting group work, pages 1–10, NewYork, NY, USA, 2005. ACM.

Annotation: Describes in-terviews with 9 Wikipediacontributors and some of t-heir characteristics: Most of

13

the contributors tell that t-heir initial edit was for cor-recting a problem or exten-ding a weak article. As novi-ces they were not aware of t-he Wikipedia community. Asmore experienced contribu-tors they get a sense of com-munity and decrease articlewriting and increase admini-stration.

[69] Besiki Stvilia, Michael B. Twidale, LesGasser, and Linda C. Smith. Informa-tion quality discussions in Wikipedia.In Suliman Hawamdeh, editor, Know-ledge Management. Nurturing Cultu-re, Innovation, and Technology. Proce-edings of the 2005 International Confe-rence on Knowledge Management, pa-ges 101–113, Singapore, October 2005.World Scientific.

Annotation: An analysiswith respect to informationquality of a sample of thediscussion pages on Wikipe-dia. The mostly qualitativeanalysis is based on the t-heir own information qualityassessment model, and theyprovide example quotationsfrom the pages. They conclu-de that ‘the Wikipedia com-munity takes issues of quali-ty very seriously’.

[70] Tor Nørretranders. Det generøse men-neske: En naturhistorie om at umagegiver mage. People’sPress, 2006.

Annotation: A book dub-bing ‘Homo generosus’ anddiscussing issues such as al-truism, gift economy, ge-nerosity, reciprocity, coope-ration, moral, costly signals,

the handicap principle, sexu-al selection and economic ga-mes.

[71] Bernhard Hoisl, Wolfgang Aigner, andSilvia Miksch. Social rewarding in wikisystems — motivating the communi-ty. In Online Communities and Soci-al Computing, volume 4564 of LectureNotes in Computer Science, pages 362–371, Berlin/Heidelberg, August 2007.Springer.

Annotation: A suggestionfor a computation of reputa-tion of the individual aut-hors in a wiki-system. For-mulas are show but it is notclear if the suggestion is te-sted on a real wiki.

[72] David M. Pennock, Steve Lawrence,C. Lee Giles, and Finn Arup Nielsen.The real power of artificial markets.Science, 291(5506):987–988, February2001.

Annotation: A brief notereporting that artificial mar-kets, such as Hollywood Sto-ck Exchange and ForesightExchange, are good predic-tors of future outcomes.

[73] David M. Pennock, Steve Lawrence,Finn Arup Nielsen, and C. Lee Gi-les. Extracting collective probabilisticforecasts from web games. In Proce-edings of the seventh ACM SIGKDDinternational conference on Knowled-ge discovery and data mining, pages174–183, New York, NY, USA, August2001. SIGKDD, Association for Com-puting Machinery, ACM.

[74] Andreas Neus. Managing informationquality in virtual communities of prac-tice. In E. Pierce and R. Katz-Haas,

14

editors, Proceedings of the 6th Interna-tional Conference on Information Qua-lity at MIT, Boston, MA, 2001. SloanSchool of Management.

[75] Sisay Fissaha Adafre and Maartende Rijke. Discovering missing linksin Wikipedia. In Jafar Adibi, MarkoGrobelnik, Dunja Mladenic, and Patri-ck Pantel, editors, Proceedings of the3rd international workshop on Link di-scovery, pages 90–97, New York, NY,USA, 2005. ACM.

[76] William Emigh and Susan C. Herring.Collaborative authoring on the web: Agenre analysis of online encyclopedias.In Proceedings of the Proceedings of t-he 38th Annual Hawaii] InternationalConference on System Sciences ([HI-CSS’05), page 99.1, Washington, DC,USA, 2005. IEEE Computer Society.

[77] Jenneke Fokker, Johan Pouwelse, andWray Buntine. Tag-based naviga-tion for peer-to-peer Wikipedia. Col-laborative Web Tagging Workshop,WWW2006.

[78] Nikolaos Th. Korfiatis, Marios Poulos,and George Bokos. Evaluating authori-tative sources using social networks: aninsight from Wikipedia. Online Infor-mation Review, 30(3):252–262, 2006.

[79] Ulrike Pfeil, Panayiotis Zaphiris, andChee Siang Ang. Cultural differencesin collaborative authoring of Wikipe-dia. Journal of Computer-MediatedCommunication, 12(1):88–113, Octo-ber 2006.

[80] Klaus Stein and Claudia Hess. Does itmatter who contributes: a study on fe-atured articles in the german Wikipe-dia. In Proceedings of the 18th con-ference on Hypertext and hypermedia,pages 171—174, New York, NY, USA,2007. ACM.

[81] Aniket Kittur, Bongwon Suh, Bryan A.Pendleton, and Ed H. Chi. He says,she says: Conflict and coordinationin Wikipedia. In Proceedings of theSIGCHI conference on Human factorsin computing systems, pages 453–462,New York, NY, USA, April 2007. A-CM.

[82] Aniket Kittur, Ed Chi, andTodd Mytkowicz Bryan A. Pend-leton, Bongwon Suh. Power of the fewvs. wisdom of the crowd: Wikipediaand the rise of the bourgeoisie. InComputer/Human Interaction 2007.ACM SIGCHI, 2007. This is not foundin the CHI 2007 proceedings.

[83] Fernanda B. Viegas. The visual side ofWikipedia. In 40th Annual Hawaii In-ternational Conference on System Sci-ences (HICSS’07), page 85a, Washing-ton, DC, USA, 2007. IEEE ComputerSociety.

Annotation: Descrip-tion of how images areconstructed and used onWikipedia, as well as asurvey among 29 ‘featuredpicture’ contributors.

[84] Fernanda B. Viegas, Martin Watten-berg, and Matthew M. McKeon. T-he hidden order of Wikipedia. InLecture Notes in Computer Science,volume 4564, pages 445–454, Ber-lin/Heidelberg, 2007. Springer.

[85] Soren Auer, Christian Bizer, GeorgiKobilarov, Jens Lehmann, Richard Cy-ganiak, and Zachary Ives. DBpedia: Anucleus for a web of open data. In TheSemantic Web, volume 4825 of Lectu-re Notes in Computer Science, pages722–735. Springer, 2008.

15

Annotation: Descriptionof a system that extracts in-formation from the templa-tes in Wikipedia, process t-hem and presents them invarious ways. Some of themethods and services they u-se are MySQL, Virtuoso, O-penCyc, GeoNames, Freeba-se, SPARQL and SNORQL.The system is available fromhttp://DBpedia.org

[86] Niels Mølbjerg Lund Pedersen and An-ders Due. Wikipedia — viden som so-cial handlen. Master’s thesis, Depart-ment of Media, Cognition and Com-munication, University of Copenhagen,Copenhagen, Denmark, August 2006.

[87] Anders J. Jørgensen. Den epistemiskehensigtsmæssighed af abne kontra luk-kede videnskabende samarbejdsformer— med speciel hensynstagen til peer-reviews og internetfænomenet Wikipe-dia, January 2007.

$Id: Nielsen2008Wikipedia.tex,v 1.39 2008/04/09 10:00:29 fn Exp $

16