ontology technology and its applications on the internet
DESCRIPTION
Ontology Technology and Its Applications on the Internet. 李健興 長榮大學資訊管理系. Outline. Web Service Semantic Web Ontology Knowledge Management System Some Applications on the Internet Conclusion. Web Service. The Evolution Of E-business. Web Services. Commerce. Transact. Leverage your. - PowerPoint PPT PresentationTRANSCRIPT
-
Ontology Technology and Its Applications on the Internet
-
OutlineWeb ServiceSemantic WebOntologyKnowledge Management SystemSome Applications on the InternetConclusion
-
Web Service
-
What is Web Service?A new model for creating dynamic distributed applications with common interfaces for efficient communication across the Internet.Self-describing, self-contained, modular applications that can be mixed and matched with other Web services to create innovative products, processes, and value chains.
-
WWW vs. Web ServiceWeb service supports dynamic interaction
-
The Elements of a Web ServiceKey PlayersThe Service ProviderThe Service RequesterThe Service RegistryKey FunctionsPublishFindBound
-
(SOAP)
(UDDI)
(WSDL)
Dynamic Request/ Rule Setting
Mobile Web Service for CREDIT Center
-
Web ServicesCan beDescribedPublishedFoundBoundInvokedComposed
-
Examples of Web ServicesBusiness information with rich content: weather reports, credit check, news feeds, stock quotes, airline schedules, auctionsTransactional web services for B2B or B2C: airline reservations, supply chain management, rental car agreements, purchase order.
-
Examples of Web ServicesBusiness process externalization: business linkages at the workflow level, net marketplace, extended supply chains.E-governmentE-learningDigital library
-
Web Service Mechanism
-
SOAPSimple Object Access ProtocolHTTP + XMLThe most popular protocols on the internetFirewall considerationCross platform messaging standardIs being standardized by W3C under the name XML Protocol
-
WSDLWeb Services Description LanguageProposed by Ariba, IBM, MicrosoftWSDL is an XML format for describing network servicesBindingInterface
-
UDDI
-
Semantic Web
-
BackgroundGrowing complexity in web space * scaledevice typesmedia typeSimplicity of HTTP and HTML has caused bottlenecks that hinder searching, extracting, maintaining, and generating information.Readable to human machine Knowledgeable usage of webs Efficiency in handling web data understandable.
-
BackgroundNeeds of service automation: browsing by users to retrieve information automatically cooperating by webs to provide services.So, we need the third generation webs.(hand written HTML pages machine generated HTML pages semantic web)
-
Layers of Semantic WebUnicode + URI (foundation) layerXML (syntactic interoperability) layerRDF + Schema (data interoperability) layerOntology (data inter-conversion) layerLogic (interoperability) layer
-
Architecture of Semantic Web
-
RDF and RDF SchemaDeveloped by W3C for describing Web resources, allows the specification of the semantics of data based on XML in a standardized, interoperable manner.It also provides mechanisms to explicitly represent services, processes, and business models, while allowing recognition of nonexplicit information.
-
RDF and RDF SchemaBasically, RDF is based on O-A-V representation scheme. RDF does not provide mechanisms for defining the relationships between properties (attributes) and resources.RDFS offers primitives for defining knowledge models that are closer to frame-based approaches.Protg, Mozilla, Amaya, etc. adopt RDF(s).
-
Language stack in Semantic Web
-
Ontology
-
OntologyA Revolution for Information Access and Integration.An ontology is a formal, explicit specification of a shared conceptualization.ConceptualizationExplicitFormal
-
OntologyThe main application areas of ontology technologyKnowledge managementWeb commerceElectronic business
-
What is an Ontology?Ontology explicit formal specifications of the terms in the domain and relations among them.An ontology contains a hierarchy of concepts within a domain and describes each concepts property through an attribute-value mechanism.Relations between concepts describe additional logical sentence.
-
Ontology Example. . . . . . . . . . . . . . . . . .
/
:***(Neu):***(Nc)(Ncd)(Neu)(Nf)::
***(Neu)***(Neu):
:
:
:
: ::
:
:
/:
:
-
DAML+OIL format
-
Characteristics of OntologyFormal SemanticsConsensus of termsMachine readable and processableModel of real worldDomain specific
-
Reasons to Develop OntologiesTo share common understanding of the structure of information among people or software agents.To enable reuse of domain knowledge.To make domain assumptions explicit.To separate domain knowledge from the operational knowledge.To analyze domain knowledge.
-
Process of Developing an OntologyDeveloping an ontology includes:Determine the domain and scope of the ontology.Consider reusing existing ontologies.Enumerate important terms in the ontology.Define classes in the ontology and arrange the classes in a taxonomic (subclass-superclass) hierarchy.Define attribute and describe allowed values for these attribute.Fill in the values for attribute for instance.
-
Ontology Learning Process
-
Knowledge Management System
-
CREDIT KM SystemProcess ManagementWorkflow BPM + Web serviceCMMI ()Mobile WorkflowDocument ManagementKnowledge Map (Ontology)Q and AFAQPersonalizationSemantic Search
-
CREDIT KM SystemMeeting ManagementMeeting SchedulingMeeting NotificationMeeting Follow-upMessage ManagementBBSNotificationDirectory Service for Message Delivery
-
CMMICapability Maturity Model Integrated (CMMI)1991
-
Maturity Level 2Maturity Level 2Process Area 1Requirement ManagementProcess Area 2Project PlanningProcess Area 3Project Monitoring and ControlProcess Area 4Supplier Agreement ManagementProcess Area 5Measurement and AnalysisProcess Area 6Process and Product Quality AssuranceProcess Area 7Configuration Management
-
Automatic Construction of OO OntologyUse object-oriented data model to represent ontologies.Follow object-oriented analysis procedure to build ontologies.Apply natural language processing technology to extract key terms from documents.
-
Automatic Construction of OO OntologyApply SOM clustering technology to find concepts and instances.Apply data mining technology and morphological analysis to extract attributes, operations, and associations of instances.Aggregate attributes, operations, and associations of instances to class.
-
Domain OntologyDomainCategory 2C : ConceptA : AttributeO : OperationCategory 1Category 3Category kClass-layerC1AC11,AC12 ,,AC1q1CmACm1,ACm2,,ACmqmOCm1 ,OCm1,,OCmqmC2AC21,AC22 ,,AC2q2C3AC31,AC32 ,,AC3q3C4AC41,AC42,,AC4q4OC41,OC41,,OC4q4C5AC51,AC52,,AC5q5OC51,OC51,,OC5q5AssociationEvent E1Event E2Event E3Event EpOC11 ,OC11,,OC1q1OC21 ,OC21 ,,OC2q2OC31 ,OC31 ,,OC3q3
-
Concepts Class and Instance
+()+oi()
-{() : String- : String-`(BH) : String-F : String- : String-C : String
a
+()+oi()
-{() : String = [{Bw{- : String = ByBOBsB[BF-` : String = -F : String = @MBD- : String = cBjHBpdB`pB|-C : String = ylBCNN
(BQX)
-
Domain Ontology ConstructionEpisodesDocumentPre-processingDomainOntologyNounsSentencesConceptsConcept ClusteringEpisode ExtractionAttributes, Operations,Associations ExtractionChineseDictionary
-
Stop Word FilterNouns/VerbsRepositoryEpisode NetRepositoryEpisode Net ExtractorEpisodeExtractorConceptExtractorAttributes-Operation- Association ExtractorEpisodesRepositoryConceptsRepositoryChinese Domain OntologyOntology Construction AgentEnglish Domain OntologyCommon Data FlowChinese Data FlowEnglish Data FlowPart-Of-Speech Tagger
Domain Term Combination ProcesserInput DocumentsHowNetWordNetChineseTermDictionaryEnglishTermDictionaryKnowledge BaseGenetic Learning
-
Episodes ExtractorAn episode is a partially ordered collection of events occurring together.
-
Episodes ExtractorThe following shows an example of extraction of episode from a sentence (Nc)(Na)(Nb)(VJ)(Nes)(Nf)(Nb)(Na)(A)(Na)(DE)(Nb)(PERIODCATEGORY) (, Nc, 1)(, Na, 2)(, Nb, 3)(, VJ, 4)(, Nb, 5)(, Na, 6)(, Na, 7)(, Nb, 8) (Nc)_(Na)_(Nb)Germany_keeper_Oliver Kahn(Nb)_(VJ)_(Nb)Oliver Kahn_took_Golden Ball POS TaggerStop Word FilterEpisode Extractor
-
Internete-News RetrievalAgent Fuzzy InferenceAgentChinese e-News SummaryChinese e-NewsOntologyChinesee-News SummaryRepositoryReal-time e-NewsRepositorye-News RepositoryGUIPOS Tagger(CKIP)Chinese Term FilterDocument Processing AgentOFEE AgentExtracted-EventOntologyEvent Ontology FilterSentenceRule BaseSentence GenerationAgentSummarization AgentDocument Abstraction Agent
-
Semantic SearchHuman-readableHTMLMachine-readableXMLMachine-understandableSemantic Web with Ontology (RDF,DAML+OIL, OWL)
-
Semantic SearchKeyword-based searchSingle-word queryContext queryBoolean queryConceptual searchConceptual queryNatural language querySemantic searchOntology-reasoning query
-
Why Semantic SearchMass information make user confused, current search engines are not good enough. (e.g. v.s. )Quality is more important than QuantitySearch by "what they means" not just "what they say"The user who has no idea about domain terminologies cant find information easily.
-
Question & Answer SystemQuestion analysis5W1Hwhat, who, when, where, why, and how.Indirectly question & otherYesNo questionetc.Answer analysisQuestion type5W1HDomainDomain knowledge
-
Question & Answer System
-
Question & Answer Knowledge BaseDomain ontologyObject-oriented ontology Question ontologyThe knowledge of question domainTo Classify and extract questionAnswer ontologyThe knowledge map of Q&A knowledge base
-
Question & Answer Knowledge BaseAlternation RuleMorphological Lexical Semantic Ontology supervisionOntology managementOntology inference
-
Ontology Based Personalized Information ServiceMake a specific information service that can adapt to the behavior of each user.Provide a mechanism that can observe and analyze the browsing behavior of each user.Produce a structure with personal custom and preferences for other services using.
-
Personal Ontology
-
User Behavior AnalysisIn order to find out users favor tendency, the first job is analyzing the habitual behavior of reading.Consider two features: reading time and reading frequency. Consider reading time is related with content length, change the feature to
-
Personal Ontology
-
Meeting Scheduling Architecture
-
Meeting SchedulingDecision Support System (MSDSS)
Group CalendarData Base(GCDB)
Genetic LearningAgent (GLA)
Fuzzy Inference Agent (FIA)
MeetingInformationKnowledgeBase (MIKB)
PersonalizedKnowledgeBase (PKB)
EvaluationModule
Meeting NegotiationAgent (MNA)
user names
proper timewithwork priority
IFA
-
Fuzzy Inference Agent
-
Layer 1(input linguisticnodes)
Layer 2(input termnodes)
Layer 3(rule nodes)
Layer 4(output termnodes)
Layer 5(output linguisticnodes)
invitee 1
x11
x12
x1m
invitee 2
x21
x22
x2m
invitee n
xn1
xn2
xnm
. . . . .
y1
attend possibility 1
y2
attend possibility 2
yn
attend possibility n
-
Genetic Learning Agent
-
Initiation
Selection
Crossover
Mutation
CurrentPopulation
NewPopulation
Evaluation
replace
PersonalizedKnowledgeBase (PKB)
MeetingInformationKnowledgeBase (MIKB)
Fuzzy Inference Agent (FIA)
Start
elitism
-
Some Applications on the Internet
-
A Fuzzy Ontology and Its Application to News Summarization
C-S Lee, Z-W Jian, and L-K Huang, (SCI) IEEE Transactions on Systems, Man and Cybernetics Part B, 2005. (To be published)
-
Fuzzy OntologyDomainCategory 2C : ConceptA : AttributeO : OperationCategory 1Category 3Category kClass-layer{C1;C1E1,C1E2,,C1Ep}AC11,AC12 ,,AC1q1{Cm;CmE1,CmE2,,CmEp}ACm1,ACm2,,ACmqmOCm1 ,OCm1,,OCmqm{C2;C2E1,C2E2,,C2Ep}AC21,AC22 ,,AC2q2{C3;C3E1,C3E2,,C3Ep}AC31,AC32 ,,AC3q3{C4;C4E1,C4E2,,C4Ep}AC41,AC42,,AC4q4OC41,OC41,,OC4q4{C5;C5E1,C5E2,,C5Ep}
AC51,AC52,,AC5q5OC51,OC51,,OC5q5AssociationEvent E1Event E2Event E3Event EpOC11 ,OC11,,OC1q1OC21 ,OC21 ,,OC2q2OC31 ,OC31 ,,OC3q3LBRLNR
-
Fuzzy Ontology Construction InternetRetrievalAgentNewsCorpusMeaningfulTermsConcept SetFuzzyInferenceMechanismDocumentPreprocessingMechanismChineseNewsDictionaryTermClassifierClassifiedMeaningfulTerm Set
-
Fuzzy Inference Mechanism Layer 1 (Input linguisticlayer) TE11TE1n1. . . . Term set of event 1Concept set of domain ontologyCOA TRSTRSTRSTRSTRSPOSTWSDCOATRSTRSTRSTRSTRSC1Cm. . . . TE1iCjPOSTWSD TEp1TEpnp. . . . Term set of event pConcept set of domain ontologyCOA TRSTRSTRSTRSTRSPOSTWSDCOATRSTRSTRSTRSTRSC1Cm. . . . TEpiCjPOSTWSDLayer 2 (Input term layer)Layer 3 (Rule layer)Layer 4 (Output term layer)Layer 5 (Output linguistic layer)C1E1Event 1Event pLayer 6 (Summation layer)Layer 7 (Integration layer)ImI1CmE1C1EpCmEpCOACOAyE111yE11myE1n1mCOACOAyE1n11yEp11yEp1myEpnpmyEpnp1C1E1CmE1C1EPCmEP
-
News Agent for News Summarization DocumentPreprocessingMechanismSentence PathExtractorSentence GeneratorSentenceFilterNews SummaryRepositoryFuzzyOntologyInternetRetrievalAgentNews Agent
-
Sentence Path Extractor
{H; 0.99, 0.85, 1.0}
AH:{Null}
OH:{Null}
{B; 1.0, 0.96, 1.0}
{; 0.79, 0.66, 0.84}
A:{}
O:{Null}
AB:{B}
OB:{o}
{; 1.0, 0, 1.0}
A:{}
O:{Null}
{xWa; 1.0, 0.99, 1.0}
AxWa:{xW}
OxWa:{Null}
P
I
{Central Weather Bureau; 0.99, 0.85, 1.0}
ACWB:{Null}
OCWB:{Null}
{Rain; 1.0, 0.96, 1.0}
{Future Time; 0.79, 0.66, 0.84}
AFT:{Tomorrow}
OFT:{Null}
AR:{Rain}
OR:{Occur}
{Typhoon; 1.0, 0, 1.0}
AT:{A medium typhoon}
OT:{Null}
{Taiwan; 1.0, 0.99, 1.0}
AAT:{Taiwan}
OAT:{Null}
Expect
Has
Has
Attack
-
Sentence Path Extractor (cont.)The Sentence Path Extractor uses the Depth-First-Search algorithm to look for possible sentence paths from the fuzzy ontology.Sentence Path P: [Concept Name][Concept Name][Concept Name]
Sentence Path 1: [][][][]Corresponding English Version:[Central weather bureau][Future time][Typhoon][Taiwan]
Sentence Path 2:[][][]Corresponding English Version:[Central weather bureau][Future time][Rain].
-
Sentence Generator The Sentence Generator generates a set of sentences based on the temporary fuzzy ontology. Sentence Si: [Concept Name, Attribute_value, Operation]Relation[Concept Name, Attribute_value, Operation]Relation[Concept Name, Attribute_value, Operation] (Possibility wi)
Sentence 1:[, Null, Null][, , Null][, , Null][, , Null] (possibility 0.78) Corresponding English Version: [Central weather bureau, Null, Null]Expect[Future time, Tomorrow, Null]Has[Typhoon, A medium typhoon, Null]Attack[Taiwan, Taiwan, Null] (Possibility 0.78)
Sentence 2:[, Null, Null][, , Null][, Null, ] (Possibility 0.84) Corresponding English Version:[Central weather bureau, Null, Null]Expect[Future time, Tomorrow, Null]Will[Rain, Null, Occur] (Possibility 0.84)
-
Sentence FilterThe Sentence Filter is used to filter the redundant sentences. Sentence:S1: [, Null, Null][, , Null][, Null, Null][, Null, Null] (Possibility 0.78)S2: [, Null, Null][, Null, Null] (Possibility 1.0) Corresponding English Version: S1: [Central weather bureau, Null, Null]Expect[Future time, Tomorrow, Null]Has[Typhoon, Null, Null]Attack[Taiwan, Null, Null] (Possibility 0.78)S2: [Typhoon, Null, Null]Attack[Taiwan, Null, Null] (Possibility 1.0)
Result of the semantic sentence:SS: (Possibility 0.78) Corresponding English Version:SS: The central weather bureau expects that the typhoon will attack Taiwan tomorrow. (Possibility 0.78)
-
Experimental Results(a) The results of 2002 typhoon news(a) The results of 2002 typhoon news(b) The results of 2003 typhoon news(b) The results of 2003 typhoon news(c) The results of 2004 typhoon news(c) The results of 2004 typhoon newsThe average precision of typhoon event evaluated by three domain experts. The average recall of typhoon event evaluated by three domain experts.
Chart1
000
111
111
0.86666666670.80.8
0.83750.7250.725
0.770.680.68
0.7250.650.65
0.6690476190.60476190480.6523809524
0.71041666670.57083333330.6541666667
0.6870370370.5629629630.637037037
0.61833333330.50666666670.6233333333
0.62272727270.52121212120.6272727273
0.59861111110.50555555560.6027777778
0.57820512820.46666666670.6076923077
0.57261904760.43333333330.6
0.55666666670.40444444440.56
0.54270833330.40.5666666667
0.54019607840.40588235290.562745098
0.54722222220.42037037040.55
0.54473684210.42456140350.5473684211
0.56750.45333333330.57
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
10.500.500.50.750.750.750.500.50.50.58333333330.66666666670.670.6666666667
20.000.500.250.000.750.3750.000.50.250.291666666700.670.3333333333
31.001.500.51.001.750.58333333331.001.50.50.52777777780.66666666671.330.4444444444
40.001.500.3750.001.750.43750.331.83333333330.45833333330.42361111110.33333333331.670.4166666667
50.001.500.30.672.41666666670.48333333330.672.50.50.42777777780.33333333332.000.4
60.502.000.33333333331.003.41666666670.56944444440.5030.50.46759259260.52.500.4166666667
70.672.670.3809523810.674.08333333330.58333333330.673.66666666670.52380952380.4960317460.33333333332.830.4047619048
80.673.330.41666666670.334.41666666670.55208333330.674.33333333330.54166666670.50347222220.16666666673.000.375
90.333.670.40740740740.334.750.52777777780.6750.55555555560.49691358020.53.500.3888888889
100.504.170.41666666670.505.250.5250.755.750.5750.50555555560.54.000.4
110.504.670.42424242420.505.750.52272727270.506.250.56818181820.50505050510.54.500.4090909091
120.505.170.43055555560.506.250.52083333330.506.750.56250.50462962960.33333333334.830.4027777778
131.006.170.47435897440.676.91666666670.53205128210.677.41666666670.57051282050.52564102560.66666666675.500.4230769231
140.506.670.47619047620.757.66666666670.54761904760.507.91666666670.56547619050.52976190480.45.900.4214285714
150.337.000.46666666671.008.66666666670.57777777780.678.58333333330.57222222220.53888888890.33333333336.230.4155555556
160.677.670.47916666670.3390.56250.679.250.5781250.53993055560.33333333336.570.4104166667
170.678.330.49019607840.679.66666666670.5686274510.679.91666666670.58333333330.54738562090.33333333336.900.4058823529
180.679.000.50.6710.33333333330.57407407410.6710.58333333330.5879629630.55401234570.33333333337.230.4018518519
190.509.500.50.5010.83333333330.57017543861.0011.58333333330.60964912280.55994152050.57.730.4070175439
200.009.500.4750.0010.83333333330.54166666670.5012.08333333330.60416666670.54027777780.58.230.4116666667
2002
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.330.330.33333333330.670.66666666670.66666666670.670.66666666670.66666666670.55555555560.50.50.5
21.001.330.66666666671.001.66666666670.83333333330.501.16666666670.58333333330.69444444440.250.750.375
30.331.670.55555555560.3320.66666666670.331.50.50.57407407410.33333333331.08333333330.3611111111
41.002.670.66666666670.752.750.68750.752.250.56250.63888888890.51.58333333330.3958333333
50.252.920.58333333330.2530.60.252.50.50.56111111110.41.98333333330.3966666667
60.503.420.56944444440.333.33333333330.55555555560.5030.50.54166666670.33333333332.31666666670.3861111111
70.333.750.53571428570.333.66666666670.52380952380.673.66666666670.52380952380.52777777780.33333333332.650.3785714286
80.334.080.51041666670.3340.50.3340.50.50347222220.33333333332.98333333330.3729166667
90.254.330.48148148151.0050.55555555560.504.50.50.5123456790.253.23333333330.3592592593
100.254.580.45833333330.255.250.5250.254.750.4750.48611111110.253.48333333330.3483333333
110.334.920.4469696970.005.250.47727272730.335.08333333330.46212121210.46212121210.33333333333.81666666670.346969697
120.255.170.43055555560.255.50.45833333330.505.58333333330.46527777780.45138888890.33333333334.150.3458333333
130.505.670.43589743590.5060.46153846150.506.08333333330.46794871790.45512820510.54.650.3576923077
140.506.170.44047619050.506.50.46428571430.506.58333333330.47023809520.45833333330.55.150.3678571429
150.676.830.45555555560.677.16666666670.47777777780.677.250.48333333330.47222222220.55.650.3766666667
160.337.170.44791666670.337.50.468750.337.58333333330.47395833330.46354166670.255.90.36875
170.677.830.46078431370.678.16666666670.48039215690.678.250.48529411760.47549019610.66666666676.56666666670.3862745098
180.508.330.4629629630.508.66666666670.48148148150.508.750.48611111110.47685185190.57.06666666670.3925925926
191.009.330.49122807021.009.66666666670.50877192980.679.41666666670.49561403510.49853801170.33333333337.40.3894736842
200.609.930.49666666670.8010.46666666670.52333333330.409.81666666670.49083333330.50361111110.47.80.39
2003
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
10.330.330.33333333330.330.33333333330.33333333330.330.33333333330.33333333330.33333333330.50.50.5
20.671.000.50.6710.50.330.66666666670.33333333330.44444444440.250.750.375
30.331.330.44444444440.331.33333333330.44444444440.3310.33333333330.40740740740.33333333331.08333333330.3611111111
40.501.830.45833333330.501.83333333330.45833333330.501.50.3750.43055555560.51.58333333330.3958333333
50.252.080.41666666670.252.08333333330.41666666670.251.750.350.39444444440.41.98333333330.3966666667
60.332.420.40277777780.002.08333333330.34722222220.332.08333333330.34722222220.36574074070.33333333332.31666666670.3861111111
70.002.420.34523809520.002.08333333330.29761904760.002.08333333330.29761904760.31349206350.33333333332.650.3785714286
80.002.420.30208333330.002.08333333330.26041666670.002.08333333330.26041666670.27430555560.33333333332.98333333330.3729166667
90.332.750.30555555560.332.41666666670.26851851850.332.41666666670.26851851850.28086419750.253.23333333330.3592592593
100.333.080.30833333330.332.750.2750.332.750.2750.28611111110.253.48333333330.3483333333
111.004.080.37121212121.003.750.34090909090.503.250.29545454550.33585858590.33333333333.81666666670.346969697
120.674.750.39583333330.674.41666666670.36805555560.673.91666666670.32638888890.36342592590.33333333334.150.3458333333
130.505.250.40384615380.504.91666666670.37820512820.504.41666666670.33974358970.37393162390.54.650.3576923077
141.006.250.44642857141.005.91666666670.42261904760.504.91666666670.35119047620.40674603170.55.150.3678571429
150.506.750.451.006.91666666670.46111111110.505.41666666670.36111111110.42407407410.55.650.3766666667
160.507.250.4531250.507.41666666670.46354166670.505.91666666670.36979166670.42881944440.255.90.36875
171.008.250.48529411761.008.41666666670.49509803921.006.91666666670.40686274510.46241830070.66666666676.56666666670.3862745098
181.009.250.51388888891.009.41666666670.52314814811.007.91666666670.43981481480.49228395060.57.06666666670.3925925926
190.509.750.51315789470.509.91666666670.52192982460.508.41666666670.44298245610.49269005850.33333333337.40.3894736842
200.3310.080.50416666670.3310.250.51250.338.750.43750.48472222220.47.80.39
2004
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
10.500.500.50.500.50.50.500.50.50.50.33333333330.33333333330.3333333333
20.330.830.41666666670.330.83333333330.41666666670.330.83333333330.41666666670.41666666670.33333333330.66666666670.3333333333
31.001.830.61111111111.001.83333333330.61111111110.501.33333333330.44444444440.55555555560.51.16666666670.3888888889
40.502.330.58333333330.502.33333333330.58333333330.501.83333333330.45833333330.54166666670.51.66666666670.4166666667
51.003.330.66666666671.003.33333333330.66666666670.502.33333333330.46666666670.60.52.16666666670.4333333333
60.754.080.68055555561.004.33333333330.72222222220.753.08333333330.51388888890.63888888890.33333333332.50.4166666667
70.504.580.65476190480.504.83333333330.69047619050.503.58333333330.51190476190.6190476190.530.4285714286
80.505.080.63541666670.675.50.68750.674.250.531250.61805555560.33333333333.33333333330.4166666667
91.006.080.67592592591.006.50.72222222220.504.750.52777777780.64197530860.53.83333333330.4259259259
100.506.580.65833333330.5070.70.505.250.5250.62777777780.33333333334.16666666670.4166666667
110.677.250.65909090910.677.66666666670.6969696970.675.91666666670.53787878790.63131313130.54.66666666670.4242424242
120.337.580.63194444440.3380.66666666670.336.250.52083333330.60648148150.333333333350.4166666667
130.508.080.62179487180.508.50.65384615380.506.750.51923076920.59829059830.55.50.4230769231
141.009.080.64880952381.009.50.67857142861.007.750.55357142860.6269841270.560.4285714286
150.679.750.650.6710.16666666670.67777777780.678.420.56133333330.62970370370.33333333336.33333333330.4222222222
160.3310.080.63020833330.3310.50.656250.338.75333333330.54708333330.611180555606.33333333330.3958333333
171.0011.080.65196078431.0011.50.67647058821.009.75333333330.57372549020.63405228760.56.83333333330.4019607843
180.5011.580.64351851850.50120.66666666670.5010.25333333330.56962962960.62660493830.57.33333333330.4074074074
190.3311.920.62719298250.3312.33333333330.6491228070.3310.58666666670.55719298250.61116959060.33333333337.66666666670.4035087719
200.3312.250.61250.3312.66666666670.63333333330.3310.920.5460.59727777780.333333333380.4
2002
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.250.250.250.250.250.250.250.250.250.25000
20.000.250.1250.000.250.1250.000.250.1250.125000
30.500.750.250.250.50.16666666670.250.50.16666666670.19444444440.250.250.0833333333
40.501.250.31250.5010.250.5010.250.270833333300.250.0625
50.501.750.350.501.50.30.501.50.30.31666666670.50.750.15
60.001.750.29166666670.001.50.250.331.83333333330.30555555560.28240740740.33333333331.08333333330.1805555556
70.332.080.29761904760.331.83333333330.26190476190.332.16666666670.30952380950.28968253970.33333333331.41666666670.2023809524
80.672.750.34416666670.672.50.31250.672.83666666670.35458333330.33708333330.33333333331.750.21875
90.333.090.3429629630.332.83333333330.31481481480.333.170.35222222220.33666666670.33333333332.08333333330.2314814815
100.503.590.35866666670.753.58333333330.35833333330.503.670.3670.36133333330.752.83333333330.2833333333
110.504.090.37151515150.504.08333333330.37121212120.504.170.37909090910.37393939390.53.33333333330.303030303
121.005.090.42388888891.005.08333333330.42361111110.674.840.40333333330.41694444440.666666666740.3333333333
130.505.590.42974358970.505.58333333330.42948717950.505.340.41076923080.4233333333040.3076923077
140.506.090.43476190480.506.08333333330.43452380950.505.840.41714285710.42880952380.54.50.3214285714
150.336.420.4280.336.41666666670.42777777780.336.17333333330.41155555560.42244444440.66666666675.16666666670.3444444444
160.336.750.42208333330.336.750.4218750.336.50666666670.40666666670.4168750.33333333335.50.34375
170.677.420.43666666670.677.41666666670.43627450980.677.17666666670.42215686270.43169934640.33333333335.83333333330.3431372549
180.337.760.43092592590.337.750.43055555560.337.510.41722222220.42623456790.33333333336.16666666670.3425925926
190.678.420.44333333330.678.41666666670.44298245610.678.180.43052631580.43894736840.33333333336.50.3421052632
200.508.920.44616666670.508.91666666670.44583333330.508.680.4340.4420.570.35
2003
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
11.001.0011.00110.500.50.50.8333333333000
20.501.500.750.501.50.750.5010.50.6666666667000
30.502.000.66666666670.5020.66666666670.501.50.50.61111111110.250.250.0833333333
41.003.000.751.0030.751.002.50.6250.708333333300.250.0625
50.503.500.70.503.50.70.5030.60.66666666670.50.750.15
61.004.500.751.004.50.750.503.50.58333333330.69444444440.33333333331.08333333330.1805555556
71.005.500.78571428571.005.50.78571428571.004.50.64285714290.73809523810.33333333331.41666666670.2023809524
81.006.500.81251.006.50.81251.005.50.68750.77083333330.33333333331.750.21875
90.507.000.77777777780.5070.77777777780.5060.66666666670.74074074070.33333333332.08333333330.2314814815
101.008.000.81.0080.80.506.50.650.750.752.83333333330.2833333333
110.338.330.75757575760.338.33333333330.75757575760.336.83333333330.62121212120.71212121210.53.33333333330.303030303
120.508.830.73611111110.508.83333333330.73611111110.507.33333333330.61111111110.69444444440.666666666740.3333333333
131.009.830.75641025641.009.83333333330.75641025640.507.83333333330.60256410260.7051282051040.3076923077
140.5010.330.73809523810.5010.33333333330.73809523810.508.33333333330.59523809520.69047619050.54.50.3214285714
150.5010.830.72222222220.5010.83333333330.72222222220.508.83333333330.58888888890.67777777780.66666666675.16666666670.3444444444
160.3311.170.69791666670.6711.50.718750.339.16666666670.57291666670.66319444440.33333333335.50.34375
170.5011.670.68627450980.50120.70588235290.509.66666666670.5686274510.65359477120.33333333335.83333333330.3431372549
181.0012.670.70370370371.00130.72222222220.5010.16666666670.56481481480.66358024690.33333333336.16666666670.3425925926
190.3313.000.68421052630.3313.33333333330.7017543860.3310.50.55263157890.64619883040.33333333336.50.3421052632
200.3313.330.66666666670.67140.70.3310.83333333330.54166666670.63611111110.570.35
2004
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
11.001.0011.00111111111
21.002.0011.00211211010.5
30.602.600.86666666670.402.40.80.42.40.80.82222222220.21.20.4
40.753.350.83750.502.90.7250.52.90.7250.762512.20.55
50.503.850.770.503.40.680.53.40.680.710.33333333332.53333333330.5066666667
60.504.350.7250.503.90.650.53.90.650.6750.53.03333333330.5055555556
70.334.680.6690476190.334.23333333330.60476190480.66666666674.56666666670.65238095240.64206349210.53.53333333330.5047619048
81.005.680.71041666670.334.56666666670.57083333330.66666666675.23333333330.65416666670.64513888890.54.03333333330.5041666667
90.506.180.6870370370.505.06666666670.5629629630.55.73333333330.6370370370.629012345704.03333333330.4481481481
100.006.180.61833333330.005.06666666670.50666666670.56.23333333330.62333333330.582777777804.03333333330.4033333333
110.676.850.62272727270.675.73333333330.52121212120.66666666676.90.62727272730.59040404040.54.53333333330.4121212121
120.337.180.59861111110.336.06666666670.50555555560.33333333337.23333333330.60277777780.56898148150.33333333334.86666666670.4055555556
130.337.520.57820512820.006.06666666670.46666666670.66666666677.90.60769230770.55085470090.33333333335.20.4
140.508.020.57261904760.006.06666666670.43333333330.58.40.60.535317460305.20.3714285714
150.338.350.55666666670.006.06666666670.404444444408.40.560.50703703705.20.3466666667
160.338.680.54270833330.336.40.40.66666666679.06666666670.56666666670.5031250.33333333335.53333333330.3458333333
170.509.180.54019607840.506.90.40588235290.59.56666666670.5627450980.50294117650.56.03333333330.3549019608
180.679.850.54722222220.677.56666666670.42037037040.33333333339.90.550.505864197506.03333333330.3351851852
190.5010.350.54473684210.508.06666666670.42456140350.510.40.54736842110.505555555606.03333333330.3175438596
201.0011.350.56751.009.06666666670.4533333333111.40.570.530277777817.03333333330.3516666667
2002
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.330.330.33333333330.670.66666666670.66666666670.670.66666666670.66666666670.55555555560.250.250.25
21.001.330.66666666671.001.66666666670.83333333331.001.66666666670.83333333330.77777777780.33333333330.58333333330.2916666667
30.331.670.55555555560.3320.66666666670.3320.66666666670.62962962960.33333333330.91666666670.3055555556
40.001.670.41666666670.0020.50.0020.50.472222222200.91666666670.2291666667
50.332.000.40.332.33333333330.46666666670.672.66666666670.53333333330.46666666670.51.41666666670.2833333333
61.003.000.51.003.33333333330.55555555561.003.66666666670.61111111110.555555555612.41666666670.4027777778
70.673.670.52380952380.003.33333333330.47619047620.3340.57142857140.523809523802.41666666670.3452380952
80.504.170.52083333330.503.83333333330.47916666670.504.50.56250.52083333330.66666666673.08333333330.3854166667
90.504.670.51851851850.504.33333333330.48148148150.5050.55555555560.518518518503.08333333330.3425925926
100.505.170.51666666670.004.33333333330.43333333330.505.50.550.50.53.58333333330.3583333333
110.505.670.51515151521.005.33333333330.48484848481.006.50.59090909090.53030303030.33333333333.91666666670.3560606061
121.006.670.55555555561.006.33333333330.52777777781.007.50.6250.56944444440.54.41666666670.3680555556
130.507.170.55128205130.506.83333333330.52564102560.5080.61538461540.564102564104.41666666670.3397435897
140.757.920.56547619050.757.58333333330.54166666670.508.50.60714285710.57142857140.54.91666666670.3511904762
150.508.420.56111111110.508.08333333330.53888888890.5090.60.56666666670.55.41666666670.3611111111
160.008.420.52604166670.508.58333333330.53645833330.509.50.593750.55208333330.55.91666666670.3697916667
171.009.420.55392156861.009.58333333330.56372549021.0010.50.61764705880.578431372516.91666666670.4068627451
180.509.920.55092592590.009.58333333330.53240740740.50110.61111111110.564814814806.91666666670.3842592593
190.6710.580.55701754390.6710.250.53947368420.6711.66666666670.61403508770.570175438606.91666666670.3640350877
200.5011.080.55416666670.5010.750.53750.5012.16666666670.60833333330.56666666670.57.41666666670.3708333333
2003
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
10.500.500.50.750.750.750.500.50.50.58333333330.250.250.25
21.001.500.751.001.750.8751.001.50.750.79166666670.33333333330.58333333330.2916666667
30.672.170.72222222220.672.41666666670.80555555560.672.16666666670.72222222220.750.33333333330.91666666670.3055555556
41.003.170.79166666671.003.41666666670.85416666671.003.16666666670.79166666670.812500.91666666670.2291666667
51.004.170.83333333330.503.91666666670.78333333330.003.16666666670.63333333330.750.51.41666666670.2833333333
60.334.500.750.334.250.70833333330.333.50.58333333330.680555555612.41666666670.4027777778
70.204.700.67142857140.204.450.63571428570.003.50.50.602380952402.41666666670.3452380952
81.005.700.71251.005.450.681250.5040.50.631250.66666666673.08333333330.3854166667
90.676.370.70740740740.676.11666666670.67962962960.334.33333333330.48148148150.622839506203.08333333330.3425925926
100.506.870.68666666670.506.61666666670.66166666670.504.83333333330.48333333330.61055555560.53.58333333330.3583333333
110.337.200.65454545450.336.950.63181818180.335.16666666670.46969696970.58535353540.33333333333.91666666670.3560606061
120.507.700.64166666670.507.450.62083333330.505.66666666670.47222222220.57824074070.54.41666666670.3680555556
130.508.200.63076923080.507.950.61153846150.506.16666666670.47435897440.572222222204.41666666670.3397435897
140.508.700.62142857140.508.450.60357142860.506.66666666670.47619047620.56706349210.54.91666666670.3511904762
150.679.370.62444444441.009.450.630.677.33333333330.48888888890.58111111110.55.41666666670.3611111111
160.339.700.606250.339.78333333330.61145833330.337.66666666670.47916666670.5656250.55.91666666670.3697916667
170.6710.370.60980392160.5010.28333333330.60490196080.257.91666666670.46568627450.56013071916.91666666670.4068627451
180.5010.870.60370370370.7511.03333333330.6129629630.258.16666666670.45370370370.556790123506.91666666670.3842592593
190.5011.370.5982456140.5011.53333333330.60701754390.258.41666666670.44298245610.549415204706.91666666670.3640350877
200.5011.870.59333333330.7512.28333333330.61416666670.258.66666666670.43333333330.54694444440.57.41666666670.3708333333
2004
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
Chart4
000
0.33333333330.66666666670.6666666667
0.66666666670.83333333330.8333333333
0.55555555560.66666666670.6666666667
0.41666666670.50.5
0.40.46666666670.5333333333
0.50.55555555560.6111111111
0.52380952380.47619047620.5714285714
0.52083333330.47916666670.5625
0.51851851850.48148148150.5555555556
0.51666666670.43333333330.55
0.51515151520.48484848480.5909090909
0.55555555560.52777777780.625
0.55128205130.52564102560.6153846154
0.56547619050.54166666670.6071428571
0.56111111110.53888888890.6
0.52604166670.53645833330.59375
0.55392156860.56372549020.6176470588
0.55092592590.53240740740.6111111111
0.55701754390.53947368420.6140350877
0.55416666670.53750.6083333333
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
10.500.500.50.750.750.750.500.50.50.58333333330.66666666670.670.6666666667
20.000.500.250.000.750.3750.000.50.250.291666666700.670.3333333333
31.001.500.51.001.750.58333333331.001.50.50.52777777780.66666666671.330.4444444444
40.001.500.3750.001.750.43750.331.83333333330.45833333330.42361111110.33333333331.670.4166666667
50.001.500.30.672.41666666670.48333333330.672.50.50.42777777780.33333333332.000.4
60.502.000.33333333331.003.41666666670.56944444440.5030.50.46759259260.52.500.4166666667
70.672.670.3809523810.674.08333333330.58333333330.673.66666666670.52380952380.4960317460.33333333332.830.4047619048
80.673.330.41666666670.334.41666666670.55208333330.674.33333333330.54166666670.50347222220.16666666673.000.375
90.333.670.40740740740.334.750.52777777780.6750.55555555560.49691358020.53.500.3888888889
100.504.170.41666666670.505.250.5250.755.750.5750.50555555560.54.000.4
110.504.670.42424242420.505.750.52272727270.506.250.56818181820.50505050510.54.500.4090909091
120.505.170.43055555560.506.250.52083333330.506.750.56250.50462962960.33333333334.830.4027777778
131.006.170.47435897440.676.91666666670.53205128210.677.41666666670.57051282050.52564102560.66666666675.500.4230769231
140.506.670.47619047620.757.66666666670.54761904760.507.91666666670.56547619050.52976190480.45.900.4214285714
150.337.000.46666666671.008.66666666670.57777777780.678.58333333330.57222222220.53888888890.33333333336.230.4155555556
160.677.670.47916666670.3390.56250.679.250.5781250.53993055560.33333333336.570.4104166667
170.678.330.49019607840.679.66666666670.5686274510.679.91666666670.58333333330.54738562090.33333333336.900.4058823529
180.679.000.50.6710.33333333330.57407407410.6710.58333333330.5879629630.55401234570.33333333337.230.4018518519
190.509.500.50.5010.83333333330.57017543861.0011.58333333330.60964912280.55994152050.57.730.4070175439
200.009.500.4750.0010.83333333330.54166666670.5012.08333333330.60416666670.54027777780.58.230.4116666667
2002
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.330.330.33333333330.670.66666666670.66666666670.670.66666666670.66666666670.55555555560.50.50.5
21.001.330.66666666671.001.66666666670.83333333330.501.16666666670.58333333330.69444444440.250.750.375
30.331.670.55555555560.3320.66666666670.331.50.50.57407407410.33333333331.08333333330.3611111111
41.002.670.66666666670.752.750.68750.752.250.56250.63888888890.51.58333333330.3958333333
50.252.920.58333333330.2530.60.252.50.50.56111111110.41.98333333330.3966666667
60.503.420.56944444440.333.33333333330.55555555560.5030.50.54166666670.33333333332.31666666670.3861111111
70.333.750.53571428570.333.66666666670.52380952380.673.66666666670.52380952380.52777777780.33333333332.650.3785714286
80.334.080.51041666670.3340.50.3340.50.50347222220.33333333332.98333333330.3729166667
90.254.330.48148148151.0050.55555555560.504.50.50.5123456790.253.23333333330.3592592593
100.254.580.45833333330.255.250.5250.254.750.4750.48611111110.253.48333333330.3483333333
110.334.920.4469696970.005.250.47727272730.335.08333333330.46212121210.46212121210.33333333333.81666666670.346969697
120.255.170.43055555560.255.50.45833333330.505.58333333330.46527777780.45138888890.33333333334.150.3458333333
130.505.670.43589743590.5060.46153846150.506.08333333330.46794871790.45512820510.54.650.3576923077
140.506.170.44047619050.506.50.46428571430.506.58333333330.47023809520.45833333330.55.150.3678571429
150.676.830.45555555560.677.16666666670.47777777780.677.250.48333333330.47222222220.55.650.3766666667
160.337.170.44791666670.337.50.468750.337.58333333330.47395833330.46354166670.255.90.36875
170.677.830.46078431370.678.16666666670.48039215690.678.250.48529411760.47549019610.66666666676.56666666670.3862745098
180.508.330.4629629630.508.66666666670.48148148150.508.750.48611111110.47685185190.57.06666666670.3925925926
191.009.330.49122807021.009.66666666670.50877192980.679.41666666670.49561403510.49853801170.33333333337.40.3894736842
200.609.930.49666666670.8010.46666666670.52333333330.409.81666666670.49083333330.50361111110.47.80.39
2003
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
10.330.330.33333333330.330.33333333330.33333333330.330.33333333330.33333333330.33333333330.50.50.5
20.671.000.50.6710.50.330.66666666670.33333333330.44444444440.250.750.375
30.331.330.44444444440.331.33333333330.44444444440.3310.33333333330.40740740740.33333333331.08333333330.3611111111
40.501.830.45833333330.501.83333333330.45833333330.501.50.3750.43055555560.51.58333333330.3958333333
50.252.080.41666666670.252.08333333330.41666666670.251.750.350.39444444440.41.98333333330.3966666667
60.332.420.40277777780.002.08333333330.34722222220.332.08333333330.34722222220.36574074070.33333333332.31666666670.3861111111
70.002.420.34523809520.002.08333333330.29761904760.002.08333333330.29761904760.31349206350.33333333332.650.3785714286
80.002.420.30208333330.002.08333333330.26041666670.002.08333333330.26041666670.27430555560.33333333332.98333333330.3729166667
90.332.750.30555555560.332.41666666670.26851851850.332.41666666670.26851851850.28086419750.253.23333333330.3592592593
100.333.080.30833333330.332.750.2750.332.750.2750.28611111110.253.48333333330.3483333333
111.004.080.37121212121.003.750.34090909090.503.250.29545454550.33585858590.33333333333.81666666670.346969697
120.674.750.39583333330.674.41666666670.36805555560.673.91666666670.32638888890.36342592590.33333333334.150.3458333333
130.505.250.40384615380.504.91666666670.37820512820.504.41666666670.33974358970.37393162390.54.650.3576923077
141.006.250.44642857141.005.91666666670.42261904760.504.91666666670.35119047620.40674603170.55.150.3678571429
150.506.750.451.006.91666666670.46111111110.505.41666666670.36111111110.42407407410.55.650.3766666667
160.507.250.4531250.507.41666666670.46354166670.505.91666666670.36979166670.42881944440.255.90.36875
171.008.250.48529411761.008.41666666670.49509803921.006.91666666670.40686274510.46241830070.66666666676.56666666670.3862745098
181.009.250.51388888891.009.41666666670.52314814811.007.91666666670.43981481480.49228395060.57.06666666670.3925925926
190.509.750.51315789470.509.91666666670.52192982460.508.41666666670.44298245610.49269005850.33333333337.40.3894736842
200.3310.080.50416666670.3310.250.51250.338.750.43750.48472222220.47.80.39
2004
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
10.500.500.50.500.50.50.500.50.50.50.33333333330.33333333330.3333333333
20.330.830.41666666670.330.83333333330.41666666670.330.83333333330.41666666670.41666666670.33333333330.66666666670.3333333333
31.001.830.61111111111.001.83333333330.61111111110.501.33333333330.44444444440.55555555560.51.16666666670.3888888889
40.502.330.58333333330.502.33333333330.58333333330.501.83333333330.45833333330.54166666670.51.66666666670.4166666667
51.003.330.66666666671.003.33333333330.66666666670.502.33333333330.46666666670.60.52.16666666670.4333333333
60.754.080.68055555561.004.33333333330.72222222220.753.08333333330.51388888890.63888888890.33333333332.50.4166666667
70.504.580.65476190480.504.83333333330.69047619050.503.58333333330.51190476190.6190476190.530.4285714286
80.505.080.63541666670.675.50.68750.674.250.531250.61805555560.33333333333.33333333330.4166666667
91.006.080.67592592591.006.50.72222222220.504.750.52777777780.64197530860.53.83333333330.4259259259
100.506.580.65833333330.5070.70.505.250.5250.62777777780.33333333334.16666666670.4166666667
110.677.250.65909090910.677.66666666670.6969696970.675.91666666670.53787878790.63131313130.54.66666666670.4242424242
120.337.580.63194444440.3380.66666666670.336.250.52083333330.60648148150.333333333350.4166666667
130.508.080.62179487180.508.50.65384615380.506.750.51923076920.59829059830.55.50.4230769231
141.009.080.64880952381.009.50.67857142861.007.750.55357142860.6269841270.560.4285714286
150.679.750.650.6710.16666666670.67777777780.678.420.56133333330.62970370370.33333333336.33333333330.4222222222
160.3310.080.63020833330.3310.50.656250.338.75333333330.54708333330.611180555606.33333333330.3958333333
171.0011.080.65196078431.0011.50.67647058821.009.75333333330.57372549020.63405228760.56.83333333330.4019607843
180.5011.580.64351851850.50120.66666666670.5010.25333333330.56962962960.62660493830.57.33333333330.4074074074
190.3311.920.62719298250.3312.33333333330.6491228070.3310.58666666670.55719298250.61116959060.33333333337.66666666670.4035087719
200.3312.250.61250.3312.66666666670.63333333330.3310.920.5460.59727777780.333333333380.4
2002
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.250.250.250.250.250.250.250.250.250.25000
20.000.250.1250.000.250.1250.000.250.1250.125000
30.250.500.16666666670.250.50.16666666670.250.50.16666666670.16666666670.250.250.0833333333
40.501.000.250.5010.250.5010.250.2500.250.0625
50.501.500.30.0010.20.501.50.30.26666666670.50.750.15
60.001.500.250.0010.16666666670.331.83333333330.30555555560.24074074070.33333333331.08333333330.1805555556
70.331.830.26190476190.331.33333333330.19047619050.332.16666666670.30952380950.2539682540.33333333331.41666666670.2023809524
80.332.170.27083333330.6720.250.332.50.31250.27777777780.33333333331.750.21875
90.332.500.27777777780.332.33333333330.25925925930.332.83333333330.31481481480.28395061730.33333333332.08333333330.2314814815
100.503.000.30.753.08333333330.30833333330.503.33333333330.33333333330.31388888890.752.83333333330.2833333333
110.503.500.31818181820.503.58333333330.32575757580.503.83333333330.34848484850.33080808080.53.33333333330.303030303
120.674.170.34722222221.004.58333333330.38194444440.674.50.3750.36805555560.666666666740.3333333333
130.504.670.3589743590.505.08333333330.3910256410.5050.38461538460.3782051282040.3076923077
140.505.170.3690476190.505.58333333330.39880952380.505.50.39285714290.38690476190.54.50.3214285714
150.335.500.36666666670.335.91666666670.39444444440.335.83333333330.38888888890.38333333330.66666666675.16666666670.3444444444
160.335.830.36458333330.336.250.3906250.336.16666666670.38541666670.38020833330.33333333335.50.34375
170.336.170.3627450980.676.91666666670.40686274510.336.50.38235294120.38398692810.33333333335.83333333330.3431372549
180.336.500.36111111110.337.250.40277777780.336.83333333330.37962962960.38117283950.33333333336.16666666670.3425925926
190.677.170.37719298250.677.91666666670.41666666670.337.16666666670.37719298250.39035087720.33333333336.50.3421052632
200.507.670.38333333330.508.41666666670.42083333330.507.66666666670.38333333330.39583333330.570.35
2003
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
11.001.0011.00110.500.50.50.8333333333000
20.501.500.750.501.50.750.5010.50.6666666667000
30.502.000.66666666670.5020.66666666670.501.50.50.61111111110.250.250.0833333333
41.003.000.751.0030.751.002.50.6250.708333333300.250.0625
50.503.500.70.503.50.70.5030.60.66666666670.50.750.15
61.004.500.751.004.50.750.503.50.58333333330.69444444440.33333333331.08333333330.1805555556
71.005.500.78571428571.005.50.78571428571.004.50.64285714290.73809523810.33333333331.41666666670.2023809524
81.006.500.81251.006.50.81251.005.50.68750.77083333330.33333333331.750.21875
90.507.000.77777777780.5070.77777777780.5060.66666666670.74074074070.33333333332.08333333330.2314814815
101.008.000.81.0080.80.506.50.650.750.752.83333333330.2833333333
110.338.330.75757575760.338.33333333330.75757575760.336.83333333330.62121212120.71212121210.53.33333333330.303030303
120.508.830.73611111110.508.83333333330.73611111110.507.33333333330.61111111110.69444444440.666666666740.3333333333
131.009.830.75641025641.009.83333333330.75641025640.507.83333333330.60256410260.7051282051040.3076923077
140.5010.330.73809523810.5010.33333333330.73809523810.508.33333333330.59523809520.69047619050.54.50.3214285714
150.5010.830.72222222220.5010.83333333330.72222222220.508.83333333330.58888888890.67777777780.66666666675.16666666670.3444444444
160.3311.170.69791666670.6711.50.718750.339.16666666670.57291666670.66319444440.33333333335.50.34375
170.5011.670.68627450980.50120.70588235290.509.66666666670.5686274510.65359477120.33333333335.83333333330.3431372549
181.0012.670.70370370371.00130.72222222220.5010.16666666670.56481481480.66358024690.33333333336.16666666670.3425925926
190.3313.000.68421052630.3313.33333333330.7017543860.3310.50.55263157890.64619883040.33333333336.50.3421052632
200.3313.330.66666666670.67140.70.3310.83333333330.54166666670.63611111110.570.35
2004
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
11.001.0011.00111111111
21.002.0011.00211211010.5
30.602.600.86666666670.402.40.80.42.40.80.82222222220.21.20.4
40.753.350.83750.502.90.7250.52.90.7250.762512.20.55
50.503.850.770.503.40.680.53.40.680.710.33333333332.53333333330.5066666667
60.504.350.7250.503.90.650.53.90.650.6750.53.03333333330.5055555556
70.334.680.6690476190.334.23333333330.60476190480.66666666674.56666666670.65238095240.64206349210.53.53333333330.5047619048
81.005.680.71041666670.334.56666666670.57083333330.66666666675.23333333330.65416666670.64513888890.54.03333333330.5041666667
90.506.180.6870370370.505.06666666670.5629629630.55.73333333330.6370370370.629012345704.03333333330.4481481481
100.006.180.61833333330.005.06666666670.50666666670.56.23333333330.62333333330.582777777804.03333333330.4033333333
110.676.850.62272727270.675.73333333330.52121212120.66666666676.90.62727272730.59040404040.54.53333333330.4121212121
120.337.180.59861111110.336.06666666670.50555555560.33333333337.23333333330.60277777780.56898148150.33333333334.86666666670.4055555556
130.337.520.57820512820.006.06666666670.46666666670.66666666677.90.60769230770.55085470090.33333333335.20.4
140.508.020.57261904760.006.06666666670.43333333330.58.40.60.535317460305.20.3714285714
150.338.350.55666666670.006.06666666670.404444444408.40.560.50703703705.20.3466666667
160.338.680.54270833330.336.40.40.66666666679.06666666670.56666666670.5031250.33333333335.53333333330.3458333333
170.509.180.54019607840.506.90.40588235290.59.56666666670.5627450980.50294117650.56.03333333330.3549019608
180.679.850.54722222220.677.56666666670.42037037040.33333333339.90.550.505864197506.03333333330.3351851852
190.5010.350.54473684210.508.06666666670.42456140350.510.40.54736842110.505555555606.03333333330.3175438596
201.0011.350.56751.009.06666666670.4533333333111.40.570.530277777817.03333333330.3516666667
2002
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.330.330.33333333330.670.66666666670.66666666670.670.66666666670.66666666670.55555555560.250.250.25
21.001.330.66666666671.001.66666666670.83333333331.001.66666666670.83333333330.77777777780.33333333330.58333333330.2916666667
30.331.670.55555555560.3320.66666666670.3320.66666666670.62962962960.33333333330.91666666670.3055555556
40.001.670.41666666670.0020.50.0020.50.472222222200.91666666670.2291666667
50.332.000.40.332.33333333330.46666666670.672.66666666670.53333333330.46666666670.51.41666666670.2833333333
61.003.000.51.003.33333333330.55555555561.003.66666666670.61111111110.555555555612.41666666670.4027777778
70.673.670.52380952380.003.33333333330.47619047620.3340.57142857140.523809523802.41666666670.3452380952
80.504.170.52083333330.503.83333333330.47916666670.504.50.56250.52083333330.66666666673.08333333330.3854166667
90.504.670.51851851850.504.33333333330.48148148150.5050.55555555560.518518518503.08333333330.3425925926
100.505.170.51666666670.004.33333333330.43333333330.505.50.550.50.53.58333333330.3583333333
110.505.670.51515151521.005.33333333330.48484848481.006.50.59090909090.53030303030.33333333333.91666666670.3560606061
121.006.670.55555555561.006.33333333330.52777777781.007.50.6250.56944444440.54.41666666670.3680555556
130.507.170.55128205130.506.83333333330.52564102560.5080.61538461540.564102564104.41666666670.3397435897
140.757.920.56547619050.757.58333333330.54166666670.508.50.60714285710.57142857140.54.91666666670.3511904762
150.508.420.56111111110.508.08333333330.53888888890.5090.60.56666666670.55.41666666670.3611111111
160.008.420.52604166670.508.58333333330.53645833330.509.50.593750.55208333330.55.91666666670.3697916667
171.009.420.55392156861.009.58333333330.56372549021.0010.50.61764705880.578431372516.91666666670.4068627451
180.509.920.55092592590.009.58333333330.53240740740.50110.61111111110.564814814806.91666666670.3842592593
190.6710.580.55701754390.6710.250.53947368420.6711.66666666670.61403508770.570175438606.91666666670.3640350877
200.5011.080.55416666670.5010.750.53750.5012.16666666670.60833333330.56666666670.57.41666666670.3708333333
2003
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
10.500.500.50.750.750.750.500.50.50.58333333330.250.250.25
21.001.500.751.001.750.8751.001.50.750.79166666670.33333333330.58333333330.2916666667
30.672.170.72222222220.672.41666666670.80555555560.672.16666666670.72222222220.750.33333333330.91666666670.3055555556
41.003.170.79166666671.003.41666666670.85416666671.003.16666666670.79166666670.812500.91666666670.2291666667
51.004.170.83333333330.503.91666666670.78333333330.003.16666666670.63333333330.750.51.41666666670.2833333333
60.334.500.750.334.250.70833333330.333.50.58333333330.680555555612.41666666670.4027777778
70.204.700.67142857140.204.450.63571428570.003.50.50.602380952402.41666666670.3452380952
81.005.700.71251.005.450.681250.5040.50.631250.66666666673.08333333330.3854166667
90.676.370.70740740740.676.11666666670.67962962960.334.33333333330.48148148150.622839506203.08333333330.3425925926
100.506.870.68666666670.506.61666666670.66166666670.504.83333333330.48333333330.61055555560.53.58333333330.3583333333
110.337.200.65454545450.336.950.63181818180.335.16666666670.46969696970.58535353540.33333333333.91666666670.3560606061
120.507.700.64166666670.507.450.62083333330.505.66666666670.47222222220.57824074070.54.41666666670.3680555556
130.508.200.63076923080.507.950.61153846150.506.16666666670.47435897440.572222222204.41666666670.3397435897
140.508.700.62142857140.508.450.60357142860.506.66666666670.47619047620.56706349210.54.91666666670.3511904762
150.679.370.62444444441.009.450.630.677.33333333330.48888888890.58111111110.55.41666666670.3611111111
160.339.700.606250.339.78333333330.61145833330.337.66666666670.47916666670.5656250.55.91666666670.3697916667
170.6710.370.60980392160.5010.28333333330.60490196080.257.91666666670.46568627450.56013071916.91666666670.4068627451
180.5010.870.60370370370.7511.03333333330.6129629630.258.16666666670.45370370370.556790123506.91666666670.3842592593
190.5011.370.5982456140.5011.53333333330.60701754390.258.41666666670.44298245610.549415204706.91666666670.3640350877
200.5011.870.59333333330.7512.28333333330.61416666670.258.66666666670.43333333330.54694444440.57.41666666670.3708333333
2004
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
Chart5
000
0.50.750.5
0.750.8750.75
0.72222222220.80555555560.7222222222
0.79166666670.85416666670.7916666667
0.83333333330.78333333330.6333333333
0.750.70833333330.5833333333
0.67142857140.63571428570.5
0.71250.681250.5
0.70740740740.67962962960.4814814815
0.68666666670.66166666670.4833333333
0.65454545450.63181818180.4696969697
0.64166666670.62083333330.4722222222
0.63076923080.61153846150.4743589744
0.62142857140.60357142860.4761904762
0.62444444440.630.4888888889
0.606250.61145833330.4791666667
0.60980392160.60490196080.4656862745
0.60370370370.6129629630.4537037037
0.5982456140.60701754390.4429824561
0.59333333330.61416666670.4333333333
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
10.500.500.50.750.750.750.500.50.50.58333333330.66666666670.670.6666666667
20.000.500.250.000.750.3750.000.50.250.291666666700.670.3333333333
31.001.500.51.001.750.58333333331.001.50.50.52777777780.66666666671.330.4444444444
40.001.500.3750.001.750.43750.331.83333333330.45833333330.42361111110.33333333331.670.4166666667
50.001.500.30.672.41666666670.48333333330.672.50.50.42777777780.33333333332.000.4
60.502.000.33333333331.003.41666666670.56944444440.5030.50.46759259260.52.500.4166666667
70.672.670.3809523810.674.08333333330.58333333330.673.66666666670.52380952380.4960317460.33333333332.830.4047619048
80.673.330.41666666670.334.41666666670.55208333330.674.33333333330.54166666670.50347222220.16666666673.000.375
90.333.670.40740740740.334.750.52777777780.6750.55555555560.49691358020.53.500.3888888889
100.504.170.41666666670.505.250.5250.755.750.5750.50555555560.54.000.4
110.504.670.42424242420.505.750.52272727270.506.250.56818181820.50505050510.54.500.4090909091
120.505.170.43055555560.506.250.52083333330.506.750.56250.50462962960.33333333334.830.4027777778
131.006.170.47435897440.676.91666666670.53205128210.677.41666666670.57051282050.52564102560.66666666675.500.4230769231
140.506.670.47619047620.757.66666666670.54761904760.507.91666666670.56547619050.52976190480.45.900.4214285714
150.337.000.46666666671.008.66666666670.57777777780.678.58333333330.57222222220.53888888890.33333333336.230.4155555556
160.677.670.47916666670.3390.56250.679.250.5781250.53993055560.33333333336.570.4104166667
170.678.330.49019607840.679.66666666670.5686274510.679.91666666670.58333333330.54738562090.33333333336.900.4058823529
180.679.000.50.6710.33333333330.57407407410.6710.58333333330.5879629630.55401234570.33333333337.230.4018518519
190.509.500.50.5010.83333333330.57017543861.0011.58333333330.60964912280.55994152050.57.730.4070175439
200.009.500.4750.0010.83333333330.54166666670.5012.08333333330.60416666670.54027777780.58.230.4116666667
2002
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.330.330.33333333330.670.66666666670.66666666670.670.66666666670.66666666670.55555555560.50.50.5
21.001.330.66666666671.001.66666666670.83333333330.501.16666666670.58333333330.69444444440.250.750.375
30.331.670.55555555560.3320.66666666670.331.50.50.57407407410.33333333331.08333333330.3611111111
41.002.670.66666666670.752.750.68750.752.250.56250.63888888890.51.58333333330.3958333333
50.252.920.58333333330.2530.60.252.50.50.56111111110.41.98333333330.3966666667
60.503.420.56944444440.333.33333333330.55555555560.5030.50.54166666670.33333333332.31666666670.3861111111
70.333.750.53571428570.333.66666666670.52380952380.673.66666666670.52380952380.52777777780.33333333332.650.3785714286
80.334.080.51041666670.3340.50.3340.50.50347222220.33333333332.98333333330.3729166667
90.254.330.48148148151.0050.55555555560.504.50.50.5123456790.253.23333333330.3592592593
100.254.580.45833333330.255.250.5250.254.750.4750.48611111110.253.48333333330.3483333333
110.334.920.4469696970.005.250.47727272730.335.08333333330.46212121210.46212121210.33333333333.81666666670.346969697
120.255.170.43055555560.255.50.45833333330.505.58333333330.46527777780.45138888890.33333333334.150.3458333333
130.505.670.43589743590.5060.46153846150.506.08333333330.46794871790.45512820510.54.650.3576923077
140.506.170.44047619050.506.50.46428571430.506.58333333330.47023809520.45833333330.55.150.3678571429
150.676.830.45555555560.677.16666666670.47777777780.677.250.48333333330.47222222220.55.650.3766666667
160.337.170.44791666670.337.50.468750.337.58333333330.47395833330.46354166670.255.90.36875
170.677.830.46078431370.678.16666666670.48039215690.678.250.48529411760.47549019610.66666666676.56666666670.3862745098
180.508.330.4629629630.508.66666666670.48148148150.508.750.48611111110.47685185190.57.06666666670.3925925926
191.009.330.49122807021.009.66666666670.50877192980.679.41666666670.49561403510.49853801170.33333333337.40.3894736842
200.609.930.49666666670.8010.46666666670.52333333330.409.81666666670.49083333330.50361111110.47.80.39
2003
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
10.330.330.33333333330.330.33333333330.33333333330.330.33333333330.33333333330.33333333330.50.50.5
20.671.000.50.6710.50.330.66666666670.33333333330.44444444440.250.750.375
30.331.330.44444444440.331.33333333330.44444444440.3310.33333333330.40740740740.33333333331.08333333330.3611111111
40.501.830.45833333330.501.83333333330.45833333330.501.50.3750.43055555560.51.58333333330.3958333333
50.252.080.41666666670.252.08333333330.41666666670.251.750.350.39444444440.41.98333333330.3966666667
60.332.420.40277777780.002.08333333330.34722222220.332.08333333330.34722222220.36574074070.33333333332.31666666670.3861111111
70.002.420.34523809520.002.08333333330.29761904760.002.08333333330.29761904760.31349206350.33333333332.650.3785714286
80.002.420.30208333330.002.08333333330.26041666670.002.08333333330.26041666670.27430555560.33333333332.98333333330.3729166667
90.332.750.30555555560.332.41666666670.26851851850.332.41666666670.26851851850.28086419750.253.23333333330.3592592593
100.333.080.30833333330.332.750.2750.332.750.2750.28611111110.253.48333333330.3483333333
111.004.080.37121212121.003.750.34090909090.503.250.29545454550.33585858590.33333333333.81666666670.346969697
120.674.750.39583333330.674.41666666670.36805555560.673.91666666670.32638888890.36342592590.33333333334.150.3458333333
130.505.250.40384615380.504.91666666670.37820512820.504.41666666670.33974358970.37393162390.54.650.3576923077
141.006.250.44642857141.005.91666666670.42261904760.504.91666666670.35119047620.40674603170.55.150.3678571429
150.506.750.451.006.91666666670.46111111110.505.41666666670.36111111110.42407407410.55.650.3766666667
160.507.250.4531250.507.41666666670.46354166670.505.91666666670.36979166670.42881944440.255.90.36875
171.008.250.48529411761.008.41666666670.49509803921.006.91666666670.40686274510.46241830070.66666666676.56666666670.3862745098
181.009.250.51388888891.009.41666666670.52314814811.007.91666666670.43981481480.49228395060.57.06666666670.3925925926
190.509.750.51315789470.509.91666666670.52192982460.508.41666666670.44298245610.49269005850.33333333337.40.3894736842
200.3310.080.50416666670.3310.250.51250.338.750.43750.48472222220.47.80.39
2004
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
10.500.500.50.500.50.50.500.50.50.50.33333333330.33333333330.3333333333
20.330.830.41666666670.330.83333333330.41666666670.330.83333333330.41666666670.41666666670.33333333330.66666666670.3333333333
31.001.830.61111111111.001.83333333330.61111111110.501.33333333330.44444444440.55555555560.51.16666666670.3888888889
40.502.330.58333333330.502.33333333330.58333333330.501.83333333330.45833333330.54166666670.51.66666666670.4166666667
51.003.330.66666666671.003.33333333330.66666666670.502.33333333330.46666666670.60.52.16666666670.4333333333
60.754.080.68055555561.004.33333333330.72222222220.753.08333333330.51388888890.63888888890.33333333332.50.4166666667
70.504.580.65476190480.504.83333333330.69047619050.503.58333333330.51190476190.6190476190.530.4285714286
80.505.080.63541666670.675.50.68750.674.250.531250.61805555560.33333333333.33333333330.4166666667
91.006.080.67592592591.006.50.72222222220.504.750.52777777780.64197530860.53.83333333330.4259259259
100.506.580.65833333330.5070.70.505.250.5250.62777777780.33333333334.16666666670.4166666667
110.677.250.65909090910.677.66666666670.6969696970.675.91666666670.53787878790.63131313130.54.66666666670.4242424242
120.337.580.63194444440.3380.66666666670.336.250.52083333330.60648148150.333333333350.4166666667
130.508.080.62179487180.508.50.65384615380.506.750.51923076920.59829059830.55.50.4230769231
141.009.080.64880952381.009.50.67857142861.007.750.55357142860.6269841270.560.4285714286
150.679.750.650.6710.16666666670.67777777780.678.420.56133333330.62970370370.33333333336.33333333330.4222222222
160.3310.080.63020833330.3310.50.656250.338.75333333330.54708333330.611180555606.33333333330.3958333333
171.0011.080.65196078431.0011.50.67647058821.009.75333333330.57372549020.63405228760.56.83333333330.4019607843
180.5011.580.64351851850.50120.66666666670.5010.25333333330.56962962960.62660493830.57.33333333330.4074074074
190.3311.920.62719298250.3312.33333333330.6491228070.3310.58666666670.55719298250.61116959060.33333333337.66666666670.4035087719
200.3312.250.61250.3312.66666666670.63333333330.3310.920.5460.59727777780.333333333380.4
2002
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.250.250.250.250.250.250.250.250.250.25000
20.000.250.1250.000.250.1250.000.250.1250.125000
30.250.500.16666666670.250.50.16666666670.250.50.16666666670.16666666670.250.250.0833333333
40.501.000.250.5010.250.5010.250.2500.250.0625
50.501.500.30.0010.20.501.50.30.26666666670.50.750.15
60.001.500.250.0010.16666666670.331.83333333330.30555555560.24074074070.33333333331.08333333330.1805555556
70.331.830.26190476190.331.33333333330.19047619050.332.16666666670.30952380950.2539682540.33333333331.41666666670.2023809524
80.332.170.27083333330.6720.250.332.50.31250.27777777780.33333333331.750.21875
90.332.500.27777777780.332.33333333330.25925925930.332.83333333330.31481481480.28395061730.33333333332.08333333330.2314814815
100.503.000.30.753.08333333330.30833333330.503.33333333330.33333333330.31388888890.752.83333333330.2833333333
110.503.500.31818181820.503.58333333330.32575757580.503.83333333330.34848484850.33080808080.53.33333333330.303030303
120.674.170.34722222221.004.58333333330.38194444440.674.50.3750.36805555560.666666666740.3333333333
130.504.670.3589743590.505.08333333330.3910256410.5050.38461538460.3782051282040.3076923077
140.505.170.3690476190.505.58333333330.39880952380.505.50.39285714290.38690476190.54.50.3214285714
150.335.500.36666666670.335.91666666670.39444444440.335.83333333330.38888888890.38333333330.66666666675.16666666670.3444444444
160.335.830.36458333330.336.250.3906250.336.16666666670.38541666670.38020833330.33333333335.50.34375
170.336.170.3627450980.676.91666666670.40686274510.336.50.38235294120.38398692810.33333333335.83333333330.3431372549
180.336.500.36111111110.337.250.40277777780.336.83333333330.37962962960.38117283950.33333333336.16666666670.3425925926
190.677.170.37719298250.677.91666666670.41666666670.337.16666666670.37719298250.39035087720.33333333336.50.3421052632
200.507.670.38333333330.508.41666666670.42083333330.507.66666666670.38333333330.39583333330.570.35
2003
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
11.001.0011.00110.500.50.50.8333333333000
20.501.500.750.501.50.750.5010.50.6666666667000
30.502.000.66666666670.5020.66666666670.501.50.50.61111111110.250.250.0833333333
41.003.000.751.0030.751.002.50.6250.708333333300.250.0625
50.503.500.70.503.50.70.5030.60.66666666670.50.750.15
61.004.500.751.004.50.750.503.50.58333333330.69444444440.33333333331.08333333330.1805555556
71.005.500.78571428571.005.50.78571428571.004.50.64285714290.73809523810.33333333331.41666666670.2023809524
81.006.500.81251.006.50.81251.005.50.68750.77083333330.33333333331.750.21875
90.507.000.77777777780.5070.77777777780.5060.66666666670.74074074070.33333333332.08333333330.2314814815
101.008.000.81.0080.80.506.50.650.750.752.83333333330.2833333333
110.338.330.75757575760.338.33333333330.75757575760.336.83333333330.62121212120.71212121210.53.33333333330.303030303
120.508.830.73611111110.508.83333333330.73611111110.507.33333333330.61111111110.69444444440.666666666740.3333333333
131.009.830.75641025641.009.83333333330.75641025640.507.83333333330.60256410260.7051282051040.3076923077
140.5010.330.73809523810.5010.33333333330.73809523810.508.33333333330.59523809520.69047619050.54.50.3214285714
150.5010.830.72222222220.5010.83333333330.72222222220.508.83333333330.58888888890.67777777780.66666666675.16666666670.3444444444
160.3311.170.69791666670.6711.50.718750.339.16666666670.57291666670.66319444440.33333333335.50.34375
170.5011.670.68627450980.50120.70588235290.509.66666666670.5686274510.65359477120.33333333335.83333333330.3431372549
181.0012.670.70370370371.00130.72222222220.5010.16666666670.56481481480.66358024690.33333333336.16666666670.3425925926
190.3313.000.68421052630.3313.33333333330.7017543860.3310.50.55263157890.64619883040.33333333336.50.3421052632
200.3313.330.66666666670.67140.70.3310.83333333330.54166666670.63611111110.570.35
2004
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2002
00000000000000
11.001.0011.00111111111
21.002.0011.00211211010.5
30.602.600.86666666670.402.40.80.42.40.80.82222222220.21.20.4
40.753.350.83750.502.90.7250.52.90.7250.762512.20.55
50.503.850.770.503.40.680.53.40.680.710.33333333332.53333333330.5066666667
60.504.350.7250.503.90.650.53.90.650.6750.53.03333333330.5055555556
70.334.680.6690476190.334.23333333330.60476190480.66666666674.56666666670.65238095240.64206349210.53.53333333330.5047619048
81.005.680.71041666670.334.56666666670.57083333330.66666666675.23333333330.65416666670.64513888890.54.03333333330.5041666667
90.506.180.6870370370.505.06666666670.5629629630.55.73333333330.6370370370.629012345704.03333333330.4481481481
100.006.180.61833333330.005.06666666670.50666666670.56.23333333330.62333333330.582777777804.03333333330.4033333333
110.676.850.62272727270.675.73333333330.52121212120.66666666676.90.62727272730.59040404040.54.53333333330.4121212121
120.337.180.59861111110.336.06666666670.50555555560.33333333337.23333333330.60277777780.56898148150.33333333334.86666666670.4055555556
130.337.520.57820512820.006.06666666670.46666666670.66666666677.90.60769230770.55085470090.33333333335.20.4
140.508.020.57261904760.006.06666666670.43333333330.58.40.60.535317460305.20.3714285714
150.338.350.55666666670.006.06666666670.404444444408.40.560.50703703705.20.3466666667
160.338.680.54270833330.336.40.40.66666666679.06666666670.56666666670.5031250.33333333335.53333333330.3458333333
170.509.180.54019607840.506.90.40588235290.59.56666666670.5627450980.50294117650.56.03333333330.3549019608
180.679.850.54722222220.677.56666666670.42037037040.33333333339.90.550.505864197506.03333333330.3351851852
190.5010.350.54473684210.508.06666666670.42456140350.510.40.54736842110.505555555606.03333333330.3175438596
201.0011.350.56751.009.06666666670.4533333333111.40.570.530277777817.03333333330.3516666667
2002
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2003
00000000000000
10.330.330.33333333330.670.66666666670.66666666670.670.66666666670.66666666670.55555555560.250.250.25
21.001.330.66666666671.001.66666666670.83333333331.001.66666666670.83333333330.77777777780.33333333330.58333333330.2916666667
30.331.670.55555555560.3320.66666666670.3320.66666666670.62962962960.33333333330.91666666670.3055555556
40.001.670.41666666670.0020.50.0020.50.472222222200.91666666670.2291666667
50.332.000.40.332.33333333330.46666666670.672.66666666670.53333333330.46666666670.51.41666666670.2833333333
61.003.000.51.003.33333333330.55555555561.003.66666666670.61111111110.555555555612.41666666670.4027777778
70.673.670.52380952380.003.33333333330.47619047620.3340.57142857140.523809523802.41666666670.3452380952
80.504.170.52083333330.503.83333333330.47916666670.504.50.56250.52083333330.66666666673.08333333330.3854166667
90.504.670.51851851850.504.33333333330.48148148150.5050.55555555560.518518518503.08333333330.3425925926
100.505.170.51666666670.004.33333333330.43333333330.505.50.550.50.53.58333333330.3583333333
110.505.670.51515151521.005.33333333330.48484848481.006.50.59090909090.53030303030.33333333333.91666666670.3560606061
121.006.670.55555555561.006.33333333330.52777777781.007.50.6250.56944444440.54.41666666670.3680555556
130.507.170.55128205130.506.83333333330.52564102560.5080.61538461540.564102564104.41666666670.3397435897
140.757.920.56547619050.757.58333333330.54166666670.508.50.60714285710.57142857140.54.91666666670.3511904762
150.508.420.56111111110.508.08333333330.53888888890.5090.60.56666666670.55.41666666670.3611111111
160.008.420.52604166670.508.58333333330.53645833330.509.50.593750.55208333330.55.91666666670.3697916667
171.009.420.55392156861.009.58333333330.56372549021.0010.50.61764705880.578431372516.91666666670.4068627451
180.509.920.55092592590.009.58333333330.53240740740.50110.61111111110.564814814806.91666666670.3842592593
190.6710.580.55701754390.6710.250.53947368420.6711.66666666670.61403508770.570175438606.91666666670.3640350877
200.5011.080.55416666670.5010.750.53750.5012.16666666670.60833333330.56666666670.57.41666666670.3708333333
2003
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
2004
00000000000000
10.500.500.50.750.750.750.500.50.50.58333333330.250.250.25
21.001.500.751.001.750.8751.001.50.750.79166666670.33333333330.58333333330.2916666667
30.672.170.72222222220.672.41666666670.80555555560.672.16666666670.72222222220.750.33333333330.91666666670.3055555556
41.003.170.79166666671.003.41666666670.85416666671.003.16666666670.79166666670.812500.91666666670.2291666667
51.004.170.83333333330.503.91666666670.78333333330.003.16666666670.63333333330.750.51.41666666670.2833333333
60.334.500.750.334.250.70833333330.333.50.58333333330.680555555612.41666666670.4027777778
70.204.700.67142857140.204.450.63571428570.003.50.50.602380952402.41666666670.3452380952
81.005.700.71251.005.450.681250.5040.50.631250.66666666673.08333333330.3854166667
90.676.370.70740740740.676.11666666670.67962962960.334.33333333330.48148148150.622839506203.08333333330.3425925926
100.506.870.68666666670.506.61666666670.66166666670.504.83333333330.48333333330.61055555560.53.58333333330.3583333333
110.337.200.65454545450.336.950.63181818180.335.16666666670.46969696970.58535353540.33333333333.91666666670.3560606061
120.507.700.64166666670.507.450.62083333330.505.66666666670.47222222220.57824074070.54.41666666670.3680555556
130.508.200.63076923080.507.950.61153846150.506.16666666670.47435897440.572222222204.41666666670.3397435897
140.508.700.62142857140.508.450.60357142860.506.66666666670.47619047620.56706349210.54.91666666670.3511904762
150.679.370.62444444441.009.450.630.677.33333333330.48888888890.58111111110.55.41666666670.3611111111
160.339.700.606250.339.78333333330.61145833330.337.66666666670.47916666670.5656250.55.91666666670.3697916667
170.6710.370.60980392160.5010.28333333330.60490196080.257.91666666670.46568627450.56013071916.91666666670.4068627451
180.5010.870.60370370370.7511.03333333330.6129629630.258.16666666670.45370370370.556790123506.91666666670.3842592593
190.5011.370.5982456140.5011.53333333330.60701754390.258.41666666670.44298245610.549415204706.91666666670.3640350877
200.5011.870.59333333330.7512.28333333330.61416666670.258.66666666670.43333333330.54694444440.57.41666666670.3708333333
2004
Expert 1
Expert 2
Expert 3
The number of news
Average Precision
Chart1
000
0.50.50.5
0.50.50.5
0.47619047620.42857142860.4285714286
0.50714285710.42142857140.4214285714
0.5390476190.47047619050.4704761905
0.61587301590.55873015870.5587301587
0.59931972790.55034013610.6217687075
0.57127976190.4971726190.606547619
0.56335978840.49748677250.6502645503
0.50702380950.44773809520.6852380952
0.49729437230.44339826840.6593073593
0.48363095240.43422619050.6321428571
0.46565934070.40082417580.621978022
0.44260204080.37219387760.587755102
0.42976190480.34738095240.5485714286
0.41852678570.34129464290.5455357143
0.45273109240.38004201680.5722689076
0.43992504410.37127425040.54664903
0.46940267340.40436507940.5705096074
0.49593253970.43414682540.591984127
Expert 1
Expert 2
Expert 3
The number of news
Average Recall
2002
00000000000000
10.400.400.40.600.60.60.400.40.40.46666666670.40.40.4
20.000.400.20.000.60.30.000.40.20.233333333300.40.2
31.001.400.46666666671.001.60.53333333331.001.40.46666666670.48888888890.50.90.3
40.001.400.350.001.60.41.002.40.60.450.33333333331.23333333330.3083333333
50.001.400.281.002.60.521.003.40.680.49333333330.251.48333333330.2966666667
60.501.900.31666666671.003.60.60.503.90.650.52222222220.251.73333333330.2888888889
71.002.900.41428571431.004.60.65714285711.004.90.70.59047619050.33333333332.06666666670.2952380952
80.573.470.43392857140.294.88571428570.61071428570.575.47142857140.68392857140.57619047620.14285714292.20952380950.2761904762
90.503.970.44126984130.505.38571428570.59841269841.006.47142857140.7190476190.58624338620.252.45952380950.2732804233
100.404.370.43714285710.405.78571428570.57857142860.607.07142857140.70714285710.57428571430.16666666672.62619047620.2626190476
110.504.870.44285714290.506.28571428570.57142857140.507.57142857140.68831168830.56753246750.53.12619047620.2841991342
121.005.870.48928571431.007.28571428570.60714285711.008.57142857140.71428571430.60357142860.253.37619047620.2813492063
131.006.870.52857142860.677.95238095240.61172161170.679.23809523810.71062271060.6169719170.43.77619047620.2904761905
140.337.200.51462585030.508.45238095240.60374149660.339.57142857140.68367346940.60068027210.33333333334.10952380950.293537415
150.207.400.49365079370.609.05238095240.60349206350.409.97142857140.66476190480.58730158730.24.30952380950.2873015873
160.337.740.48363095240.179.2190476190.57619047620.3310.30476190480.6440476190.56795634920.254.55952380950.2849702381
171.008.740.51400560221.0010.2190476190.60112044821.0011.30476190480.66498599440.59337068160.55.05952380950.2976190476
180.509.240.51322751320.5010.7190476190.59550264550.5011.80476190480.65582010580.58818342150.33333333335.39285714290.2996031746
190.509.740.51253132830.5011.2190476190.59047619051.0012.80476190480.67393483710.59231411860.255.64285714290.2969924812
200.009.740.48690476190.0011.2190476190.5609523810.5013.30476190480.66523809520.5710317460.56.14285714290.3071428571
2002
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Recall
2003
00000000000000
10.500.500.51.00111.00110.83333333330.50.50.5
20.801.300.650.801.80.90.401.40.70.750.250.750.375
31.002.300.76666666671.002.80.93333333331.002.40.80.83333333330.51.250.4166666667
40.672.970.74166666670.503.30.8250.502.90.7250.76388888890.28571428571.53571428570.3839285714
51.003.970.79333333331.004.30.861.003.90.780.81111111110.52.03571428570.4071428571
60.754.720.78611111110.504.80.80.754.650.7750.7870370370.42.43571428570.405952381
70.505.220.74523809520.505.30.75714285711.005.650.80714285710.76984126980.33333333332.7690476190.3955782313
81.006.220.77708333331.006.30.78751.006.650.831250.79861111110.53.2690476190.4086309524
90.116.330.70308641980.897.18888888890.79876543210.226.87222222220.76358024690.75514403290.16666666673.43571428570.3817460317
100.506.830.68277777780.507.68888888890.76888888890.507.37222222220.73722222220.72962962960.33333333333.7690476190.3769047619
110.507.330.66616161620.007.68888888890.6989898990.507.87222222220.71565656570.69360269360.254.0190476190.3653679654
120.507.830.65231481480.508.18888888890.68240740741.008.87222222220.73935185190.69135802470.33333333334.35238095240.3626984127
131.008.830.67905982911.009.18888888890.70683760681.009.87222222220.75940170940.71509971510.54.85238095240.3732600733
141.009.830.7019841271.0010.18888888890.72777777781.0010.87222222220.77658730160.73544973540.33333333335.18571428570.3704081633
151.0010.830.72185185191.0011.18888888890.74592592591.0011.87222222220.79148148150.75308641980.66666666675.85238095240.3901587302
160.5011.330.70798611110.5011.68888888890.73055555560.5012.37222222220.77326388890.73726851850.33333333336.18571428570.3866071429
171.0012.330.72516339871.0012.68888888890.74640522881.0013.37222222220.78660130720.75272331150.56.68571428570.3932773109
180.3312.660.70339506170.3313.02222222220.72345679010.3313.70555555560.76141975310.72942386830.33333333337.0190476190.3899470899
190.6013.260.69795321640.8013.82222222220.72748538010.4014.10555555560.74239766080.72261208580.27.2190476190.3799498747
200.5013.760.68805555560.6714.48888888890.72444444440.3314.43888888890.72194444440.71148148150.47.6190476190.380952381
2003
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
000
Expert 1
Expert 2
Expert 3
The number of news
Average Recall
2004
00000000000000
10.500.500.50.500.50.50.500.50.50.50.50.50.5
20.501.000.50.5010.50.250.750.3750.45833333330.250.750.375
31.002.000.66666666671.0020.66666666671.001.750.58333333330.63888888890.51.250.4166666667
40.502.500.6250.502.50.6250.502.250.56250.60416666670.28571428571.53571428570.3839285714
51.003.500.71.003.50.71.003.250.650.68333333330.52.03571428570.4071428571
61.004.500.750.003.50.58333333331.004.250.70833333330.68055555560.42.43571428570.405952381
70.004.500.64285714290.003.50.50.004.250.60714285710.58333333330.33333333332.7690476190.3955782313
80.004.500.56250.003.50.43750.004.250.531250.51041666670.53.2690476190.4086309524
91.005.500.61111111111.004.50.51.005.250.58333333330.56481481480.16666666673.43571428570.3817460317
101.006.500.651.005.50.551.006.250.6250.60833333330.33333333333.7690476190.3769047619
111.007.500.68181818181.006.50.59090909090.506.750.61363636360.62878787880.254.0190476190.3653679654
121.008.500.70833333331.007.50.6251.007.750.64583333330.65972222220.33333333334.35238095240.3626984127
131.009.500.73076923081.008.50.65384615381.008.750.67307692310.68589743590.54.85238095240.3732600733
140.409.900.70714285710.609.10.650.208.950.63928571430.66547619050.33333333335.18571428570.3704081633
150.5010.400.69333333331.0010.10.67333333330.509.450.630.66555555560.66666666675.85238095240.3901587302
160.5010.900.681250.5010.60.66250.509.950.6218750.65520833330.33333333336.18571428570.3866071429
171.0011.900.71.0011.60.68235294121.0010.950.64411764710.67549019610.56.68571428570.3932773109
181.0012.900.71666666671.0012.60.71.0011.950.66388888890.69351851850.33333333337.0190476190.3899470899
191.0013.900.73157894741.0013.60.71578947371.0012.950.68157894740.70964912280.27.2190476190.3799498747
200.