Discovery or Not? 发现与否？A Major Longitudinal Study of the Effect of Web-Scale Discovery Services on Online Journal Usage

网络规模发现系统对在线期刊使用的影响的重要纵向研究

Transforming Libraries for an Enriching Community“ 蜕变：为不断发展的学术界打造全新的图书馆”

Koguan Law School, Shanghai Jiao Tong University上海交通大学（徐汇校区）凯原法学楼

January 6, 2014 2014 年 1 月 6 日

Michael Levine-Clark 迈克尔•莱文•克拉克 University of Denver 丹佛大学John McDonald 约翰• 麦克唐纳 University of Southern California 南加利福尼亚大学

Jason Price 詹森•普莱斯 SCELC Consortium 加州电子图书馆联盟

Discovery or Not? 发现与否？A Major Longitudinal Study of the Effect of Web-Scale Discovery Services on Online Journal Usage

网络规模发现系统对在线期刊使用的影响的重要纵向研究

Transforming Libraries for an Enriching Community“ 蜕变：为不断发展的学术界打造全新的图书馆”

Koguan Law School, Shanghai Jiao Tong UniversityBeijing University 北京大学

January 9, 2014 2014 年 1 月 9 日

Michael Levine-Clark 迈克尔•莱文•克拉克 University of Denver 丹佛大学John McDonald 约翰• 麦克唐纳 University of Southern California 南加利福尼亚大学

Jason Price 詹森•普莱斯 SCELC Consortium 加州电子图书馆联盟

John McDonald 约翰• 麦克唐纳

Associate Dean for Collections馆藏副教务长University of Southern California南加利福尼亚大学

World-Champion Bocce Ball Player室外地滚球戏世界冠军

译者注：室外地滚球戏是一种意大利式式草地保龄球，主要盛行于北欧国家

Jason Price 詹森•普莱斯

Program Manager 项目经理Statewide California Electronic Library Consortium 加州全州电子图书馆联盟 (SCELC)

Knitted a Life-Size Replica of the Taj Mahal 编制了实物大小的泰姬陵复制品

译者注：泰姬陵主体陵墓尺寸大致为 60 米 *60 米 *75 米

Michael Levine-Clark 迈克尔•莱文•克拉克

Associate Dean for ScholarlyCommunication and Collections Services 学术交流与馆藏服务副教务长University of Denver 丹佛大学

Can Clean and Jerk 400 Pounds能够挺举 400 磅

译者注：男子挺举 62 公斤级世界纪录是 182 公斤，合 401.2 磅

“…a steep increase in full text downloads and link

resolver click‐throughs suggests Summon had a

dramatic impact on user behavior and the use of

library collections during this time period.”

“…… 全文下载量和链接点击量的急剧增长说明了 Summon 在这

段时期内对于读者行为和图书馆馆藏使用有着戏剧性的影响。”

The Impact of Web-scale Discovery on the Use of a Library Collection 网络规模发现工具对图书馆馆藏使用的影响

Doug Way 道格• 韦 (2010) http://scholarworks.gvsu.edu/library_sp/9/

http://www.oclc.org/partnerships/econtent/solutions.en.html

Vendor marketing 发现系统供应商的营销

+21% +58% +2,297%

威拉姆特大学 ILL文章请求量

威拉姆特大学到打开网址解析器的通信量

麦卡利斯特学院到打开网址解析器的通信量

在使用 WorldCat Local 后，图书馆员们可以看到电子资源使用和发现方面的可观增长。

What did we measure?我们分析出什么？

• Whether there is an effect

• 是 是否存在影响

• NOT why that effect exists

(that’s a future study!)

• 不是 为什么存在影响

（那是未来的研究项目）

Does implementation of a discovery service impact usage of publisher-hosted journal content?

应用发现系统能否影响出版商主导的期刊内容的使用？

Web-scale discovery services网络规模发现系统

• Single source for finding

informationn

查找信息的单一来源

– Books 书籍

– Articles 文章

– Local content 本地内容

• Metadata and/or full text

元数据和 / 或全文

• Content is pre-indexed and/or pre-

harvested 内容是已编入索引并且

/ 或已完成的

• Single fast search

单独快速搜索

ILS 图书馆集成系统

HathiTrust数字库

MLA Bibliography

参考书目

Institutional Repository

机构知识库

Publisher Metadata 出版商元数据

Discovery Service发现系统

An assumption 一个假设

• At any given institution, given a relatively stable user base,

the total search effort will remain roughly the same.

• 在任何给定机构，给定一个相对稳定地用户群体，总体

搜索量会保持大致稳定

– X students will have Y assignments and Z hours per day to search

– X名学生有 Y份作业，每天用 Z 小时来搜索

– X faculty will publish Y papers and have Z hours per day to search

– X 名教员会发表 Y篇论文，每天用 Z 小时来搜索

Discovery services 发现系统 Will take up an increasing amount of a finite time for searching

会占据更多数量的有限时间来检索

Will draw users from other (more or less efficient) search tools

会把使用者从别的（更高效或低效的）搜索工具吸引过来

Will alter the overall productivity of searches (users will find more or less)

会影响搜索的总体数量（读者会发现更多或更少）

Will alter the overall efficiency of users (users will access more or less full-text)

会影响搜索的总体效率（读者会使用更多或更少的全文）

Prior studies 之前的研究

• Some studies have indicated substantial increases in usage after Discovery

implementation 一些研究显示使用发现系统后会出现大规模的使用量增长

– Descriptive statistics only

– 仅有描述性统计

– Single institution studies only

– 仅在单一机构中进行研究

• Some publishers report decreased usage of content 一些出版商反映内容使

用的减少

– Anecdotal, may affect some and not others

– 是传闻的，可能影响了一部分出版商，并没有影响其他

Data collection 数据收集• List of libraries with discovery services

使用发现系统的图书馆列表

> Searched on lib-web-cats 在 lib-web-cats 上搜集

• Surveyed Libraries 调查的图书馆

> Discovery service Implemented 使用发现系统

> Implementation Date (month/year) 启用日期（月 / 年）

> Search box location 搜索栏位置

> Marketing effort 营销效能

• 149 Libraries Gave Approval 149所图书馆给予认可

> 24 libraries selected for this phase 本阶段选择了 24所图书馆

> 6 for each of the 4 major discovery services 4 种主要发现系统，每种 6所

Library demographics 图书馆情况统计• 20 US, 1 each from UK, AUS, NZ, CA

美国 20所，英国、澳大利亚、新西兰、加拿大各1所

• 10 ARL Libraries included

包含10所美国研究图书馆协会图书馆

• WorldCat book holdings WorldCat 图书持有量

> Average 平均 : 1,114,193

> Median 中值 : 1,044,153

> High 高 : 2,665,796

> Low 低 : 298,365

• Implementation dates 发现系统启用日期 :

> 2010 (3), 2011 (19), 2012 (2)

“ 我们笃信上帝，除此其他都必须依据事实数据。”

W•爱德华•戴明

Dataset 数据• 24 Libraries 24所图书馆

– 20 US, 1 each from UK, AUS, NZ, CA

– 美国 20所，英国、澳大利亚、新西兰、加拿大各1所

– WorldCat book holdings WorldCat 图书持有量> Average平均 : 1,114,193 ; Range: ~300k to ~2.6mil范围 : 约 30万—约 260万

• Implementation dates 发现系统启用日期 : > 2010 (3), 2011 (19), 2012 (2)

• 6 Publishers 出版商

• 9,206 Journals 期刊

• 159,278 Observations观测数据

• 141,048 Usable Observations可用数据

Methodology 方法Compared COUNTER JR1 total full text article views for the 12 months before vs 12 months after implementation date对比启用发现系统前后各一年的 COUNTER JR1 全文浏览总量

June

201

0St

art

Impl

emen

tatio

nM

ay 2

011

May

201

2En

d

Year 1 Year 2

Included implementation month in Year 1 to ensure that both periods included an entire academic year

启用月包含在前一年，以使两个时间段都包含一个完整的学年

Collections notes 收集说明

• Controlled for journal title availability across entire 24 months• 控制期刊在整个 24 个月内可用

Excluded journals that did not have COUNTER reporting across entire

period 排除了在整段时间内没有 COUNTER报告的期刊

• Availability of complete Big Deal is irrelevant• 整体期刊库的可用性并非必需

What matters is availability of large number of titles with coverage for

entire 24-month period 重要的是大量的期刊的可用时间段可以覆盖这 24 个月 Most libraries have all or nearly all titles from each publisher 大部分图书馆有全部或大部分来自各出版商的所有期刊

Collections notes 收集说明

• Limited ability to control for changes in aggregator,

backfile access, or expanded holdings• 限制集成商变化，过刊访问或持有量扩大的能力有限

Will do this in later phase of study 下一阶段的研究中会加以控制

• Outliers removed from analysis• 分析中去除异常值

检查异常数据

Journal Observations by Discovery Service

期刊比例——根据发现系统分类

各图书馆可用期刊量

期刊比例——根据出版商分类

各图书馆期刊平均使用量

之前每种期刊使用量

之后每种期刊使用量

使用量百分比变化

General trends 定性分析大体趋势

• Variation by institution within each discovery service

• 每种发现系统的使用量，随着机构不同而不同

• Variation by publisher within each discovery service

• 每种发现系统的使用量，随着出版商不同而不同

• Some publishers saw overall net increase, while some experienced a

decrease in usage

• 一些出版商的使用量整体净增长，同时另一些整体使用量的减少

“ 数据没有意义，我们要诉诸统计。”

Analyzing Usage Change: % vs Total分析使用量变化：百分比 v.s. 整体

Use 12 months before 之前 12

个月的使用

Use 12 months after 之后 12个月的使用

% Change百分比

变化

Total Change整体变

化量

Journal 期刊A

500 600 20% 100

Journal 期刊B

5 15 200% 10

Which is the better measure? 哪种分析方式更棒？Is it the same for publisher- & journal-level data?基于出版商和基于期刊的数据分析，结论一样吗？

Goals of our inferential statistics我们推论统计的目标

• Determine whether observed differences are significant or resulted

from chance effects

• 确定我们观察到的差别是有意义的，还是随机影响的结果

• Determine which of the three factors (i.e. library, publisher, discovery

service) contribute to determining differences in usage change at the

journal level

• 确定这三种因素（图书馆、出版商、发现系统）中的哪个影响了期刊使用量变化

• Identify important factors for further analysis*

• 确定未来分析中的重要因素 *

ANOVA – F Ratio 方差分析——比例 F

• Tests whether the means for levels within a factor are distinguishable from

each other

• 检测不同因素的影响水平可否区分

• So, when F ≈ 1, means are not distinguishable, when F is >> 1, there are real differences

among some means

• 当 F ≈ 1 时，因素的影响不可区分；

当 F >>1 时，因素影响导致的差别显著；

•

=

Average variability due to the factorF ratio

Average variability due to chance error

 =F由于因素导致的平均变化比例

由于随机误差导致的平均变化

Full Model 全模型Including Discovery Service, Publisher, and Library

包括发现系统，出版商和图书馆

Does the effect of discovery service differ across libraries?发现系统对使用量的影响与图书馆相关吗？

Library 图书馆 1-6 Library 图书馆 7-12 Library 图书馆 13-18Library 图书馆 19-24

Testable Interactions 可测试的交互作用

• Discovery Tool 发现系统

– Implemented by multiple libraries 多个图书馆使用

– Used to find content from all publishers 可被用来寻找所有出版商的内容

• Publisher 出版商

– Accessible in all discovery tools 可用所有发现工具获取

– Accessible across multiple libraries 可被多个图书馆获取

• Library 图书馆

– Uses content from multiple publishers 使用多个出版商的内容

– Uses only one discovery tool 使用一种发现工具

Nested ANOVA Model including all three factors 内嵌的包括三个因素的方差分析模型

(still preliminary) （仍然是初步的）

Does usage change vary across libraries? 使用量变化与图书馆相关吗？

Institution (sorted by Mean Change) 机构（按变化均值排序）

Overall Average = 8.5

Does Usage Change Vary Across Libraries?

Yes

使用量变化是否与图书馆相关？

是

Does usage change vary across publishers?使用量变化与出版商相关吗？

Publisher (sorted by Mean Change) 出版商（按变化均值排序）

Overall Average = 8.9

Does Usage Change Vary Across Publishers?

No

使用量变化是否与出版商相关？

否

Does usage change vary across discovery services?使用量变化与发现系统相关吗？

Overall Average = 8.9

Does Usage Change Vary Across Discovery Services?

Yes

使用量变化是否与发现系统相关？

是

Does the effect of discovery service differ across publishers?发现系统的影响与出版商相关吗？

Publisher

出版商

使用量变化的估算边际均值

Does the Effect of Discovery Service Vary across Publishers?

Yes

发现系统的影响是否与出版商相关？

是

Results 结果

Can we detect differences between Discovery Services, Publishers,

and/or Libraries and/or their interactions?

我们能检测到发现系统，出版商，和 / 或图书馆，和 / 或他们的相互作用对使用量变化的影响吗？

• Library – Yes 图书馆——能

• Publisher – No 出版商——不能

• Discovery Service – Yes 发现系统——能

• Differential discovery service effect by publisher – Yes

发现系统的影响随出版商不同而变化——能

Conclusions 结论• Discovery Service and Library as variables on their own

were significant predictors of usage change

• 发现系统和图书馆作为独立变量，是使用量变化的重要预测因子

• The effect of Discovery Service on usage change varied

across Publishers

• 发现系统对使用量变化的影响与出版商相关

– No Discovery Service increased or decreased usage across all

publishers

– 没有发现系统能使所有出版商的使用量实现统一的增长或统一的减少

Sharing Data 共享的数据• With participating libraries 对参与的图书馆

–Customized reports for each library 每个图书馆的定制报告

• With participating publishers 对参与的出版商

–Customized reports for each publisher 每个出版商的定制报告

–Presentations as requested 应邀演讲

• With discovery vendors 对发现系统供应商

–Presentations as requested 应邀演讲

• In publications and presentations 在出版物上和演讲时

–Maintaining anonymity of data 保持数据匿名

Next Steps 下一步计划• Design & test for effects of: 设计并测试以下因素的影响：

–Aggregator full text availability 集成商全文可用性

–Institution Size / Enrollment Profile 机构规模 / 注册人数

–Publisher Size 出版商规模

–Journal Subject 期刊学科

–Overall usage trends (Requires Disc Srvc ‘control’)

整体使用趋势（需要 Disc Srvc“控制”）

–Configuration options in Discovery services 发现系统的架构

• Expand pool of libraries 扩大图书馆选择范围

• Perhaps explore WHY 也许会探索产生这些影响的原因

Past/Future Presentations 过去和未来的演讲

• Ithaka Sustainable Scholarship Conference (October 2013)

伊萨基可持续学术会议（2013年十月）

• Charleston Conference (November 2013)

查尔斯顿会议（2013年十一月）

• ER&L/Library Journal Webinar (December 2014)

ER&L/图书馆期刊研讨会 （2013年十二月）

• ER&L (March 2014) （2014年三月）

• UKSG (April 2014) （2014年四月）

–Including Control group & Additional libraries

包括对照组和增加的图书馆

–Add Additional variables & further analysis

增加额外的变量和未来的分析

Questions

michael.levine-clark@du.edu | johndmcd@usc.edu | jason@scelc.org