理论篇（续）

理论篇（续）

刘炜上海图书馆数字图书馆研究所

面向 21 世纪课程教材

数字图书馆原理及应用

第二章数字图书馆的发展23/4/19

数字图书馆产生背景信息技术发展的后果；图书馆业务处理对象：信息载体质和量的

变化；图书馆业务处理手段：网络化、虚拟化、

自动化；迫使图书馆必须调整馆藏结构、变革处理

流程、改变服务方式。


数字图书馆的产生背景 - 内因文献载体电子化、数字化；文献信息利用手段受到信息技术发展的影

响，特别是计算机和网络技术的发展。


数字时代实现图书馆的四大职能图书馆的四大社会职能 * 在数字时代的延续

保存人类文化遗产开发智力资源传递科技信息开展社会教育

* 出处：国际图联 (IFLA)1975 年在法国里昂举行的关于图书馆职能的学术研讨会


图书馆在信息社会中居于中心地位

国际图联（ IFLA ）在 2003 年柏林信息社会全球峰会的决议中指出，图书馆在信息社会中居于中心地位 [1]。图书馆以信息载体为处理对象，通过对其所负载的知识内容的加工、处理和整序，达到传播和利用知识的目的。随着信息社会的到来，图书馆这样一个以信息载体及其负载的知识内容为工作对象的社会机构，从形态到结构、从流程到手段都在发生巨大变革，数字化和网络化是图书馆面临的必然趋势，数字化是源，网络化是流，通过网络手段将数字信息提供给用户是图书馆服务的最终目的。

[1] 参见： http://www.csls.org.cn/international/interconfe1.htm （访问日期： 2004 年 7 月 27 日）


信息资源的剧增

数字图书馆的产生背景 - 外因


数字化信息量举例音乐作品 ( 莫扎特 ) ：约 100MB 报纸 ( 华尔街杂志 ) ： 100MB/ 年 ( 文本 ) 卡片目录 ( 美国国会图书馆 ) ： 17GB 广播 (WABC) ： 270GB/ 年 ( 未经压缩 ) 网络论坛 (Netnews) ： 300GB/ 年地区图书馆 ( 加州大学图书馆 ) ： 1.4TB( 图书扫描版 ) Internet 出版 (WWW) ： 1997 年约 4TB 电视 (CNN 新闻 ) ： 1GB/1 小时 , 6TB/ 年 ( 经压缩 ) 录像带出租 (Blockbuster Video) ： 9TB 科研图书馆 ( 美国会图书馆 ) ：全部图书馆数字化 20TB

来源：美国伯克利加州大学教授 Peter Lyman 和 Alex Internet 公司总裁 Brewster Kahle 所著《文化制品数字化存档行动纲要》。


1922

1950 1980 1995 20000

20

40

60

80

100

120

Mill

ions

of U

sers

(US

A)

Radio TV Cable Internet

# of Years to Reach50 MM Users (USA)

RadioTVCableInternet

381310<5

Source: Morgan Stanley Research

互连网以爆炸方式发展普及

1998 1999 2000 2001 2002

110M140M

175M

230M

320M

USWestern EuropeJapan/AP

Rest of World

... 到全球每个角落


全球信息存在形式

纸胶片录象带

CDs数字影像磁带

硬盘文件系统

300 Exabytes

20 Exabytes

1000 Petabytes

100 Terabytes

模拟数据

离线

在线

Internet

.

10HTML

Source: Information TYO (June 1999)by Ashok Chandra, IBM Research - Almaden


世界信息总量全世界每年生产信息 1 x 1018 2 x 1018 字节信息 , 大约

为全世界每人 250MB 字节。印刷体只占 0.003%, 磁介质 93% 。 Email 达 11,285TB 。 Usenet 73TB 。 2000 年 WWW 公共浏览网页 21亿 , 平均每个网页 10K

数据 ,每年新增 700万网页。 2001 年网页将达到 40亿。众多数据库以非网页形式存储 7,500TB 数据 ,包含 5,500亿记录或文件。

中国短信信息总量 10亿条 / 年 *


介质媒体形态产量 / 上限产量 /下限增长率

纸张图书报纸期刊办公文件小计

82512195240

1211923

22222

光学介质音乐光盘数据光盘DVDs小计

5832283

632231

3210070

磁介质数字摄象磁带个人计算机硬盘部门服务器单位服务器小计

300,000766,000460,000167,0001,693,000

300,0007,660161,000108,550577,210

510010010055

总计 2,120,539 635,480 50

1999 年世界范围静态信息生产量(单位： TB, 千千兆 , 1012 字节 )

来源：曾民族先生的有关报告


信息高速公路的建设和因特网的发展



Internet 用户 : 30 to 300 million in 2001 Internet 流量 : 每 70 天翻一番电子商务 : 2002 年 1.3 万亿美元 1997 年 PC 台数销售量超过 TV

Internet 利用量


网络信息资源的挑战数量巨大

没有一个搜索引擎能够覆盖万维网的 16% 网站；所有搜索引擎加起来覆盖了万维网的 42%

极端异质信息值不同长度不同语法或输入错误内容错误、过时或不可靠多种格式多语种

速度问题每分钟需要接受 15,000 ~ 20,000次查询请求


数字化技术的发展



信息服务领域的技术进步 (1)

技术类别七十年代(联机服务 )

八十年代(Internet服务 )

九十年代中期以来

(网络服务 )

网络联机 LAN, Internet 第二代 Internet 宽带网 , MAN,无线 , 网格 , 网络服务

计算机小型计算机个人电脑手持 , 家用 , 芯片

磁盘价格 (1MB) 约 1万美元 1988 年 11.54美元

1994 0.71 美元 ,1998 0.07 美元 ,2000 0.03 美元2002 0.01 美元

信息量单位 MB, GB GB, TG TG, PB, EB

数字化 OCR, 模式识别数字化 Audio/video

语音识别


信息载体文本多媒体虚拟空间

信息层次文本信息显形知识隐形知识

信息组织结构化 , 关系数据库

半结构化 , 关系数据库

非结构化 , 数据仓库 , 信息体系结构(IA)

内容特征 (标识 ) 规范控制元数据 (metadata) 专业元数据

内容组织格式 MARC SGML, HTML XML, 专业标置语言

内容组织体系 Thesaurus Wordnet CYC, Taxonomy, Ontology

内容转换压缩技术 , 汉字切分关键词抽取

试验性：自动标引 , 自动分类 , 自动摘要 , 自动翻译

实用性 , 智能化：自动标引 , 自动分类 , 自动摘要 , 自动翻译 , 自动文本生成

内容控制全文文本排序、算法改进

假设内容处理单元都是独立的 , 最多仅是词法、句法关联

数据挖掘、数据融合、文本挖掘、信息抽取 ,可视化



信息链接文献内部 , 文献间 , 引文链接

超文本链接 ,跨库链接 ,Internet链 , Intranet 链接

跨网链接 , 语义链接跨语言链接

集合组织主题网站信息门户 , 跨网门户

虚拟资源门户 , 语义门户

信息提供文本多媒体个性化 , 可视化

信息推荐 SDI 推技术 , TOC, Alert awareness,

Recommender, Wrapper, information filtering

信息检索全文文本搜索引擎多媒体检索 , 内容检索 , 语义检索

用户界面菜单多窗口 , 多媒体

可视化



数字图书馆发展的社会背景数字图书馆是社会信息化发展的必然产物数字图书馆是评价一个国家信息基础水平

的重要标志数字图书馆是 21 世纪全球文化竞争的焦点之一

数字图书馆建设有利于带动相关行业发展


数字图书馆产生演变过程形成过程

文献资源数字化数字资源集成数字资源共享


数字图书馆产生演变过程早期数字化技术和概念探索阶段

V. 布什的 As we may think兰开斯特的无纸化社会预言电子图书馆的定义与猜想

图书馆自动化管理系统的研究开发数字图书馆项目启动数字图书馆建设与利用


美国数字图书馆研究开发情况


加州大学伯克利分校——环境电子图书馆：可升级的、智能化和分布式电子图书馆的原型加州大学圣巴巴拉分校——亚历山大项目：图象和空间参考信息综合服务的分布式数字图书馆的初步探索卡内基﹒梅隆大学（ Carnegie Mellon University） —— 信息媒体：集成声音、图象和语言理解技术创建和探索数字视频图书馆伊利诺大学厄尔巴那分校——构建互联空间：为大学工程学科建立数字图书馆的基本架构密歇根大学——智能信息搜索斯坦福大学——斯坦福综合电子图书馆

DLI1DLI1 研究项目研究项目


DLI2DLI2 研究项目研究项目专家选择利用信息的轨迹研究及其利用图象传输中的安全研究 WWW 上自动化参考“图书馆员”为人文科学服务的实验图书馆棉质藏品的 2D/3D 重建高性能的数字图书馆分类系统：从信息搜寻到知识管理


DLI2DLI2 特点概述特点概述信息检索领域技术在不断进步；数字图书馆的研究领域极大地扩展；许多重组因特网网络资源的努力正在取得效果；

出现数字图书馆专业课程，对专业教育做出贡献


DLI-2在规模、范围、内容和方向上的显著变化受资助单位大幅度增加在过去纯研究的风格外，增加了面向实际问题的研究和开发

除保留了传统的体系结构、信息检索、互操作主题之外，一些新的研究主题受到关注，如：信息保藏、添加声音、建立和维护数字图书馆的实际问题、与医疗有关的电子病历、医学图象等

与情报学的联系密切地理信息核医学情报是众多项目的交汇点


加州大学数字图书馆加州大学数字图书馆 1999 年 1 月开馆， 9 所图书馆联合目标：

资源共享补充传统收藏，促进资源利用履行职能，管理资源应用用数字图书馆技术，实践新的服务模式对社会公众开放


加州大学数字图书馆加州大学数字图书馆

最新资源：报纸历史文档 Palmer's Index to The Times (coverage: The

Times 1790 to 1905) The Official Index to The Times (coverage: Th

e Times 1906 to 1980) The Historical Index to The New York Times

(coverage: 1851 to September 1922) Palmer's Full Text Online (coverage: The Tim

es 1785-1870 full text)


美国国会图书馆美国国会图书馆

国家数字图书馆美国记忆

数字图书馆竞争项目


美国国会图书馆美国国会图书馆图书馆竞争项目概况

首次将国家数字图书馆馆藏扩大到国会图书馆之外；三年内由 Ameritech 提供 200万美元奖金；每年不超过十个获奖项目；竞赛向除了联邦图书馆之外的所有美国境内的图书馆、档

案馆、历史协会和其它原始资料收藏机构开放；所有选择的资料必须世纪在美国历史的原始资料；所有数字化资料必须通过美国国会图书馆“国家数字图书

馆”网站对外服务；所有内容须经知名图书馆专家审核。


大不列颠图书馆大不列颠图书馆

建设数字图书馆的主要任务促进各类书目、联合目录的利用，对现有馆藏的揭示提供详尽信

息，改善馆藏存取；促进数字化馆藏资源建设和利用；注重创新各种数字化资源的服务模式 ; 制订规划进行馆藏资源的数字化建设；促成呈缴本制度的改革，使之包括数字化出版物；在管理、用户服务、部门协作、员工技能等各方面均得到提高。


大不列颠图书馆大不列颠图书馆传统图书馆走向数字图书馆的典型

从收藏和利用的角度出发，考虑到数字媒体的大量涌现，图书馆无法不正视，读者也需要数字媒体；

扩大读者群体，发展图书馆的无疆界服务；成为国家数字信息网络的重要组成部分，参与信息基础设施计划；

实现国家提出的继续教育和终身教育职能。政府部门（研究与创新中心： Research and Innov

ation Center ）大力推行，号召企业界赞助 (但似乎不太成功 ) 。


各国数字图书馆计划各国数字图书馆计划西方八国集团数字图书馆计划 :

法、日、美、英、加、德、意、俄的“全球信息社会”项目，其内含各国文化历史精华。


国外数字图书馆建设的特点严格规划，分工协作研究涉及面比较广研究重点各有所异投入资金量较大注重基础设施支持运行模式值得借鉴

多渠道投入市场化运营


我国数字图书馆发展概况中国数字图书馆工程国家科技数字图书馆中国高等教育文献保障体系中国实验型数字图书馆计划教育部数字图书馆“九五”公关项目中国知识基础设施工程万方数据资源系统辽宁省数字图书馆项目台湾的数字图书馆


我国数字图书馆建设的特点运行模式：国家、地方、企业投入，免费 /收费相结合

研究力量：图书馆界，科研机构， IT厂商研究重点：数字化存在问题：版权 / 技术 /模式


数字图书馆的发展趋势和方向（ B ） p34 趋势：

1. 服务形态用户化：从以数字化资源为中心转为以向用户提供集成服务为中心发展；

2. 资源形态全息化：存储全息化，海量信息的综合存储、检索、查询技术取代目前众多的单一形式的资源系统；

3. 管理形态集成化：资源高度集成化管理、自动超链接技术的使用，易用性强；

4. 技术形态高级化：数字化技术进一步完善，各类计算机技术迅猛发展，在数字图书馆中广泛得到应用；

5. 事业形态标准化：数字图书馆标准化将取得较大进展，从软硬件规格、接口、协议到用户界面，普遍采用各类标准；

6. 事业发展社会化和国际化：跨行业、跨国合作联合开发建设的趋势明显。


数字图书馆的发展趋势和方向（ B ）方向：

1. 加强数字图书馆建设的战略管理2. 加强特色资源建设3. 加强数字图书馆建设的合作协调4. 加强数字图书馆的可用性评价5. 加强数字图书馆的知识管理6. 加强数字图书馆的标准化管理7. 加强数字图书馆用户的研究与关系管理


数字图书馆的发展趋势和方向（ B ）方向：

1. 宏观管理层面：加强数字图书馆建设的战略管理加强数字图书馆建设的合作协调

2. 数字资源层面：加强特色资源建设加强数字图书馆的知识管理

3. 网络服务层面：加强数字图书馆的可用性评价加强数字图书馆用户的研究与关系管理

4. 技术层面：加强数字图书馆的标准化管理


网格技术对于数字图书馆的影响（ A ）

回答要点：1. 什么是网格技术2. 网格技术的基本特点是什么？3. 网格技术的特点与数字图书馆特点的结合点

4. 网格技术在数字图书馆中的应用


网格技术及其特征（ A ）网格概念来源于电力网格，是因特网信息

技术的最新发展和前沿领域；网格是高性能计算机、数据资源和因特网三种技术有机结合的产物；

网格以资源共享为基本特征，是一个一致的、开放的、标准的计算环境和平台。


1. 为数字图书馆构造统一的平台2. 有利于数字图书馆的信息集成3. 有利于实现资源共享4. 有利于海量信息处理5. 有利于数字图书馆进行知识管理

网格技术在数字图书馆建设中的应用（ A ）


关于网格的参考资料目前的网格热来自于”网格计算”，网格计算是指通过一定的体系构架规范与协议，通过一定的软件工具将互联网上分散的计算机结点组合成统一虚拟的一台超级计算机。

从计算网格出发，还有数据网格、信息网格、知识网格、语义网格等等延伸概念。以及还有一些平行的概念比如资源网格、服务网格等等。

信息网格是要利用现有的网络基础设施、协议规范、 Web 和数据库技术，为用户提供一体化的智能信息平台，提供用户点播及一站式的服务。

与计算网格不同，信息网格与知识网格关注信息与知识的整体体系结构、如何来表述、元数据内容，以及如何进行互连和保持一致性，数据的安全等等。

管理网格与网格化管理我个人理解应该是管理上的概念，与计算网格基础上产生的各种网格概念有较大的区别

目前的中心图书馆建设只是一个独立完整的图书馆自动化系统，从网络层面来看，它是一个层次架构形式的网络。

我们已经在中心图书馆平台上成功进行了图书馆自动化系统层面的中心馆建设，我们还可以在中心图书馆平台进行数字图书馆层面的建设，可以利用许多网格技术与方法，建成多个信息与知识网格，含有分布全市的成百个网格节点。

在中心馆网格建设中，要注意的是研究网格计术、标准与规范，制定相应的信息与知识的描述与元数据规范，制定相应的接口协议，进行相应的工具开发，同时要策划、制定相应网格的目标、内容与建设方略，鼓励中心图书馆建设各方积极参与。

从网格的概念出发，我们目前策划的上海年华之类的项目是非常适合以信息网格的形式开展建设的项目。美国当年的美国记忆（ American Memory ）就有过以中小型图书馆进行数字图书馆建设项目竞赛的形式，发动各个馆生产本地有特色的反映美国历史文化的资源。


李幼平：文化网格 1. Internet 是世纪末人类的一项伟大创造，它非常适合于经济发达、人口稠密的地区。它还将持续发展。已经出现了更先进的 Internet-Ⅱ，今后还将出现 Internet-Ⅲ。文化网格不是用来取代 Internet ，而是补充 Internet之不足。2. “ 数字鸿沟”的现象表明， Internet不适合于非发达地区解决数字文化的普及问题。3. “ 数字鸿沟” 的本质是“成本鸿沟”。 Internet （尤其是它的最后一公里）的“户均成本”同单位平方公里的用户密度有关。在经济不发达和人口稀少的广大农村，不但居民收入低，而且每平方公里的潜在用户很少，成本除以户数，户均成本大幅度提高。穷的地方成本反而贵了，造成难以克服的“鸿沟”。要让八亿中国农民享用数字文明，只能偏离 TCP/IP规定的方向寻找另类出路。4. 对 Internet而言，文化网格的思维是一种怪异，一种另类。它没有路由，没有网关，没有带宽瓶颈，没有“最后一公里”，但仍维持用户对资源的自由选择，维持双向互动，只不过手段完全两样。我们试图依托存储密度的科技的进步，加上卫星广播和短信反馈等成熟技术，从正向传播、逆向反馈两个方面大幅度降低成本，找到在不发达地区普及数字文化的出路。5. 正向传播方面，“一次广播，亿户收存”，固定的广播成本除以上亿的用户数目，户均成本自然大幅度减少。同“一对一”或“端对端”的相比，万维网是“个案生产”，文化网格是“大批生产”，利用“规模效应”强占优势。从降低成本角度看，用户愈多愈合算。中国有十三亿人口，人口众多本来是给信息化出了难题，在这儿反而成了推动创新的动力。6. 以国家名义组建超级文化资源。其中包括 250种报纸， 250 个网站， 500种期刊和一千门课程，形成内容极其丰富、足以满足各种的个性需求的、全国规模的文化资源，通过卫星 DVB-S 大于 32Mbps（ 345GB/天）的带宽直播，让 960万平方公里国土内数亿用户平等受益，城乡无欺，任他们自由选择收存的对象。超级文化资源每天大约产生 10GB 的新鲜内容， 24 小时之内卫星可以重复广播数十遍，再加以适当防错编码，全国城乡很容易做到“凡曾广播，我都拥有”。7. 改“逐页下载”为“整体镜像”。因为用户端存储容量很大，只要是用户指明的网站或栏目，先不计较具体内容，一概先存下来再说。这些网站上每增添任一个新的网页，用户端很快也就有了，这就叫“镜象”。对“零距离”存储器的内容选择，效果等效于对“远距离”网站的内容选择。“远互动”变成“近互动”，公众网站上的资源变成“我的资源”。这种“私有化”不同于物质资源的私有化，它没有分配冲突，没有互相妨碍，没有病毒困扰，没有户数限制，没有时间等待。实现了真正的共享（ communion ）而不仅仅是总量守恒意义下的的分享（ share ）。8. “ 整体镜象”另一好处是大大简化逆行反馈信道。大量“远互动”被“近互动”取代，意味着需要反馈到远处信源端的信息巳减至最少，变成了十分简短的“短信”。中国特色的“短信”还处于萌芽状态，但有一条巳经肯定：它可以做到低成本。9. 下行极宽、极大，上行极窄、极短，组成极不对称的双向互动，这是文化网格怪异之处，也是它实现低成本运作的创意所在。10. 《新型信息化化的模式与方案》是一个意义重大的研究工作，路甬祥、李国杰院士巳经为它指明了方向。我相信，在他们的领导下，课题一定能拿到经费，并取得实质性的成果。路甬祥院士早就指出：信息资源有许多不同于物质资源的特性，最重要的一点就是它的共享性。信息资源可以极低的成本进行克隆，这意味着共享信息资源的代价应该很小。


思考题简述数字图书馆发展的历史（阶段，特征）

谈谈数字图书馆的发展方向网格技术对于数字图书馆建设的意义

理论篇 （续）

Documents

理论篇（续）