教育装备采购网讯:近日某国外网站发表文章《How the Library of Congress is building the Twitter archive》,对美国国会图书馆的数字化问题进行关注。文章中提到,美国国会图书馆国家数字信息基础设施和保存计划(NDIIP)主管玛莎·安德森指出,即便已有长期将“原生数字化”资料存档的经验,美国国会图书馆“承担推特档案化的任务仍相当大胆”。
自2010年4月,推特宣布将其全部公开的推讯档案文件捐赠给国会图书馆后,自2006年推特创立至今的每条推讯都得到了保存。尽管美国国会图书馆的专长是保存数字材料,但数十亿计的推讯还是一个较大的问题——推特在几个月前每天大约就有1亿4千万条推讯。
安德森和她的同事设想,所有这些数据——不仅是来自国会图书馆的,还有来自所有不同的技术和文化遗产机构的数据——都将链接起来。与此同时,国会图书馆不会给所有这些推讯和数据编制目录,但是他们的确希望能够给这些资料建立索引,以便研究人员有效地搜索。
目前,国会图书馆跨部门的小组已经组成,并正在积极地处理研究人员的输入信息,以准确地发现他们对于材料的需求。小组正在权衡许多不同的开放源码的技术,以便增强推特档案库的存储、管理和查询能力。据文章中称,美国国会图书馆正在以各种组合方式测试包括蜂巢(Hive)、ElasticSearch搜索引擎、Pig、Elephant-bird项目、HBase 分布式开源数据库,以及Hadoop等技术。

























