研究前沿

学术前沿 |多模态文化遗产资源的智慧化服务模式研究——从可获得到可循证和可体验【文化遗产智慧数据资源建设与服务专题】

摘要: 图源 | Internet夏翠娟1.中国人民大学信息资源管理学院,北京,100872;2.上海图书馆,上海,200031首发链接:http://kns.cnki.net/kcms/detail/42.1812.G2.20230814.0901.012.html摘 要数智技术的发展正在推动着“数字GLAMs”向“智慧GLAMs”转型,在从数字化到数据化再到智慧化的转换中,GLAMs的文化遗产资源呈现出多媒体、多格式、多粒度的多模态特征。 ...

图源 | Internet


夏翠娟

1.中国人民大学信息资源管理学院,北京,100872;

2.上海图书馆,上海,200031


首发链接:

http://kns.cnki.net/kcms/detail/42.1812.G2.20230814.0901.012.html


摘  要

数智技术的发展正在推动着“数字GLAMs”向“智慧GLAMs”转型,在从数字化到数据化再到智慧化的转换中,GLAMs的文化遗产资源呈现出多媒体、多格式、多粒度的多模态特征。针对GLAMs如何基于多模态的文化遗产资源提供智慧化服务的问题,基于案例分析和文献研究,提炼归纳了文化遗产资源从数字化、数据化到智慧化服务的转换路径。依据资源智慧化程度将文化遗产资源的智慧化服务从低到高归纳总结为三种模式:可获得、可循证和可体验,分别对应三种不同的需求场景,即以资源获得为中心的服务、以数智循证为中心的服务、以交互体验为中心的服务。得出多模态文化遗产资源的智慧化服务,就是要在不同的需求场景中,提前预测并自动适应用户对于不同模态文化遗产资源的需求的结论。


关键词


数字人文    数字记忆    文化遗产资源    智慧化服务



01

引 言

随着语义网、云计算、大数据、人工智能、区块链、AR/VR/MR等虚拟仿真等技术的发展,尤其是作为元宇宙的六大支撑技术BIGANT(blockchain,interactivity,game,AI,network,internetofthings)逐步进入产业化的阶段,数字图书馆、数字博物馆、数字档案馆(下文简称“数字GLAMs”)向智慧图书馆[1]、智慧博物馆[2]和智慧档案馆[3](下文简称“智慧GLAMs”或“智慧场馆”)转变的步伐开始加快[4]。然而,对于什么是“智慧”GLAMs[5-6],智慧GLAMs何以“智慧”,智慧GLAMs如何提供智慧化服务[7-9]等,无论是学界还是业界,在观念层面尚无一致的定论,在具体的实践路径层面也呈现出不同的态势[10-11],并随着技术的发展而不断变化[12-14]。中文的“智慧”一词既可以对应英文词“Smart”,也可以对应“Intelligent”,前者常用来形容人的主动性和应变力,后者用来形容机器的智能和自学习能力。笔者以为,在现阶段,智慧一词应同时包含二者的含义,是人机智慧的结合。

在实践路径层面,可从资源、空间、服务三方面着手,促进数字GLAMs向智慧GLAMs转型。资源在这里主要指GLAMs的馆藏,都属于文化遗产资源,是GLAMs的立身之本,既是需要管理的对象也是提供服务的原料。空间既包括实体场馆空间也包括虚拟网络空间以及虚实融生的元宇宙空间,是GLAMs进行资源整合、提供用户服务、促进文化传播和知识交流的场所。服务则是GLAMs履行文化传承使命、促进知识交流职责的方式。在GLAMs的智慧化建设中,资源的智慧化要求资源至少是数字化的,最好具备可被机器读取、处理和计算的多种数字化和数据化形态,且数据是可信的、情景化的、相关切题的、可认知的、可预测的、可消费的智慧数据(Smart Data)[15];实体空间的智慧化主要依赖于各种智能设备,负责收集、响应环境的变化和用户的请求;虚拟空间的智慧化主要依赖于网络基础设施和网络社区。服务智慧化建立在空间智慧化和资源智慧化的基础之上,主要体现在服务场景对不同需求的自适应上。三者互为依存、相互促进,若有某一方面缺席,则难称“智慧”。在空间的智慧化方面,GLAMs领域已经取得了一定的成就[16-17],且主要依赖于建筑、网络的基础设施建设和智能设备等硬件的部署和应用以及网络虚拟社区的参与、维护和运营。而资源的智慧化,更能体现作为文化记忆机构的GLAMs的行业优势和专业优势,在资源智慧化加工和服务的过程中,不仅是对资源载体形态从人读到机读的转换,还需要在利用各种新技术的过程中,融入大量GLAMs领域专家的知识,这正是人机智慧深度结合的体现。

在新的信息环境下,文化遗产资源呈现出多媒体、多格式、多粒度的多模态特征,GLAMs能基于多模态文化遗产资源提供何种智慧化服务,与其智慧化加工的完成度密切相关,如何基于多模态文化遗产资源的智慧化加工来提供智慧化服务是一个值得探索和亟待解决的问题。笔者基于典型案例分析和相关文献研究,从对最佳实践的分析和研究中发现了资源的智慧化服务能力与智慧化加工完成度之间的关系,再依据资源智慧化加工的完成度,将资源的智慧化加工分为数字化、数据化、智慧化这三种不同程度,并对其过程和特点进行分析、提炼和总结;在此基础上,再根据用户需求场景和智慧化服务能力将资源的智慧化服务分为可获得、可循证、可体验三种不同层次,并试图通过厘清资源智慧化加工的三种不同程度与智慧化服务的三种不同层次之间的关系,来归纳多模态文化遗产资源智慧化服务的模式,构建服务框架,从资源智慧化加工的角度探索实现路径。



02

多模态文化遗产资源智慧化服务的最佳实践案例分析

鉴于GLAMs领域文化遗产资源的智慧化服务是一个应用实践问题,笔者选择基于典型案例分析来构建分析框架。典型案例的选取原则是国内GLAMs在文化遗产资源的数字化建设和服务方面有着一定的前沿性和代表性的项目,包括中国国家图书馆的“中国国家数字图书馆·特色资源库”及国家图书馆出版社委托北京大学数字人文研究中心承担设计研发的“识典古籍:永乐大典”系统、上海市档案馆的“数字档案公共查阅平台”,作为以提供资源的“可获得”服务为主的典范案例;在最佳实践案例分析中,重点关注那些智慧化加工的完成度较高且在智慧化服务方面有着一定前沿性、创新性和影响力的项目,由于服务场景的差别,将图书馆和博物馆的项目分开讨论。图书馆的案例主要为上海图书馆的家谱、古籍、碑帖等数字人文项目和上海图书馆东馆历史文献体验馆的重要数字化展陈项目等,博物馆的案例主要为上海博物馆的“董其昌数字人文项目”“宋徽宗与他的时代数字人文专题”、敦煌博物院的“数字敦煌”项目。分析其智慧化加工的成果如何支持可获得、可循证、可体验三种不同层次的智慧化服务。

2.1  图书馆文化遗产资源智慧化服务的最佳实践案例分析

图书馆的文化遗产资源智慧化服务的最佳实践案例选取了在2020年中国数字人文年会上获得“最佳项目奖”的“中国家谱知识服务平台(https://jp.library.sh.cn/)”。该平台作为上海图书馆的第一个数字人文项目,从上海图书馆馆藏家谱特藏资源库进化而来,在内容上已经成为集数字化图像形态的家谱数字资源对象(上图馆藏家谱文献)、结构化的元数据(世界华人家谱目录)记录、文本化家规家训全文文本、语义化的世系表和迁徙事件、先祖名人规范库、谱籍地名词表、中国历史纪年词表、收藏机构规范库于一体的多模态文化遗产资源的智慧数据集。数据来源多样,既有原特藏资源库中的数字资源对象和元数据记录,也有基于算法对家谱原文、《中国家谱总目》《中国家谱资料选编》等文本进行结构化加工、基于命名实体识别技术和关联数据技术进行语义化加工的智慧数据,其中的世系表数据是关于家谱中记载的先祖名人基本信息、生平事件、亲属关系的语义化数据。迁徙事件数据是依据事先设计的本体模型和词表,利用机器学习技术从7万余种家谱提要文本中抽取的语义化数据。

随着新修家谱的不断修纂和家谱采购、捐赠工作的开展,平台的可持续性发展需要有一个支持从数字化到数据化再到智慧化的全流程管理的加工平台。在国家哲学社会科学基金重大项目(18ZDA329)的支持下,项目组开发了“家谱联合编目系统”,目前已经实现了采购、捐赠、众包模式的跨机构联合编目。在编目流程中,嵌入基于互联网的时间、地点、人名规范控制功能和先祖名人及其迁徙事件的语义标注和规范库挂接功能,通过规范库中的知识节点实现了与其他文献和姓氏、人物、机构、地名、时间、事件的关联。在家谱联合编目系统的数据同步功能中,结构化和语义化转换的算法被写入数据同步程序中,再无需经过离线的结构化和命名实体识别及规范库挂接流程即可自动与中国家谱知识服务平台中已有的数据融合,实现了加工平台、管理平台、服务平台的无缝集成和多模态文化遗产资源智慧化加工的全流程管理。基于家谱项目的经验,上海图书馆还开发了或正在开发旨在涵盖手稿档案、上海年华多媒体资源、古籍碑帖等所有历史文献资源的信息加工平台和历史人文大数据平台。

在智慧化服务层面,以家谱为例,基于上述智慧化加工的多模态文化遗产资源和智慧数据,除了在“中国家谱知识服务平台”上提供资源导航与检索、全文浏览和标注等资源的“可获得”层面的服务外,还利用语义关联技术、GIS技术、数据可视化技术提供基于元数据、姓氏、家规家训、世系表、迁徙数据的“可循证”层面的数字人文研究支撑服务,在上海图书馆东馆开馆筹备的过程中,为了在东馆的家谱体验馆中提供“可体验”层面的服务,支持用户的沉浸式、参与式体验,进而推广家谱资源、弘扬家谱文化,在家谱知识服务平台已有的姓氏、世系图、先祖名人、迁徙事件等基于家谱文献内容和文化知识智慧化加工的数据基础上,设计开发了探姓觅谱(AR姓氏墙)、客从何来(迁徙图)、华夏一家(谱籍地分布图)、生生不息(家族树)四个展项。

其中客从何来是一个包括10万余条语义化迁徙事件的大规模数据可视化展项,以时空可视化的方式从全景到大型的历史移民潮,从可选的地域、姓氏、个人、时间段等不同的维度动态地展示中华民族跨越3000年的迁徙图景。该展项有两个不同终端适应的版本——触屏交互版和大屏演示版:前者支持观众直接自由交互,用户可以通过迁徙事件的不同角度查询、筛选等交互功能创作属于自己的故事线;后者用于导引员或观众通过手持终端操控超大显示屏,进行3000年迁徙图中不同故事线的全方位展演。

灵境石语——碑帖建筑VR沉浸式体验展项是上海图书馆东馆美术体验馆的首展“石不语——碑帖艺术和建筑文化”中的展项,选择了《九成宫醴泉铭》《城隍庙碑》《龙藏寺碑》三部碑帖作品,将碑文故事复原到中国青绿山水风格的虚拟场景中,讲述与三部碑帖作品相关的“涌泉”“求雨”“点彩”的故事,再现过往的世俗生活和人民的精神世界。上海图书馆镇馆之宝《四欧宝笈》中的《九成宫醴泉铭》在这个沉浸式体验展项中获得了新生。《九成宫醴泉铭》中吴湖帆绘制的《九成宫》插图经过数字化高清扫描后,基于Unreal引擎开发实现了场景复原,用户戴上头戴显示器,就可以进入该场景中,通过交互的游戏,沉浸式地经历和体验唐太宗在九成宫发现醴泉的历史故事。

2.2  博物馆文化遗产资源智慧化服务的最佳实践案例分析

博物馆界的智慧化服务最佳实践案例选取了在博物馆界最有影响力的上海博物馆的“董其昌数字人文项目”“宋徽宗与他的时代数字人文专题”、敦煌博物院的“数字敦煌”项目。

上海博物馆的两个项目更注重在文化遗产资源的智慧化加工过程中融入大量的专家知识,将资源置于历史、文化、社会的大背景中,利用数据可视化技术,在实物展品构造的实体空间之上,形成新的“可体验”的数字叙事空间,帮助观众更好地体验、感受进而理解文化遗产资源所承载的历史文化和社会价值。

董其昌数字人文项目从董其昌的书画作品及其创作经历出发,通过语义关联技术、人工智能技术的应用,对董其昌作品、生平、交游、社会网络关系、晚明和同时期世界艺术史的研究进行整理和数据化、智慧化加工,形成融入大量专家知识的结构化语义化的智慧数据。这些智慧数据成为了展厅中新的数字叙事媒介,与展厅中的实物展品一起,形成多模态的叙事空间。在数据可视化展示屏上,将董其昌交往的关系图和交游足迹路线图、生平事迹结合西方文艺复兴同时代的大事记以可视化图谱形式展示[18],将董其昌的创作背景、创作心态、创作历程以文图影音的方式具象化地展示出来,同时支持书画“精看”功能浏览高清书画影像,提供从叙事场景回到作品本身资源对象的通道。由此,个人的艺术创作被置于晚明文人活动和书画艺术发展以及同时期的世界艺术发展脉络的时代大背景中,借助社会网络关系可视化技术,试图还原出一个以董其昌为中心而构筑的晚明时代的艺术生态圈[19]。对于观众来说,静止的文化遗产变成了声形色具备的可触摸、可交互的界面,通过这样的界面,了解人物本身及其所交往的人、所经历的事件、身处的时代背景,进而理解其作品的艺术性与作者的志趣和经历、群体的交往和影响以及时代艺术潮流之间的关系,成为一种生动活泼的体验活动。在该项目的基础上,宋徽宗与他的时代数字人文专题进一步强化沉浸式环境下文化遗产资源的知识阐释对于文化传播的作用。在传统史学和器物学的基础上,通过对人、地、时、事、物的揭示和关联,使主观的、隐形的知识成为机器可读取、可处理、可理解的语义数据,融入政治史、社会学、经济史、文献学等多学科视角及语境的专家知识,帮助观众对文化遗产资源背后的文化和社会进行多元化解读,引起观众的发散性思考[20]。

敦煌博物院的数字敦煌项目中的智慧化服务,更强调基于数字化文化遗产资源本身的丰富性和巨量化,辅以全息投影、VR、AR等技术,以提供沉浸式体验空间为主,复制和重现文化遗产资源的原貌和原境。为了能够永久保存石窟寺的壁画信息,20世纪90年代初时任敦煌研究院常务副院长的樊锦诗提出数字敦煌概念,利用数字化技术永久地、高保真地保存敦煌文物的信息,并实现永续利用。经过30年的发展,目前已完成了敦煌石窟278个洞窟的壁画数据采集、164个洞窟的壁画图像处理,以及45身莫高窟代表性的彩塑和7处大遗址三维重建,积累了海量的数字化资源,同时开展了虚拟漫游、多媒体制作、数据信息管理和艺术设计等相关工作,并在多领域得以广泛应用。

2014年,经过八年的发展,数字敦煌展已在国内外共计展出30场次。一场精心策划的数字敦煌展览主要包括呈现内涵、呈现形式、制作工艺、氛围营造、数字艺术呈现创新这五个方面,形成一个有机的整体,通过线上、线下展览的视觉呈现形式,延续展览的生命周期,增强展览的体验感受,使得敦煌文化传播更加多元化和大众化。在河北博物院举办的“敦煌不再遥远——数字敦煌展走进河北”展览中,将展厅分为1∶1整窟展示区、彩塑艺术复原展示区、高保真复制壁画展示区、虚拟增强现实体验及多媒体展示区、数字衍生品销售区等。利用全息投影技术,通过360度的视角全面、虚拟地呈现彩塑的艺术价值。“梦幻莫高”多维数字节目,用影像映射的方法,将所设计编排的“敦煌藏经洞”“莫高窟第285窟”“莫高窟第61窟五台山图”“敦煌飞天”等六组节目,全时呈现或分段显现,情景交融、动静结合地依次在异形幕中展演。以“敦煌飞天”节目展演为例,异形幕中飞天自由舞动,乐器不鼓自鸣,配以优美的乐曲,给予观众沉浸式的体验感受。基于数字敦煌中的360度全景影像,借助VR、AR智能眼镜,通过定点和移动多种虚拟体验方式观赏洞窟全景及相关内容,能够增加观众的沉浸感和互动体验感[21]。近期,数字敦煌项目又推出了由敦煌研究院与腾讯公司联合打造的“数字藏经洞”项目。该项目综合运用高清数字照扫、游戏引擎的物理渲染和全局动态光照、云游戏等游戏技术,利用4K高清画质的数字化珍贵文物数字重建了藏经洞的场景,不仅可在移动设备上给用户提供身临其境的沉浸式体验,还借鉴游戏的交互方式,打造了多个数字场景,让受众随着藏经洞的历史变迁在时空中“穿越”“亲历”藏经洞的发展历程,“见证”藏经洞发展史上的重要时刻。数字藏经洞是一次结合新产业和新技术的创新性探索,进一步加强了文化遗产资源在数字空间中的交互体验性,拓宽了智慧化服务的渠道[22]。



03

文化遗产资源的智慧化加工完成度分析——从数字化到数据化和智慧化

3.1  文化遗产资源的数字化和数据化加工

在文化记忆视域下,GLAMs的馆藏资源,包括书籍、档案、照片、地图、书法绘画作品、音乐唱片、电影拷贝等文化记忆资源,遗址、遗迹、历史建筑、街区、文物、服装服饰等物质文化遗产,与节日、仪式、饮食、手工艺、戏曲、歌谣等非物质文化遗产一起,都可看作是文化记忆的媒介[23],统称为文化遗产资源。能成为GLAMs馆藏的文化遗产资源,都具有一定的物质性,既有纸质的、实物的,也有模拟的和数字的。文化遗产资源的数字化建设,即是将资源从纸质的、实物的、模拟的形态转换为数字的形态,以便于计算机存储、管理和提供读、听、看的人机界面。在数据化过程中,会产生资源的各种媒体形态,如数字化扫描的静态图像、动图、文物、建筑、街区的三维图像,数字化的音视频等。同时,为了充分描述和揭示资源对象,由专家对资源进行分类、编目、索引后形成了元数据记录和索引数据等结构化数据。这是专家生成内容(PGC)的Web1.0时代。

在数智时代,在数据驱动的第四范式的推动下,数字形态的文化遗产资源以及原生数字资源,逐步向数据化形态转变,以便于机器辅助下的读、听、看和处理、计算、分析[24]。文化遗产资源的数据化,是更进一步地将资源内容和隐含的知识从人读的数字化形态转换为机器可计算的数据化形态的过程。在数据化过程中,会产生多种格式的数据,如原生的或基于图像OCR后的非结构化文本;或各种半结构化数据,如非结构化文本经过TEI标注后形成的半结构化数据;或在大数据技术的加持下,通过支持众包、评论、留言、标注、笔记等用户贡献内容和用户行为日志、用户交互记录形成的大数据[25]。这是PGC和用户生成内容(UGC)并存的Web2.0时代。

3.2  文化遗产资源的智慧化加工

文化遗产资源的智慧化加工,是更进一步地将描述资源对象的非结构化、半结构化和结构化数据转换为可信的、情景化的、相关切题的、可认知的、可预测的、可消费的智慧数据的过程。在以资源对象为描述单元的基础上,为资源对象的内容、产生的背景和与其他资源对象及相关知识的关联关系提供细粒度的深度描述,在资源对象和元数据之上添加包括作为主观知识的语义化主题词表,利用关联数据技术与web上的关联开放数据集建立语义关联,形成跨机构、跨领域、跨网域互联的关联数据,利用知识图谱技术建立客观知识关联所用到的人、地、时、事、物等知识图谱并结合具备时空属性的HGIS数据,为数据赋予机器可理解的语义和背景信息[26]。如引入区块链技术,作为上链铸造的数字藏品,将以区块链上经过加密的哈希值形态出现,进一步具备已确权、防篡改、可追溯等“可信的”属性[27]。近年来,利用人工智能技术自动智能地生成数据——即人工智能生成内容(AIGC),例如基于机器学习技术的智能编目、自动分类、自动摘要、命名实体识别(NER)等,已经是AI技术在资源智慧化加工中较为成熟的应用,随着基于大语言模型(LLM)的ChatGPT的横空出世,大量已有的数据被转换成向量和算法模型,成为可自动生成和自主学习的“活”数据。这是PGC、UGC和AIGC并存的Web3.0时代[28]。

3.3  文化遗产资源的数字化、数据化、智慧化加工流程——以碑拓资源为例

下面以碑拓资源为例,说明文化遗产资源从数字化到数据化再到智慧化加工的过程。

碑帖拓片作为一种文化遗产资源,由实物型的石碑、纸质媒介的法贴组成,而作为石碑和法帖复制品的拓片,往往具有众多不同的版本,版本之间的关系丰富多样,因此是一种极其典型的文化遗产资源。从石碑到拓片,将三维的实物转换为平面的纸张,是第一次媒体形态的转换;将石碑进行三维扫描或拍摄得到石碑的数字化3D图像资源、或将纸质的拓片进行数字化扫描后得到高清的数字化扫描图像,是第二次媒介形态的转换,完成了数字化的过程;将数字化扫描图像利用OCR技术进行文本识别,是第三次媒介形态的转换,完成了文本化的过程;将数字化扫描图像按照单个文字进行图像切割,每个字对应一个切割图像,并将每个单字切割的图像与识别后的文本字符一一对应起来,标注该图像在原图像中的位置坐标、大小、字体、风格等特征,是第四次媒介形态的转换,完成了数据化的过程。但这样的数据还不是智慧数据,需要对石碑和拓片进行元数据著录,揭示石碑的题名、责任者、提要、书体、风格等内容特征,尺寸、材质等物质性特征,刻立地点和年代、出土的地点和年代、现存地点等;揭示拓片的责任者、技法、工艺、材质、收藏历史、文化特征、社会影响等,才能得到规范化结构化的数据,从而完成结构化描述的过程。接下来,进一步利用规范主题词分类词表中的术语对碑拓资源进行标注,添加不同的版本、相关人物、时间、地点、机构、事件等关联关系,得到语义化描述的数据,完成了语义化的过程。最后将数字资源对象、文本标注数据、元数据记录、语义关联数据按照不同的格式分别或打包存储管理,建立它们之间的物理联系,便于随时随地按需调用。至此,已基本完成人机智慧的结合,为资源赋予“可信的、情景化的、相关切题的、可认知的、可预测的、可消费的”等智慧数据特征的过程。然而,要完成整个智慧化的过程,最好还能利用区块链技术,对资源进行上链确权,因区块链上的数据有防篡改可追溯的功能,此举能帮助加固其“可信的”特征。

对于某一数字资源对象来说,很可能同时具备上述不同的媒体形态,这取决于智慧化转换过程的完备性。当某一数字资源对象,同时具备了上述尽可能多种类的媒体形态的数据,并且不同媒体形态的数据既是彼此独立(存储)又是相互关联(调用)的,就能很好地具备智慧数据所要求的各种特性,惟其如此,才能在不同的服务场景中,智能地、自动地适应不同的需求。

3.4  文化遗产资源智慧化的新形态

随着人们愿景中的元宇宙逐渐逼近,文化遗产资源智慧化出现了新形态,例如虚拟数字人和数字藏品,是即将到来的元宇宙中全新的智能复合型媒介[29]。在元宇宙中,随着AR/VR/XR/MR等虚拟仿真技术大量应用,数字媒介呈现出多种类、全媒体、多模态的特征,尤其是“虚拟数字人”,无论是作为虚拟形象、还是历史人物复建、亦或是真人驱动的数字人,已经初步具备人的形貌、声音、行为、智能,甚至是简单的社交功能,是由大量的文本、图像、声音、数据合成,作为一种全新的数字媒介,成为了这些特征的集大成者[30]。数字藏品是在我国法律框架下,为了规避金融风险和炒作泡沫,同时又鼓励区块链技术在文化传播领域的应用,推进数字版权问题的解决,通过限制流通将NFT的金融属性剥离而成。从技术上看,数字藏品是使用区块链技术在联盟链上为特定作品生成唯一数字凭证、确认权益归属的数字作品、艺术品和商品。通过使用非对称加密技术标记作品的所有者并在联盟链上广播,利用分布式账本技术记录每一次流转,利用智能合约规范流转过程中的发行、购买、收藏和使用等操作,达到防篡改、可追溯、使之真实可信的目的。经过上链铸造的数字藏品不仅包含了藏品本身的内容快照(数字资源对象或其永久链接地址)、结构化的描述性和管理性元数据,还包括数字签名和密钥,以及可依据一定的技术规范和操作约束自动执行的智能合约程序[31]。虚拟数字人和数字藏品这样的智能复合型数字媒介不仅集多模态于一身,还有着跨模态AIGC的加持,尤其是虚拟数字人,不仅具备了人的形貌、外观和动作,还将具备与外界进行智能交互的能力[28]。



04

文化遗产资源的智慧化服务模式研究

基于最佳实践案例分析和资源智慧化加工的完成度分析,笔者将GLAMs基于文化遗产资源提供服务的能力,依据对资源智慧化加工的完成度,从低到高归纳总结为三种不同的层次,即可获得、可循证和可体验,分别对应三种不同的模式,即以资源获得为中心的服务模式、以数智循证为中心的服务模式、以交互体验为中心的服务模式,每种模式涵盖不同的资源智慧化加工完成度和智慧化服务能力的不同层次。在数字GLAMs的时代,主要提供以资源获得为中心的服务,需完成资源的数字化和基于关联数据和知识图谱的语义化加工;在数字人文时代,要求GLAMs提供以数智循证为中心的服务,需完成资源的数据化和基于关联数据与知识图谱的语义化加工;而正在到来的元宇宙和AIGC时代,则需要GLAMS提供以交互体验为中心的服务,需完成资源的智慧化加工。值得强调的是,这三种服务模式并不是后者取代前者的关系,而是上层场景需求包含下层场景需求,对下层场景需求的满足则是满足上层场景需求的基础。在实际应用中,这三种服务模式也不是截然分开的,而有很大的可能性是同时存在的,所谓的智慧化服务应可对用户在不同场景中的需求进行一定的预测,并可自动适应。如图1所示。

图1  多模态文化遗产资源的智慧化加工和服务框架

4.1  以资源获得为中心的服务模式

在数字GLAMs时代,建设了大量的特藏资源库。这种围绕某种特色馆藏数字资源建设的特藏资源库主要以资源获得为中心的服务模式提供服务。其服务的内容主要是数字资源对象和元数据,服务的方式主要是支持数字资源查询阅览的数据库网站。以最具典范性的“中国国家数字图书馆:中华古籍资源库(http://read.nlc.cn/thematDataSearch/toGujiIndex)”为例,作为中国国家数字图书馆众多特藏资源库中的一种,其功能可归纳为五类:基于元数据字段的检索(包括简单检索和高级检索)、资源导航(包括导航到其他同类特藏资源库和本库的资源导航)、元数据记录展示、数字资源对象逐页阅览。这样的功能也体现在网站的页面设计上,整个网站以一种层级式的线性结构组织,由首页、导航栏、检索框、检索结果页、元数据详情页、数字资源对象阅读页组成,其中检索框和导航栏作为常用功能显示在网站的每一个页面上。上海市档案馆的“数字档案公共查阅平台”[32]也是类似的服务模式,包括检索、导航、元数据记录展示、数字资源对象逐页阅览等功能。如有多个特藏资源库,往往以专题方式罗列,如果数字资源对象为图文,则以PDF格式提供阅览,如为影音则以mp3、mp4等格式提供收听观看。由国家图书馆出版社委托北京大学数字人文研究中心承担的2021年国家古籍数字化工程项目,近期推出了最新成果——“识典古籍:永乐大典”(https://yongle.shidianguji.com/),以“永乐大典”的数字化图像和文本为基础,以图像和文本细读为主要服务需求,提供图文对照、原文和注疏可选、文本引用、以文本为单位定位原图等功能,同时辅以诸如发展历程、递藏历史、馆藏分布等全方位的背景知识推广和普及,可认为是以资源获得为中心的服务模式的新典范。

在技术方案上,特藏资源库往往是建立在关系数据库和网站技术基础上的孤岛系统,是由数据管理后台和前端网站组成的二级结构。特藏资源的元数据记录以二维表格存储在关系数据库中,作为数据管理的后台,前端网站用于与用户交互,接收用户的浏览、检索、阅读请求,并从数据管理后台读取数据显示在页面上。用户通过个人电脑在互联网上或GLAMs场馆提供的PC机在局域网内访问网站,支持的终端以PC机为主,也有的特藏资源库支持移动设备访问,但因为网络和系统性能的限制,在功能和界面上不得不做一些减法,尤其是资源对象阅览页,若以PDF格式或经压缩的图像格式提供服务,难以在移动设备上提供良好的阅读体验。

随着GLAMs数字化转型的持续推进,以资源获得为中心的服务模式已经发展成熟,成为GLAMs提供文化遗产资源服务的基本选项,其特点可总结为:基于数字资源对象和元数据的二级线性结构,被动等待用户访问的单向信息推送模式,以PC网站为用户界面的单一终端服务渠道,唯一的目标指向是帮助用户访问获得数字资源对象的通道。其中的关键是资源的元数据记录,通过对资源的描述和揭示形成结构化的数据,利用关系数据库技术建立索引,将前端网站的用户需求转换为关系数据库查询语句来快速获得定位和访问资源对象的路径。

4.2  以数智循证为中心的服务模式

近年来,GLAMs的大部分文化遗产资源都具备了数字化形态,数字资源种类和数据格式的多样、规模的急剧膨大,以资源获得为中心的服务模式因其直接向用户提供资源对象,最终还是由人来完成结果的辨析和选择、内容的细读、理解和分析,其作为工具为用户提供便捷性的价值已淹没在数字化的汪洋大海之中,基于元数据记录的索引和检索的结果数以万计,难以直接理解和分析的海量数字资源对象成为人力难以承受之重。随着数字存取设备和计算机计算能力的增强,数据密集型科学研究的第四范式向人文学科全面渗透,数字人文作为一个跨学科交叉融合的新领域迅速崛起,以资源获得为中心的服务模式正在向以数智循证为中心的服务模式转变。

GLAMs的文化遗产资源,作为一种记忆媒介,具有证据和记忆的双重属性。在以文化遗产资源为证据的人文研究中,只有通过多重证据参照,才能无限接近问题答案的“原真性”。数字人文相对于传统人文研究来说,是一种范式的革新。数据循证、量化计算、文本分析、时空分析、社会网络关系分析、可视化展演、虚拟仿真(VR/AR/ER/MR、数字孪生、全息投影等)成为数字人文研究范式中的典型研究方法[33]。除了传统人文研究所需的“多重证据”,数字人文研究所用到的资源库、语料库、数据集和知识库,量化计算结果、可视化图表、虚拟场景等,成为了另一重证据——数智证据,可作为传统多重证据的有益补充。

要支持数字人文研究的多重证据法,需要支撑数智证据整合和融通、生成和参照、生长和发育的研究基础设施。而为研究者在数字资源对象和元数据之上提供数智证据的基础设施,支持研究者从量化计算的结果和数据可视化呈现的现象出发,利用数智证据提供的望远镜和显微镜,发现规律或异常,通过多重证据参照,建立面向研究问题的完整证据链,笔者称之为以数智循证为中心的服务模式,这种模式已经被有的学者认为是中国特色数字人文研究的循证范式[34]。

以数智循证为中心的服务模式要求在完成文化遗产资源的数字化转换后完成数据化加工,才能支持数据驱动的量化计算结果和文本分析、时空分析、社会网络关系分析结果的可视化,实现基于关联数据和知识图谱的语义化加工。为资源添加物理证据、内容证据、历史证据、关联证据和发现证据的机制,才有可能支持完整证据链的构建。其特点表现为媒体形态是多媒体、多格式、多模态并存;内容组织上除了数字资源对象和元数据,还增加了各种语料库、实体库、知识库,是多来源、多维度、多视角、多层次、多关联的立体网状结构;技术架构上是多库独立互联,以数据接口的方式实现库与库之间甚至是跨网域的数据存取和调用。上海图书馆开发的“古籍循证平台”,从技术层面探索了跨机构古籍资源和多来源异构数据的共建共享,并以本体和关联数据的语义框架融合不同来源不同格式的古籍目录数据,支持研究者发现古籍中的物理证据、历史证据、内容证据、关联证据,以循证实践的方式解决研究中的问题[35]。上海图书馆正在通过建设系统性的基础设施来支持包括数智证据的多重证据参照的循证研究。

以数智循证为中心的服务模式并不是对以资源获得为中心的服务模式的取代,而是建立在其基础之上,并同时存在。当数字人文研究者从计算思维出发,基于数据密集型科学研究的第四范式进行人文研究时,也需要从数据量化计算的结果或数据可视化呈现的现象回到资源对象本身,通过图像和文本的细读来探究量化计算结果和数据可视化现象产生的原因和逻辑,并运用批判思维,才能形成面向研究问题的完整可靠的证据链。而在智慧化加工的过程中,面向大模型和AIGC技术对资源进行向量化加工和元宇宙的智能复合媒介铸造,是否能纳入数智循证模式的范畴,因其目前还存在“可解释、可信任、可溯源”等问题,则有待观望。

4.3  以交互体验为中心的服务模式

与以数智循证为中心的服务模式主要面向数字人文研究需求不同,以交互体验为中心的服务模式主要面向数字记忆展演的交互叙事需求,目的是构筑一个历史文化记忆重现的场域,借助文化遗产资源经过智慧化加工后产生的文本、图影音、数据可视化图表等各种媒体形态传递信息,辅以声光电及虚拟现实技术,吸引用户参与交互,激发用户的共鸣和创造性,帮助用户唤醒过往记忆的同时产生实时的情感链接。与以数智循证为中心的服务模式的主要目的是帮助研究者构建证据链不同,以交互体验为中心的服务模式主要目的是构建一个用户可以参与创作和体验的数字叙事空间。在这个空间中,用户不再是被动的信息接收者,而成为故事的主动参与者和创作者。

GLAMs的文化遗产资源在经过数字化、数据化和智慧化加工后,被赋予了时空属性和与万事万物之间的广泛联系,分布在海量文化遗产资源中的碎片化知识成为了在时间和空间中建立了语义关联的智慧数据,数据本身蕴含了历史文化发展的客观叙事逻辑,通过数据可视化技术、虚拟现实技术、交互设计的重构后,这种逻辑被以可视、可听、可感、可触、可交互、可参与方式表达出来,可以更好地激发受众共鸣产生情感链接,好的数字叙事不仅能表达事理逻辑,还可传达艺术美感。由此,以智慧数据驱动的历史文化时空成为数字叙事和艺术表达的虚拟空间,文化遗产资源的不同媒体形态、各种技术手段和艺术呈现手段作为数字叙事的叙事语言,形成了一种新的叙事模式。

同样地,以交互体验为中心的服务模式并不是对以数智循证为中心的服务模式和以资源获得为中心的服务模式的取代,而是在后二者的基础之上,增加经过设计的数字叙事和艺术表达层。当用户在叙事和艺术空间中与历史文化产生了共鸣,建立了情感链接后,也很有可能进入更深层次的理性空间,探求叙事和艺术背后的逻辑和证据,回到数字资源对象本身,与文化遗产资源直接的深入的接触。一个好的数字叙事和艺术表达空间应提供这样的通道,形成情感和记忆、逻辑和证据的闭环。

除了数字记忆展演外,以交互体验为中心的服务模式也体现在ChatGPT这样的通用人工智能(AGI)带来的信息消费模式的变革上。在以PGC为主的Web1.0时代,信息消费模式以单向的推送为主,专家决定用户可以获取何种信息。随着Web2.0时代的到来,对UGC的支持使得信息海量涌现,基于一定推荐算法的谷歌、百度等搜索引擎将以单向推送为主的信息消费模式转换为以关键词匹配和PageRank算法为中心的过滤和筛选,在此基础上,大数据技术优化了信息过滤和筛选算法,基于用户画像的智能推荐促成了新一轮信息消费模式的变革,搜索引擎和推荐算法决定用户可以获得何种信息。而ChatGPT以对话的方式在理解用户问题和上下文语境的基础上为用户提供信息,并可在提问和回答过程中通过自学习完成与用户的共同成长,为用户提供知识的同时也让用户获得了一种主动性和创造性的良好体验,这是一种以交互体验为中心的信息消费模式[28]。如将文化遗产资源经智慧化加工形成的数据库、知识库纳入大语言模型的强人工反馈机制和流程,将ChatGPT作为文化遗产资源智慧化服务的外挂装置,有望在以字词匹配检索和数据可视化的方式来间接访问资源内容的基础上,提供一种与多来源、多种类、多格式的多模态文化遗产资源内容中隐含和关联的知识直接交互的新模式。



05

结 语

数智技术的发展正在推动着数字GLAMs向智慧GLAMs转型,在现阶段,“智慧”一词应是人机智慧的结合。在实践路径层面,可从资源、空间、服务三方面着手,促进“智慧GLAMs”的发展。空间的智慧化主要依赖于各种智能设备,负责收集、响应环境的变化和用户的请求;服务的智慧化建立在空间智慧化和资源智慧化的基础之上,主要体现在服务场景对不同需求的自适应上;三者互为依存、相互促进,若有某一方面缺席,则难称“智慧”。其中,资源的智慧化,更能体现作为文化记忆机构GLAMs的行业优势和专业优势,在资源智慧化加工和服务的过程中,不仅是对资源载体形态从人读到机读的转换,还需要在利用各种新技术的过程中,融入大量GLAMs领域专家的知识,这正是人机智慧深度结合的体现。

GLAMs基于文化遗产资源提供智慧化服务的功能,与资源的智慧化加工的完成度密切相关,可依据资源智慧化加工程度和智慧化服务能力从低到高归纳总结为三种模式:可获得、可循证和可体验,三种不同的服务模式:以资源获得为中心、以数智循证为中心、以交互体验为中心的服务模式。在从数字化到数据化再到智慧化的转换中,文化遗产资源呈现出多媒体、多格式、多粒度的多模态特征。多模态文化遗产资源的智慧化服务,就是要在不同的需求场景中,提前预测并自动适应用户对于不同模态文化遗产资源的需求。

在文化遗产资源以文本、图像、音视频、3D模型、非结构化、半结构化、结构化活语义化数据形态存在的数智时代,可以在文本、图像和数据之间建立关系,但无法将其融为一体。但在元宇宙中,随着音像识别、行为捕捉、机器学习、数字孪生等虚拟仿真技术的综合性应用,文化遗产资源将呈现出多种类、全媒体、多模态、复合化、智能化、交互性、可体验、可信任的特征。尤其是数字藏品、虚拟数字人、虚拟世界等作为全新的数字媒介,成为这些特征的集大成者,各种沉浸式、启发式、参与式的、更具交互性的服务模式将会更容易实现。而在虚拟世界中构建虚拟场馆,利用虚拟数字人作为虚拟馆员,基于区块链技术和数字藏品模式构建文化遗产资源的共建共享、共创众创的开发利用生态,利用ChatGPT为代表的AIGC技术,提供更多的机器智能和在文本、图像、音视频之间无缝跨模态转换的交互体验,甚至AIGC加持的虚拟数字人和数字藏品或将成为智慧GLAMs提供智慧化服务的新趋势和新潮流。随着AIGC背后的大模型逐步向垂直领域渗透,现有的文化遗产资源智慧化加工和服务的模式,或许将面临着从数据驱动向模型驱动的转向,数据驱动的第四范式和从数字化到文本化再到数据化和语义化加工的漫长过程不再是必然或主流的选择。




参考文献


[1] 王世伟.未来图书馆的新模式——智慧图书馆[J].图书馆建设,2011(12):1-5.

[2] 陈刚.智慧博物馆——数字博物馆发展新趋势[J].中国博物馆,2013(4):2-9.

[3] 杨来青,徐明君,邹杰.档案馆未来发展的新前景:智慧档案馆[J].中国档案,2013(2):68-70.

[4] 吴江,陶成煦,贺超城.从数字到智慧:元宇宙下图书馆的发展与研究[J].数字图书馆论坛,2022(7):11-15.

[5] 许桂清.对智慧档案馆的认识与探析[J].中国档案,2014(6):70-71.

[6] 张鹏.浅谈智慧博物馆[J].文物鉴定与鉴赏,2022(7):81-84.

[7] 初景利,段美珍.智慧图书馆与智慧服务[J].图书馆建设,2018(4):85-90,95.

[8] 巩淑芳.智慧社会背景下智慧档案馆的智慧服务研究[J].办公自动化,2022,27(13):52-55,9.

[9] 周虹霞,李华飙,周宇阳,等.基于大数据与微服务的博物馆智慧服务研究[J].博物馆管理,2022(3):47-54.

[10]周文泓,田国庆,熊小芳,等.智慧档案馆建设研究:实践内容、行动策略、发展空间[J].北京档案,2022 (10):5-10.

[11]赵竹青,刘佳静,郑建明.图书馆智慧服务模式的基本要素与逻辑架构[J].图书馆,2023(1):28-35.

[12]夏立新,白阳,张心怡.融合与重构:智慧图书馆发展新形态[J].中国图书馆学报,2018,44(1):35-49.

[13]陈静,韩海涛,田伟.大数据时代智慧档案馆构建探析[J].北京档案,2015(1):25-27.

[14]郭艳艳,李华飙,车大为,等.科技让我们遇见更美好的未来——智慧博物馆论坛综述[J].中国国家博物馆馆 刊,2022(8):29-36.

[15]曾蕾,王晓光,范炜.图档博领域的智慧数据及其在数字人文研究中的角色[J].中国图书馆学报,2018,44 (1):17-34.

[16]龚碧染.后疫情时代图书馆智慧空间再造研究[J].江苏科技信息,2022,39(36):40-42.

[17]张加豪.5G+技术下高校智慧图书馆空间智能化探析[J].科技视界,2022(23):60-62.

[18]童茵.语义化知识模型构建与关联数据研究——董其昌数字人文数据绘制报告[J].科技传播,2020,12(5):135-137.

[19]童茵,张彬.董其昌数字人文项目的探索与实践[J].中国博物馆,2018,35(4):114-118.

[20]李峰.文物知识聚合与传播的初步研究——以上海博物馆“宋徽宗与他的时代数字人文专题”为例[J].东南文 化,2022(3):169-177,197.

[21]吴健.文化遗产数字艺术呈现新模式——以数字敦煌展陈理念与视觉传达为例[J].美术观察,2022(10):18-22.

[22]中国日报.敦煌研究院和腾讯联合推出“数字藏经洞”[EB/OL].(2023-04-18).[2023-04-20].https://cn.chinadaily.com.cn/a/202304/18/WS643e92bba3105379893706b8.html.

[23]夏翠娟.构建数智时代社会记忆的多重证据参照体系:理论与实践探索[J].中国图书馆学报,2022,48(5):86-102.

[24]崔兰,王巧玲,张琪琪.大数据时代抗疫档案资源数据化发展特点研究[J].兰台内外,2022(33):6-8.

[25]李敏.数字人文时代图书馆古籍文献资源的数据化组织研究[J].高校图书馆工作,2022,42(5):37-40.

[26]钱毅.破析与融合——析档案资源形态与语义表现相互作用的U型曲线现象[J].档案学研究,2022(4):108-115.

[27]刘越男.区块链技术在文件档案管理中的应用初探[J].浙江档案,2018(5):7-11.

[28]杜雨,张孜铭.AIGC:智能创作时代[M].北京:中译出版社,2023.

[29]喻国明,耿晓梦.元宇宙:媒介化社会的未来生态图景[J].新疆师范大学学报(哲学社会科学版),2022,43 (3):110-118,2.

[30]夏翠娟,铁钟,黄薇.元宇宙中的数字记忆:“虚拟数字人”的数字记忆概念模型及其应用场景[J].图书馆论 坛,2023,43(5):152-161.

[31]黄水清,王晓光,夏翠娟,等.推进新时代古籍工作,加快创新智能化发展[J].农业图书情报学报,2022,34 (5):4-20.

[32]上海市档案馆.上海市档案馆数字 档 案 公 共 查 阅 平 台[EB/OL].[2023-02-06].http://kfda.archives.sh.cn: 8080/ResourceSystem/archive-search/word-dis.jsp.

[33]黄水清.人文计算与数字人文:概念、问题、范式及关键环节[J].图书馆建设,2019(5):68-78.

[34]周文杰,杨克虎.自主知识体系建构视域下的中国特色数字人文循证范式述要[J].农业图书情报学报,2022, 34(11):5-13.

[35]夏翠娟,林海青,刘炜.面向循证实践的中文古籍数据模型研究与设计[J].中国图书馆学报,2017,43(6):16-34.


(收稿日期:2023-02-16)


作者简介

夏翠娟,博士研究生,研究员,研究方向为数字人文、数字记忆 、数字学术,Email:xtykc@yeah.net。

本文转载自「信息资源管理学报」公众号


分类: 中文 研究 研究前沿
关键词:

img

地址:陕西省西安市碑林区友谊西路68号小雁塔历史文化公园
邮件:secretariat#iicc.org.cn
电话:(+86)029-85246378