观点 | 陆晔:走向“多重宇宙”——数字叙事的时空堆叠初探

作者:陆晔 发布时间:2025-02-18 10:51:18 来源:《文化研究》2024年第2期+收藏本文

摘要:借用“多重宇宙”对当下新技术文化的概括,本文以丰富的案例讨论数字叙事时空堆叠的维度和特征。时空堆叠指的是数字叙事不同类型的视觉和听觉元素像一组堆叠的叙事块交织互嵌。时空拼贴、可视化的虚拟可导航空间和AI叙事生成可被视为数字叙事时空堆叠的三个维度,其中最值得关注的特征莫过于由技术驱动的内在的不可预知性,和人对此的失控感。而这恰恰是数字叙事打破过往媒介经验和文化框架的潜力所在。

关键词:数字叙事,时空堆叠,虚拟可导航空间,AI叙事生成


背景:“不断出现微小无序片段”的数字叙事


2023年3月,A24电影公司的《瞬息全宇宙》这部被《纽约时报》称为“令人头晕目眩、属于TikTok时代的”电影,在第95届奥斯卡金像奖颁奖典礼上斩获7项大奖,预示着一个“新新好莱坞”的开端,类比的是1960年代末年轻人用活力惊人的原创作品撼动暮气沉沉的电影工业(乃至于整个流行文化)的“新好莱坞”时期。尽管这部电影采用非时间顺序架构故事情节的手法(如时间的回溯、时间的重复、时间的跳跃等)在现代电影中很常见,但它仍然被一些研究者称为“元宇宙电影”——这一电影类型有三个特征:与现实世界平行、反作用于现实世界、多种高技术综合,是利用多种数字技术以及电影中主人公的想象力和记忆力实现多重宇宙随意且频繁转换的奇幻电影亚类型。


事实上早在电影公映之际,编剧同时也是导演的“丹尼尔组合”,关家永和丹尼尔·施纳特,就在一档播客节目里将这部电影称为“多重宇宙电影(multiverse film)”,这一概括也许比“元宇宙电影”更为贴切:有影评人强调,过往许多电影都提供了不同现实,但仅仅是让角色(带领观众)去往某个宇宙,却无法离开单一宇宙、无法以自己的多个分身进入不同的宇宙,而《瞬息全宇宙》“迈出了额外的一步,描绘了完全不同的世界”,角色并不是在一个宇宙中从事不同的职业,而是在每个宇宙做不同工作、有不同的人生,每个宇宙“都引入一个新的存在主义问题……通过杨紫琼的角色我们有机会快速跳跃……通过在不同宇宙中的互动来学习,并慢慢改变世界观”;甚至轮回也可以并不发生在线性时间的今生和来世,而是在万事万物、在不同宇宙中感知,“变化以多种形式跨越时间和空间发生……这不是关于我的无处不在,但我的一部分就是一切”。


这样“不断出现微小无序片段”的观影感受与“社交媒体应用程序提供的体验”极为类似,就像时时刻刻穿梭于不同社交媒体平台、有着多个数字碎片分身的现代人的日常。更何况《瞬息全宇宙》如照片墙Instagram或抖音tiktok的滤镜视觉美学、快节奏剪辑、如电子游戏般华丽梦幻的非线形故事场景设定及场景之间的互文性,都与社交媒体和移动短视频如此类似。因此,无论这部电影究竟是表现了“过剩时代的存在主义危机”还是“Z世代注意力缺失症患者的自白”,《瞬息全宇宙》预示的远远不止电影工业“新新好莱坞”的开端,更是第一次充分预示了全新的数字叙事已然塑造了移动社交时代公众的基本视听偏好——“随着新技术颠覆了久经考验的叙事公式,观众正在寻找与他们生活世界经验相匹配的叙事旅程……是时候让观众按照他们的方式融入你的故事”。


在这个意义上看,借用“多重宇宙电影”这一术语,进一步深入讨论“多重宇宙”数字叙事的特征和意义,有助于加深关于“网络社会崛起”的理解——“在历史上首度将人类沟通的书写、口语和视听模态整合到一个系统里”,并以多点对多点的互动性获得令人惊异的自主发展。在这里,数字叙事从概念层面立足于研究者已展开较为充分讨论的数字环境改变传统叙事的四个基本属性:程序驱动,交互和用户积极参与,叙事展开的舞台是以可导航空间为特征的数字环境,以及百科全书式巨量信息储存的广阔且详尽的叙事世界。具体论述则将围绕时空堆叠展开。


所谓时空堆叠,指的是数字叙事不同类型的视觉和听觉元素之间没有不能被打破的逻辑链条,它们“更像一组堆叠的叙事块(a set of stacked narrative block)一样交织互嵌”,甚至一些强交互数字作品往往没有明确的开头、主干和结尾。在实践层面,许多时空数据可视化技术都与时空的重新构造有关,如轨迹墙(Traffic Wall)同时展现在空间和时间上的轨迹数据,时间透镜(time lens)以交互方法建立时间刻度(time scale)和地理位置信息系统(Geographic Information Systems,简称GIS)的时间链接(time link)等等。源自制图学的“时空立方体”(Space Time Cube,简称STC),强调关于地理空间模式、关系和趋势,“像乐高一样堆叠时间”,用融合了空间和时间的简洁可视化堆栈就可以表达任何与时间和地理区域相关的事物及其变化,在 GIS中已有诸多应用场景。


在理论层面,作为数字叙事这一概念的操作化,时空堆叠具有在微观层面推进媒介文化学者有关“无时间的时间(timelessness)”“流动空间”论述的潜在力量——数字技术和移动互联网不仅作为“新的沟通系统彻底转变了人类生活的基本向度:空间与时间”,而且通过不断迭代时空堆叠内涵的数字叙事实践参与新文明的创造:在“永久在线、永久连接”成为移动互联网时代生活方式的今天,代码、传感器、数据、算法和平台重构了人类的时间、空间、主体意识,这一技术变革无论作为隐喻还是在现实场景中,都意味着旧有结构秩序的坍塌,和一个新世界的上升——计算不再是机器的特殊装备,而成为社会技术环境里事物的普遍属性;平台不仅是技术现实,更是新的组织模式;新的传感技术在我们的四周弥漫并绕开意识,与我们的感官系统直接互动,使人成为生态和环境的一部分……如此种种,见证了人类正进入一个新文明——“可编程未来”,其核心在于“生存即更新”——在这个新世界里,代码并非压缩和消除物理空间,而是作为一个关键要素激活并通过生成性运行将空间同构为代码/空间。


事实上,数字叙事与数字技术和数字设备的普遍使用同步发展,从1980年代的电子游戏和超链接文本,到web2.0时代的博客、140个字符限制的Twitter以及维基百科、社交图像和 Facebook、沉浸式电子游戏,再到被学者Bryan Alexander称为“新叙事形式的黎明”的融合、交互、跨媒体叙事,如在线电子书、智能移动设备、增强现实或虚拟现实游戏,所有这一切共同推动了“数字叙事运动(digital storytelling movement)”。“多重宇宙”数字叙事正是在这一背景下以其不断迭代的时空堆叠特征,正在生成网络社会新文化;这一新文化充盈着的“不断出现微小无序片段”,日益成为一种普遍的技术美学趋势。


数字叙事时空堆叠之一:数字影像时空拼贴


在数字媒介和移动互联网社交实践中,数字叙事时空堆叠的第一个维度是数字影像时空拼贴,这也是时空堆叠的最基本形态。时空拼贴的实践场景有很多,比如发生在算法主导的平台或设备上。前者表现为用户在抖音、快手、小红书这样的短视频平台由不断滑屏生成的短视频瀑布流,没有明确的开头,出现的一个接一个短视频,其时间顺序和空间/地点顺序在算法黑箱里完成,用户知道下一个视频会滑到什么,而且只要滑屏一直滑下去,短视频瀑布流就不会结束。后者表现为由移动智能设备自动生成的短视频,如iPhone相册自带的“为您推荐-回忆”。由于智能手机拍摄内置时间码和GIS地理位置信息,因此回忆功能可以按地点——小到一家餐厅如“陕西南路186弄小区:2023年10月4日”,大到一座城市如“探索纽约:2023年7月至8月旅程”,或主题——如“人像:那些年”“春天:2023年”“年度回顾:2022年”“近期亮点:2023年4月18日-5月16日”“花:2022-2023年”等等,将相册里的照片和视频片段集纳为短视频并自动生成标题和BGM背景音乐,用户可一键存储分享至社交账号。系统支持混剪短视频的“傻瓜式”用户个性化选择,包括三个不同视频长度、不同BGM、不同滤镜,也支持用户自行编辑标题,还可以选择减少这类内容出现和删除回忆(参见图1)。在这里,智能设备绕过人的意识,为设备使用者创建“回忆”。


图片

图1  作者iPhone相册自动生成短视频界面


互联网视频平台和社交媒体上大量“二创”短视频,如鬼畜短视频的重复性、节奏性以及戏仿、恶搞、无厘头。尽管二度创作普遍存在于文学艺术领域,但互联网短视频领域“二创”的一大特点是碎片化影像素材和音频素材混剪,运用蒙太奇手段快速搭建叙事逻辑,不止是对原创“视频内容进行剪辑、切条、解说、搬运、速看等”,也“跳出了原作的线性叙事”,甚至完全剥离了原作的意义,呈现丰富的意义表达。作为“文本盗猎”(亨利·詹金斯,2016)的一种形态,如超过三十万粉丝的微博剪辑视频博主@神龙士力架0517 以“二创”混剪短视频见长,其作品会标注“素材来源于网络,侵权删除”;不同时空的视频素材与BGM形成丰富的互文性,产生了新的意义。就像2023年5月6日发布的《十万嬉皮》,BGM是知名摇滚乐队万能青年旅店的原创歌曲,不同时空的碎片化日常生活场景片段重新结构,与原作歌词相互冲撞和叠加,产生了强烈的现实批判力量和情感共鸣,视频观看量超过237万(参见图2)。


图片

图2 微博剪辑视频博主@神龙士力架0517二创混剪短视频作品截屏


作为数字影像时空堆叠的基础形态,时空拼贴体现了数字内容产品“流动空间”和“无时间性”这一互联网文化关键特色——不仅地点脱离了文化、历史、地理的意义,重新整合进功意象拼贴当中,形成新的实体与虚拟空间互嵌,它们的时间也同时并存,没有开端,也没有终结,没有序列,过去、现在、未来在同一则信息里被预先设定而彼此互动,时间也在这个新沟通系统里被消除了。


时空拼贴也暗合文化学者对当今时代的概括:“新兴的全球社会是可视化的”,被计算机创造出来的巨量视觉信息构成当今观看世界的主要方式,今天的世界是“年轻的”“城市化的”“网络化的”“炙热的……我们的身体就像数据网络的延展部分,能点击、链接以及自拍……我们把自己所见和所理解的呈现在屏幕上,并随身携带”—— 一切图像“都是数字信息的变体。从技术层面说,它们根本不是图像,而是计算机结果的呈现”,通过“排列式成像”这种构造数码图像的标准化方法,“我们从这些图像中粘合出一个世界”。


这种以时空拼贴为核心的数字叙事时空堆叠,也是当代艺术表达的一个重要维度。《蜻蜓之眼》(参见图3)这部81分钟的剧情长片是国际知名当代艺术家徐冰执导的首部艺术影像作品,全部镜头都来自互联网上公开获取的近万小时的监控视频影像。艺术家刻意保留了每一段监控视频加载在图像上的所有信息——时间码,GIS地理位置信息,视频片段被不同个人和平台转发时添加的水印……尽管影片有着传统爱情电影的情节结构和叙事逻辑,但碎片化影像自身携带这些信息在故事展开的同时强行闯入观众视线,不断溢出、挑战、摧毁、重置艺术家通过剧本刻意营造的传统电影叙事的线性银幕时间和象征性统一空间,影片片尾代替演职员名单的则是近 300 个监控摄像头的卫星坐标参数。


图片

图3 艺术家提供的《蜻蜓之眼》创作背景纪录片截屏


由于“如今图像是被创造出来的,或者更准确地说是被计算机计算出来的,这种图像不依赖任何先于计算的视觉……机器以数字形式计算结果,并将结果以我们熟悉的图像形式传导出来”,因此现实世界的自然时间、自然空间不仅可以如传统胶片电影和模拟电视时代那样被影像攫取、拼贴并堆叠出影像时空,而且增加了前所未有的技术维度。正如图像学者W.J.T.米切尔在关于图像学3.0的学术演讲中所言,图像以元图像的方式言说自己,元图像的意义在于抵制图像被认为是语言的被动补充,然而在今天元图像变成了元媒介,数字图像作为一种超级复制,可以整合其他信息,令图像和实体产生新的连接,这正是我们当下世界图像的现状,也是数字叙事的现状——既是影像上的时空拼贴,也与现实时空相互堆叠并持续互动。


数字叙事时空堆叠之二:虚拟可导航空间


数字叙事时空堆叠的第二个维度是可视化(visualization)的虚拟可导航空间,其核心在于交互。随着社会生活加速数据化,“文化可视化”和“可视化文化”共同兴起,可视化技术提供了新的进入未知社会生活的入口。从数字内容生产者的角度看,可视化数字内容产品是在“设计观众在时空中的经验”,通过将滑动、放大缩小、点击等最自然的交互设计,设置为新的动画、视频、文本等等不同元素展开的方式,引导用户的注意力;对用户来说,他们“在别人设计的空间中创建自己特定的导航路线”,这样的“可导航空间是一个主观化的空间,其结构呼应着主体的运动和情感”。比如威尼斯时光机器(Venice Time Machine)。这项由欧洲最具活力、位于瑞士的科技教育机构 EPFL 和威尼斯 Ca' Foscari 大学共同发起的先驱性国际数字人文计划,第一阶段(2012-2019)通过将历史的连贯的数据集转换成当下便于机器处理的数据库、历史档案的索引驱动数字化、使用 X 射线断层扫描珍稀书稿的数字化方法、手写文本识别和自动转写、视觉模式发现和视觉检索、地籍计算、基于上下文的历史档案人物属性相似性度量、基于语义网络技术的历史知识编码等技术,创建了关于威尼斯历史演变的目前全世界最大的地理历史数据库。该项目现在是“欧洲时光机器”的一部分,第二阶段(2020-2028年)专注于开发“威尼斯镜像世界”,一个与城市实体本身重叠的 4D 模型,这个交互的虚拟可导航空间将那些决定这座城市未来的人与其过去的信息直接相连(图4)。这一城市可视化项目的阶段性成果曾在世界各地著名博物馆展出,包括 2018威尼斯建筑双年展、2018年巴黎大皇宫“耀眼的威尼斯”特展;2022年维也纳美景宫美术馆“威尼斯万岁”特展则展出了根据历史资料和整个城市3D 扫描建模的圣马可广场。


图片

图4 威尼斯时光机器官方网站视频简介截屏


法政建筑(Forensic Architecture)则更着眼于时空堆叠的虚拟可导航空间如何将美术馆转化为公共问责场所。这是伦敦大学金史密斯学院2011成立的专事全球社会案例调查的研究小组,由建筑师、数据分析师、电影人、软件工程师、调查记者等专业人士组成,通过收集线上数据、数据挖掘、与当事人接触、3D数字模型等方式还原社会事件的真实现场,以空间和时间常识校对官方机构发表的声明或确认过的事件“真相”——通过采纳尖端新科技的空间和建筑分析、开源调查、数字建模和沉浸式技术以及文献研究、情景访谈,整合开源调查、数字和物理建模、3D 动画、虚拟现实环境和制图平台,定位和分析照片、视频、音频文件和证词以重建和分析社会事件,并通过数字模型探索寻访创伤记忆的新方法。团队也通过新技术重新发掘和阐释古代遗迹。目前完成和正在进行的调查案例95个,如通过3D建模、音频分析流体动力学等技术手段情境再现2006年德国一网吧内发生的枪杀案调查,运用热力图进行的2011-2016年一家印尼-韩国棕榈油企业涉嫌印度尼西亚巴布亚省森林火灾调查,运用3D建模进行的2020年发生在希腊-土耳其边境的移民被殴打事件调查;还参与了两个外部支持项目;正在参加的展览有智利塞里略斯国家当代艺术中心特展(2023年8-10月)和第十八届威尼斯双年展国际建筑展(2023年5-11月)(参见图5)。

图片

图5 法证建筑在威尼斯双年展的作品截屏


对于在线新闻业来说,虚拟可导航空间极大地拓展了新闻作品的交互性。如《澎湃新闻》《解放日报-上观新闻》常用适配智能手机界面的竖屏下拉式H5(图6)。《纽约时报》视觉调查团队获2022年普利策新闻奖国际报道奖的系列报道《美国无人机袭击如何杀错人》,揭露了美国领导的国际联军在中东地区对ISIS发动空袭造成的多起平民伤亡事件,除了利用公共文件、新闻报道、各类原始资料、采访目击证人、现场勘测等方式追踪中东地区的无人机袭击,也使用Maxar Technologies 提供的高分辨率遥感卫星影像和谷歌地球交叉验证,以及非营利监察机构 Airwars的数据库、Drone Wars数据库、众包网络地图工具Wikimapia和网站监测工具VisualPing。报道刊发一周后,美国军方承认2021年 8 月 29 日在喀布尔发动的无人机袭击中犯下了悲剧性错误,造成 10 名平民死亡,其中包括一名援助人员和 7 名儿童。这些技术在时间和空间上极大地延展了人的感知能力,丰富数字叙事的堆叠时空生成,也为新闻现场循证提供新的客观证据。


时空堆叠的虚拟可导航空间特征令数字叙事不是“像照相现实主义一样”逼真地模拟真实场景,而是“在多种维度中创建现实效果,视觉逼真仅是其中一个维度——这些新的维度包括:身体对于虚拟世界主动参与、视觉以外其他感官的参与”。在这里,时空堆叠不仅意味着人类社会生活几乎一切方面加速数据化之后新的视觉表达和感知能力提升,也通过用户在数字虚拟可导航空间中积极交互而不断叠加和变化。这一数字叙事逻辑同时也是一种新技术近用(access)逻辑,尤其对于触屏设备用户而言,故事随着用户滚屏、点击、放大或缩小、滑动等屏幕操作手势的身体动作展开,在数字叙事的虚拟导航空间里建立自己的观看路径和方式。这种对交互性的超强包容不止是数字叙事的重要特征,也经由虚拟可导航空间完成了时空堆叠的进一步迭代。不完全等同于赛博文本“时间性操作”也即交互性造成的“界面时间”与“认识时间”的复杂性和“遍历文本”与传统叙事文本的区别,数字叙事可视化的虚拟可导航空间引入了迭代时空堆叠的两个重要维度,其一是新的技术维度,包括但不限于X射线、红外、卫星遥感技术、超声波、流体动力学、3D建模、虚拟现实这类改变人类观测视点的时空,以及数据可视化生成的时空;其二是身体维度,也即用户以身体动作在虚拟可导航空间中与界面交互建构的时空。尽管早在1990年代末研究者就认为数字超文本打破了传统文本线性、连续、时间性故事结构,成为一个动态、互动空间,一个读者可在其中进行各种形式交流与阐释的多维的游戏场,然而也正是因为数字文本被描述为一个正在进行的、未完成的历史转变过程,更多技术维度和身体维度的加入,仍将继续迭代数字叙事的时空堆叠特征。


图片

图6在线新闻可视化交互产品实例


数字叙事时空堆叠之三:AI叙事生成


数字叙事时空堆叠的第三个特征是人工智能AI叙事生成,也即AI参与或主导的叙事。近年来人工智能技术快速发展,将AI技术应用于小说、诗歌、电影、电脑游戏和广告,已成为一个热门领域。AI叙事生成立足于将叙事学和文学理论与当前的人工智能方法结合,对当下叙事生成系统的实践进行分析,以期弥合人工智能、认知科学和叙事学的鸿沟。2020年创新工坊主办了《共生纪首次华语科幻AI人机共创实验》;音频流媒体平台喜马拉雅与彩云小梦合作了AI故事续写和故事演播;麻省理工学院社交机器实验室依靠深度神经网络的机器学习为视频故事创建情感弧线模型,分析情感和语义叙述如何影响观众对故事的参与,取得瞩目进展。


AI叙事生成电影凸显了数字叙事时空堆叠的不确定性。2016年,电影导演Oscar Sharp带着纽约大学人工智能研究员Ross Goodwin开发的一款长短期记忆(简称 LSTM)循环神经网络人工智能参加伦敦科幻电影节48小时竞赛,启用三位演员拍摄了9分钟完全由AI创作剧本的科幻短片《阳春(Sunspring)》,入围前十,媒体评论“本杰明进入了一个自己创造的宇宙,感觉就像大卫·林奇和雷德利·斯科特一起喝醉了,蒙着眼睛写了一部电影。”当代艺术家徐冰也从2017年开始创作《人工智能无限电影》,这项对未来电影一种可能性的试验迄今仍在进行。2023年6月1日《麻省理工大学科技评论》发布人工智能生成短片《冰霜(The Frost)》的在线全球首映。这部时长 12 分钟的电影,由底特律视频创作公司Waymark 采用执行制片人 Josh Rubin 编写的剧本,并将其输入OpenAI 的图像制作模型 DALL-E 2生成静态图像,再用为静态图像添加运动的人工智能工具 D-ID来制作这些镜头的动画,制作人说“我们用 DALL-E 回馈给我们的东西建造了一个世界,这是一种奇怪的美学”(参见图7)。


图片

图7 人工智能生成短片《冰霜》截屏


时空堆叠的不确定性也同样发生在AI叙事生成游戏中。2019年12月,犹他州初创公司 Latitude 推出了一款名为《AI地下城(AI Dungeon)》的奇幻模拟游戏。受经典文本交互游戏《龙与地下城(Dungeons & Dragons)》启发,《AI地下城》使用人工智能公司Open AI早期开源版本的文本生成技术,当玩家输入他们希望角色执行的动作或对话时,算法设计出个性化的、不可预测的冒险关卡。游戏设计者认为其最大特点是“没有规则,没有目标。只有冒险……具有无限的可能性。与大多数游戏不同,您体验的是游戏设计师创建的世界,而在AI地下城,您可以指导 AI 创建世界、角色和场景,供您的角色进行交互”(参见图8)。2020 年 7 月Open AI 更强大的商业写作算法使该游戏“创造力和讲故事能力的飞跃简直就是天堂”,也引发如何过滤用户在游戏中生成脏话、仇恨言论或色情内容的强烈争议。


图片

图8 AI地下城官网截屏


互动娱乐公司To Play For开发的为数字叙事创建可信虚拟角色的即插即用平台Charisma.ai是AI叙事生成的热门工具包,应用场景包括为促进儿童学习莎士比亚的兴趣,出版机构Will Play与牛津大学合作改编《罗密欧与朱丽叶》《麦克白》并使用Charisma.ai转换为社交媒体WhatsApp风格的对话;为美国健康领域出版商 Sounds True的智慧家居应用程序Sounds True One创建的数字伴侣 Bodie,可通过对话交互为用户提供音频教学、冥想练习、释放烦恼情绪的内容,并随着交互增多而不断增加个性化内容。2023年10月6日发布了为Sky TV开发的支持手势和语音识别、通过生成式人工智能推动角色即兴创造的沉浸式互动电视机顶盒Sky Live,以及为梦工厂动画片《穿靴子的猫》创作的交互式数码猫(参见图9)。伦敦大学国王学院数字实验室(King's Digital Lab) 和To Play For合作的创意写作、人工智能、数字人文、软件工程交叉领域研发项目AI & Storytelling,在Charisma.ai上创建的交互游戏《海妖苏醒》支持玩家与游戏角色自由交谈,游戏角色拥有个性、记忆、观点和情感,会倾听并回应玩家;而玩家的一言一行都会影响角色的情绪以及他们与玩家的关系,进而影响故事走向;开发团队与dBs Pro 音频团队合作创作了适配角色情感的配乐,会随玩家与角色交流中角色的心境而变化。也就是说,玩家与角色的交互塑造了故事也塑造了游戏的声音景观(参见图10)。


图片

图9 即插即用平台Charisma为梦工厂动画片创作的交互式数码猫


图片

图10 交互游戏《海妖苏醒》主页截屏


上述实例无一例外在数字叙事时空堆叠中产生了难以预测的人类对叙事结构和时空逻辑的失控感。这种不可预测性在人工智能快速发展的当下产生了更强烈的紧张感。2023年上半年,摄影评论家、策展人海杰的多幅Midjourney制作的图片登上了国内几家著名摄影杂志封面;当年6月,杭州高帆摄影艺术馆举办了《更深的蓝:海杰AIGC生成式图像个展》(参见图11)。这个国内首次AI生成式图像展览,除了追问被艺术家称为被投喂和献祭的文字与算法之间的关系,展览现场最强烈的视觉感受莫过于一切都很诡异,那种似曾相似但又错置的表情、肢体、环境、人物关系,无不提示着AI主导数字叙事时空堆叠的无序和失控,一种人类经验之外的“异世界时空”。


图片

图11海杰Midjourney制图摄影杂志封面和个展


简短的讨论:走向“多重宇宙”


上述数字叙事时空堆叠的三个维度:时空拼贴、可视化虚拟可导航空间、AI叙事生成,相互之间交织嵌入、持续堆叠,个体就像在社交媒体上一样可以有多个数字分身,同时存在于这三个维度交织堆叠的时空当中,每一个数字分身获取的经验、体验的情感、采取的行动、产生的思想,都汇聚到“我”这一身份并持续参与塑造“我”的人格成长——这正是“多重宇宙”数字叙事时空堆叠的实质,也是计算成为社会环境里事物普遍属性的必然结果。其中最值得关注的特征莫过于数字叙事时空堆叠由技术驱动的内在的不可预知性,和人对此的失控感。这一特征暗合了研究背景部分提及的新兴数字文化“不断出现微小无序片段”的普遍的技术美学趋势。如果将其视为数字技术在“四周弥漫并绕开意识”、“代码……作为一个关键要素激活并通过生成性运行将空间同构为代码/空间……使人成为生态和环境的一部分”,那么这一技术美学趋势是否具备否思过往媒介经验的潜能——那些基于大众媒介和工业化社会文化批判的思维框架在当下是否已经到了极限?


纽约大学Tisch艺术学院助理教授、诗人、程序员、游戏设计师Allison Parrish认为,由于机器学习的语料库包含了特定时间背景和空间属性的历史情境,如果我们不要过度关注所谓“逼真性”,也即机器生成的叙事在某些基准上的表现,而其中许多基准是与人类能力的比较,那么AI叙事有可能让历史情境中行为已经化石化的缺席个体重新焕发活力,一种重新激活这个身体的尝试,揭示仅靠人类意识思维无法感知的真理——那些“强化唯我主义现状的技术被绕道而行,取而代之的是复杂的机器写作仪式,提取埋藏在数据中的灵魂,以便找出它们要对我们说的话”(Parrish,2020)。她的作品,如2018年出版的,用计算机程序从超过200万行公共领域诗歌中提取语言特征,再根据其相似性追踪行与行之间流动路径的计算机生成诗歌集《Articulations》;以及从她注册的Twitter 账户@everyword 2007年到2014年期间109,157个单词以及每个单词被 Twitter 用户收藏和转发的准确次数构成的概念诗歌或概念词典@everyword,无不体现出数字叙事对过往媒介与文化经验的颠覆——“利用随机性产生概念的并置,让你更深入地思考你所使用的语言”。


与此类似,尽管是在更具体的层面,从事实时编码(live coding)现场即兴音乐表演(又称做algorave算法锐舞)的布鲁克林青年跨媒介艺术家@v10101a认为这种特殊的数字叙事(以及作为实时编码一部分的现场视觉效果)现场表演最酷的地方在于,演奏者或者说码农艺术家完全不必遵循任何固有的音乐规则,有那么多的数字、数字之间的数字、数字的碎片,比如不需要在五线谱上记谱,五线谱把一个八度等分成12份,然而“音”本来只是声波频率而已,实时编码可以是无调性的,把一个八度分成16个或者20个音;不同结构不同流派之间存在着巨大的潜力,你根本不必定义自己正在发出哪种声音或者它是否是音乐;你可以把它看成是“计算机歌剧(computer opera)”,结构化的即兴表演,可以有非常多的颗粒效应(granular effect),有很高的随机性,这正是实时编码的魅力所在(参见图12)。这种不可预知性和失控感恰恰是数字叙事打破框架的潜力所在。


图片

图12 跨媒介艺术家@v10101a 和@ladybambs的实时编码现场即兴音乐表演


可以说,数字叙事“多重宇宙”是一个持续延展的领域。在学术界,数字叙事开始成为深具潜力的质化研究方法之一,有助于学术研究与学术同行之外的目标群体和普通公众的互动。视觉计算正日益广泛地应用于文化遗产和博物馆领域,包括考古发现、文物保护以及新的交互叙事、可视化和沉浸式体验;且有研究显示数字交互有利于激发参观者的积极性和认知深度。时空堆叠的数字叙事不仅在医疗行业运用于日常认知训练、以对抗因年龄而导致的认知能力下降,而且也有最新研究成果表明在教育领域对于促进学生自我效能和批判性思维明显优于传统课堂;并有益于增强对文化多样性的理解。与此同时,将创作者主体性降至最低、全然交付给机器的数字叙事也有了更多尝试,如当代艺术家徐冰在小红书发布由人工智能不间断生成绘画、永不重复、随即消失的“社会画室”项目,以“看过即拥有、截图即所属”为核心理念,自2023年12月30日起进行五天、每天24小时不间断自动生成图像的直播(在第四天由于一幅自动生成的兵马俑图像被系统误判为违规内容导致直播间被关停12小时,未能完成五天不间断直播)。这些新的数字体验究竟为人的认识带来什么,需要更系统的研究。


继2019年《前机械世界(Il mondo ex machina)》对不仅是技术基础设施也是本体论基础的人工智能、深度学习、无人机、区块链等智能技术的讨论之后,科西莫·亚卡托在2022年出版的新著《概览世界(Il mondo in sintesi)》,聚焦数字仿生技术、加密数字资产、元宇宙,力图探究计算生成的实体如何重新设计和创建人类生存的世界并赋予我们的星球以新的生命力,完成了他技术哲学三部曲的最后一部。2023年,科西莫·亚卡托在其主持的技术哲学实验室Forge主页上进一步强调人工智能是我们这个星球一种新的存在方式,预示和配置着地球的另一种终极改造,也即,新的世界会有新的生存法则和生命体验,现有的话语秩序和生产模式终将被颠覆。从这个意义上看,有关“多重宇宙”数字叙事时空堆叠这一议题,还有更广阔的讨论空间。


致谢:本文为教育部人文社科重点研究基地重大项目《数字城市背景下的新型文化社区研究:新公众、新内容、新场域》(项目批准号22JJD86002)阶段性成果,同时感谢复旦大学新闻学院科研创新项目“数字情感极化的跨平台研究”支持。解放日报数据新闻中心主任尤莼洁高级记者、复旦大学新闻学院李梦颖博士、崔迪博士、楚亚杰博士在相关议题的日常讨论中对作者有诸多启发,GPT-4协助完成了部分文献梳理工作,特此致谢。


作者简介:

陆晔,复旦大学新闻学院教授,复旦大学信息与传播研究中心学术委员会副主席。

[版权声明]本文章发表于《文化研究》2024年第2期。本文由作者授权发布,未经许可,请勿转载(个人转载不在版权限制之内)。如公开出版机构需转载使用,请联系刊发杂志及作者本人获得授权。

[引用格式]陆晔。走向“多重宇宙”——数字叙事的时空堆叠初探,文化研究,2024年第2期。