导语
近年来，元宇宙的概念受到广泛关注，虚拟空间拓展了人类可开展的活动边界。新加坡科技设计大学Koh和Chen利用脑电、眼动追踪等可穿戴技术为用户创建深度个性化且有意义的元宇宙空间。
近年来，元宇宙的概念受到了广泛关注，2018年斯皮尔伯格导演的《头号玩家》对元宇宙进行了更为直观的描绘。在这里人类除了吃饭、睡觉和上厕所外，其他所有在现实世界开展的活动均可复制到虚拟空间。不仅如此，虚拟空间拓展了人类可开展的活动边界，比如可以和蝙蝠侠一起攀登珠穆朗玛峰，还可以随时去撒哈拉沙漠来一趟说走就走的旅行。元宇宙被设想为一个沉浸式的数字空间，人们以化身的形式聚集在这里，在虚构的场所中进行活动，像在现实世界中一样进行各种活动。
“元宇宙”一词由马克·扎克伯格的Meta公司流行开来，促使科技公司、游戏开发者、软件工程师和建筑师竞相开拓这个新的数字世界。一般来说，“元宇宙”是借助人工智能、虚拟现实、云计算、数字孪生、区块链等高科技手段，把物理世界映射到由数字、互联网组成的虚拟世界。在这个虚拟世界中，无论是身份、感官、意识形态等个人属性，还是社会体系、经济结构、政治组织等社会属性，都能够全部呈现出来。元宇宙的出现，模糊了主观和客观的界限，一个新的世界，也许即将到来。
就在扎克伯格介绍元宇宙的宣传片中，我们确实看到了他在虚拟世界的化身，通过该化身他能够和一众朋友打牌、开会、看电影等等，而这些行为也像极了斯皮尔伯格在《头号玩家》里的描绘。
然而，尽管前景不错，但目前的元宇宙版本常常无法捕捉到人类体验的精髓，缺乏使物理空间变得有意义和难忘的“genius loci”(场所精神)，所以它难以保持新鲜感，对许多用户来说显得缺乏吸引力。这种元宇宙在与具有不同背景和经历的用户产生共鸣方面的差距，促使研究人员探索创新的解决方案，来自新加坡科技设计大学Koh和Chen就进行了这样的一项研究，他们利用可穿戴技术为用户构建了记忆空间。
Koh和Chen研究的核心目标是为每个用户创建一个深度个性化且有意义的元宇宙。他们提出了一个框架，结合可穿戴技术和人工智能，以捕捉和表达人类在数字领域的记忆和感知。然后，这些数据被用来为每个用户创建一个独特的感知和记忆档案，并将其整合到元宇宙中。当用户与这个数字世界互动时，他们的个人经历和记忆成为环境的一部分，使其成为一个动态且个性化的空间。
01
方法论：脑电图(EEG)、眼动追踪和摄影测量
基于目前可穿戴技术的发展，可穿戴技术将变得越来越便携，并被广泛用于日常生活中，就像今天的智能手表一样。在未来，用户的生活可以被记录并提取为核心记忆，这些记忆的重要性由可穿戴设备指示。眼动追踪系统记录兴趣点，生成注视图，以揭示用户对特定物体或空间的注视强度。这些空间和物体被识别并与相应的脑电频谱图匹配，反应情感价值。场景及其注视图和频谱图被输入到生成对抗网络(GAN)中，学习用户的感知，成为一个能够以空间方式再生记忆的人工大脑。新记忆及其相应的加权感知被添加到数据库中，并每天输入到AI模型中，确保模型不断更新、学习并适应。于是，用户的记忆就可以在潜意识中从现实世界中提取出来，并以三维资产的形式重新形成在元宇宙中。
研究依赖于三种关键技术：
脑电图(EEG)技术
脑电图技术通常用于医疗领域，用于监测大脑活动。它实时记录大脑的电信号，提供有关情绪状态和认知过程的见解。通过分析EEG数据，研究人员可以识别与情绪相关的特定标记，甚至可以区分积极和消极的情绪处理过程。
眼动追踪技术
眼动追踪技术检测并记录眼睛的运动，包括注视模式、注视时间和兴趣点。通过研究用户与视觉刺 激的互动，研究人员可以了解他们的感知和兴趣水平。当与EEG数据结合时，这些信息可以提供对用户情绪反应的更全面理解。
摄影测量
摄影测量是一种从二维(2D)照片中提取三维(3D)信息的技术。这个过程涉及从多个角度捕捉图像，并通过专门的算法将它们转换为3D模型。摄影测量使研究人员能够以数字格式重建物理空间和物体，使其成为创建沉浸式元宇宙环境的宝贵工具。摄影测量是一种可以从二维照片中提取三维信息的技术。该过程涉及从不同角度拍摄照片。通过一系列算法，将重叠图像从静态图像转换为三维数字模型。这些模型可以导出为各种文件类型(Aber，Marzolff，Ries，2010)。
02
实验过程
实验使用了Enobio-8 EEG脑电系统和Smart Eye AI-X桌面式眼动追踪系统。研究者将一系列500张图像被编译成视频，每张图像显示时间为3秒。这些图像包括客厅、卧室等室内空间，以模仿家的记忆。桌面式式眼动追仪安装在笔记本电脑上，并校准以匹配参与者的注视。将脑电帽放置在参与者的头部，电极被放置在F3/F4(前额)和C3/C4(中央)区域，以α频段(8-12Hz)测量前额不对称(Hageman等人，2002;Zhao，Zhang和Ge，2018)。F3/F4和C3/C4的α频段脑电波通常用于测量前额不对称，因为它们位于前额和中央区，与情感和认知处理相关(Imotions，2017)。
每个节点的值表示功率谱密度(PSD)，描述信号功率在不同频率上的分布(以μV²/Hz为单位)，这些值随后直接映 射到头皮上的相应位置，形成功率谱密度图。参与者被要求在佩戴脑电帽的情况下观看笔记本电脑上的视频。注视图和功率谱密度图与相应的图像匹配，两个AI模型，AI-1和AI-2.使用这些数据进行训练。
AI-1专注于捕捉视觉感知，而AI-2旨在捕捉用户的感知和潜意识方面的内容。两个模型均训练了500个周期，并选择了显示不同室内空间的预测图像进行评估。对于浴室室内，AI-1生成的图像显示了一个类似门大小的窗户，位于场景的中间位置，通向郁郁葱葱的户外，与真实场景(GT)相似(图2)。绿色植物继续向内延伸，并与室内空间融合。真实场景(GT)中的低天花板和木制横梁也发生了变化，变成了更高的天花板，超出了画面范围。此外，地板上有一个水坑，似乎表明浴室的水龙头漏水。同样，AI-2的输出显示了位于图像中间的玻璃砖窗户，这种窗户通常用于浴室，既能保证隐私又能透入日光。可以看到户外的绿色植物渗入场景，并形成类似浴缸的形状，肥皂似乎溢出。
AI-1生成的客厅图像在房间右下角有一个与真实场景(GT)相似颜色的灯具，照亮了这个空间。在相邻的墙壁上形成了一个窗户，一张类似钢琴一部分的扶手椅靠在窗户旁。图像的底部角落还显示了另外两张扶手椅，面向窗户。可以推断出该场景是从某人走进房间、朝扶手椅走去的视角捕捉的。然而，在AI-2中，很难从输出中区分出家具。相反，出现了不同形状和大小的壁挂式架子，围绕着一个有窗帘的窗户。尽管场景中没有灯具，但空间被一个类似的光源照亮，该光源位于画面外。AI-1生成的书房预测图像有两个窗户，分别代表一天中的不同时间，即早晨和傍晚，与真实场景(GT)仅有一个傍晚的大窗户形成对比。生成的学习空间从侧面视角呈现，椅子位于左侧靠近白天窗户的位置，而书桌位于右侧，位于傍晚窗户下方。书桌上放置了一个类似蓝色灯具的物体，窗户之间还有壁挂式书架。
另一边，AI-2的预测显示了一个打开的傍晚窗户，窗户台上放置了一个大型雕塑。在窗户左侧，有一张桌子，上面似乎有一个装饰物品。在窗户右侧，有一张书桌靠墙放置，可以看到椅子的背面，书桌上还有一排书架。房间内的光线与真实场景(GT)非常相似。AI-1和AI-2生成的结果虽然在某些方面存在相似之处，但也引入了源自个体意识和潜意识感知的空间元素和品质，从而通过设计操作使真实场景(GT)变得陌生化。这些AI模型在记忆和情感之间建立了联系，并能够形成预测性感知，作为一个能够从个体视角感知世界的人工大脑。基于图2中生成的客厅图像，创建了一个潜在的元宇宙空间(图3)。家具通过iPhone扫描并转换为图像序列，上传到Polycam，这是一款可在移动设备上使用的应用程序，可将图像转换为三维资产。在本实验中，选择了点云作为表示人工生成记忆的媒介。其视觉吸引力传达了记忆的本质，即瞬间感知或短暂体验，这些体验在脑海中留下模糊或不完整的印象。这是因为其密度和分辨率高度依赖于空间或物体被观察的时间和角度。
03
实验结果
AI模型AI-1和AI-2产生了有趣的结果。它们引入了来自个人意识和潜意识感知的空间元素和品质，通过设计操作使原始图像变得陌生化。本质上，这些AI模型在记忆和情绪之间建立了联系，生成了一个独特且个性化的“人工大脑”，能够从个人的角度感知世界。
利用AI-1和AI-2的预测，Koh和Chen创建了一个潜在的元宇宙空间。这个空间被表示为一个点云，强调了记忆和感知的瞬间性和短暂性。点云的密度和分辨率取决于观察的角度和时间，捕捉了通常模糊或不完整的记忆的本质。
Koh和Chen的研究为元宇宙的发展开辟了令人兴奋的可能性。随着可穿戴技术的不断发展，研究人员可以探索图像之外的其他数据类型，丰富我们对人类感知的理解。这项研究的潜在应用范围超出了元宇宙。在建筑和遗产保护等行业中，这个框架可以帮助以原始状态保存历史建筑和地标，确保它们能够被后代访问。在医疗保健领域，它可以为改善患者(尤其是那些行动受限或患有痴呆症等疾病的人)的福祉提供一个有价值的工具。
04
研究结论
元宇宙作为前沿领域，有望彻底改变我们与数字空间的互动方式。Koh和Chen的研究为我们提供了一个未来元宇宙的展望，这是一个深深植根于人类体验的深度个性化元宇宙。随着像脑电、眼动追踪这样的可穿戴技术不断发展，未来创建一个能够与用户在深刻层面上产生共鸣的元宇宙是很有可能的。Koh和Chen的研究证明了人机协作在塑造未来数字世界方面的无限潜力。人类的记忆空间不再局限于大脑，现在它可以在元宇宙中构建，为个性化探索提供了无尽可能。
如需获取研究相关的产品信息，欢迎致电4006-111-556详询!
参考文献
[1]《一文读懂元宇宙：是什么?如何发展?怎样看待?》澎湃新闻，中国网络空间研究院
[2] Koh, I., & Chen, A. (2023). Your Memory Palace in the Metaverse with AI. Proceedings of the AAAI Symposium Series, 1(1), 19-22. https://doi.org/10.1609/aaaiss.v1i1.27469
