人机交互方法、装置、介质及电子设备制造方法及图纸

本申请公开了一种人机交互方法、装置、介质及电子设备，方法包括：响应于用户针对目标对象的选择指令，展示目标对象的数字3D模型；在数字3D模型的展示时长到达预设时长的情况下，获取目标对象的介绍文本；根据介绍文本，通过多模态大模型对数字3D模型进行推理，得到与介绍文本相关的分割区域，多模态大模型用于将介绍文本与多个视角的2D图像进行对齐并分割，多个视角的2D图像是将数字3D模型的不同预定义视点进行渲染得到的；播放介绍文本对应的音频，并显示分割区域。因此，采用本申请实施例，用户在面对文化遗产的数字化展示时，可以将抽象的文本解释与具体的文化细节有效联系起来，从而提升了用户的体验和学习效果。

【技术实现步骤摘要】

本申请涉及混合现实和人机交互，特别涉及一种人机交互方法、装置、介质及电子设备。

技术介绍

1、随着信息技术的飞速发展，人机交互技术已经取得了显著进步，尤其是在3d显示和虚拟现实领域。这些技术为用户与数字内容的互动提供了全新的方式，极大地丰富了教育、娱乐、医疗保健和旅游等多个领域的应用场景。特别是文化遗产的数字化保存与传播，已经成为一个备受关注的领域。

2、目前，通过数字化手段，人们能够以沉浸式的方式欣赏和接触文化遗产，这不仅为文化遗产的保护和传承提供了新的途径，也为公众提供了更加丰富和直观的体验。由于文化遗产通常蕴含着深厚的历史和文化知识，其复杂性往往超出了没有专业背景的普通用户的理解能力。导致了用户在面对文化遗产的数字化展示时，难以将抽象的文本解释与具体的文化细节有效联系起来，从而影响了用户的体验和学习效果。

技术实现思路

1、本申请实施例提供了一种人机交互方法、装置、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重本文档来自技高网...

【技术保护点】

1.一种人机交互方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述介绍文本，通过多模态大模型对所述数字3D模型进行推理，得到与所述介绍文本相关的分割区域，包括：

4.根据权利要求3所述的方法，其特征在于，所述多模态大模型包括对齐模块和分割模块；

5.根据权利要求3所述的方法，其特征在于，所述预处理所述三维蒙版，得到与所述介绍文本相关的分割区域，包括：

6.根据权利要求5所述的方法，其特征在于，所述细化采用高斯测地线重加权算法，所述消...

【技术特征摘要】

1.一种人机交互方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述介绍文本，通过多模态大模型对所述数字3d模型进行推理，得到与所述介绍文本相关的分割区域，包括：

4.根据权利要求3所述的方法，其特征在于，所述多模态大模型包括对齐模块和分割模块；

5.根据权利要求3所述的方法，其特征在于，所述预处理所述三维蒙版，得到与所述介绍文本相关的分割区域，包括：

6.根据权利要求5所述的方法，其特征在于，所述细化采用高斯测地线重加权算法，所述消除因视点变化引起的不连...

【专利技术属性】
技术研发人员：高文，鲁昊鹏，刘烜奕，颜若珂，宋利，张新峰，王苫社，马思伟，
申请(专利权)人：北京大学，
类型：发明
国别省市：