增强现实的视听内容的呈现方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及计算机技术领域，公开了一种增强现实的视听内容的呈现方法，包括：基于用户所在的目标场景中的多个视觉传感设备采集到的多个目标视频流，对目标场景进行建模，利用视觉传感设备对用户进行追踪定位，得到用户的当前位置和凝视方向，根据当前位置和凝视方向从目标场景的建模中，确定出用户的视野中的场景对象集合，基于场景对象集合对预设的视听内容库进行检索，得到目标视听内容，根据当前位置和凝视方向从目标场景中的多个显示终端和多个音频播放器中，确定出目标显示终端和目标音频播放器，利用目标显示终端和目标音频播放器向用户呈现目标视听内容，从而提出了一种新型的增强现实的视听内容的呈现方法。型的增强现实的视听内容的呈现方法。型的增强现实的视听内容的呈现方法。

【技术实现步骤摘要】
增强现实的视听内容的呈现方法、装置、设备及存储介质


[0001]本专利技术涉及增强现实
，尤其涉及一种增强现实的视听内容的呈现方法、装置、计算机设备以及存储介质。

技术介绍

[0002]增强现实技术是一种通过在现实世界中实时叠加虚拟的信息的技术，其通常通过头戴显示器、手持智能显示设备等方式来呈现增强现实内容，从而实现虚实融合，常用于情景式教学、信息指引和娱乐等应用场合。目前的应用中，增强信息的内容和呈现的时机主要是人为预设的，因此偏向于一些静态的场景、流程固定的操作指引等应用中，难以处理多任务、多用户需求或者动态场景的情况，并且在一些应用场合中，穿戴式或者手持式设备并不适用或不建议使用。在目前的一些研究中，为了适应动态场景的应用需求，人们可以利用机器视觉技术，通过识别场景中的文字等信息生成增强信息。目前的增强现实技术仍然有许多值得探索与研究的方向，如，如何解决场景3D重建、如何进行与用户的交互、如何对用户进行凝视点检测、如何进行用户当前视野中的场景对象识别、如何生成与场景对象相关联的视听内容等等。

技术实现思路

[0003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实的视听内容的呈现方法，其特征在于，所述方法包括：基于用户所在的目标场景中的多个视觉传感设备采集到的多个目标视频流，对所述目标场景进行建模；利用所述视觉传感设备对所述用户进行追踪定位，得到所述用户的当前位置和凝视方向；根据所述当前位置和所述凝视方向从所述目标场景的建模中，确定出所述用户的视野中的场景对象集合；基于所述场景对象集合对预设的视听内容库进行检索，得到目标视听内容；根据所述当前位置和所述凝视方向从所述目标场景中的多个显示终端和多个音频播放器中，确定出目标显示终端和目标音频播放器；利用所述目标显示终端和所述目标音频播放器向所述用户呈现所述目标视听内容。2.根据权利要求1所述的增强现实的视听内容的呈现方法，其特征在于，所述基于用户所在的目标场景中的多个视觉传感设备采集到的多个目标视频流，对所述目标场景进行建模，包括：对用户所在的目标场景中的多个视觉传感设备采集到的多个目标视频流进行稠密点云重建；对点云数据进行实例分割，创建所述目标场景中每个场景对象的包围盒，并以层次包围盒的形式组织所有的场景对象的包围盒；创建场景对象数据库，其中，所述场景对象数据库用于存储每个所述场景对象的信息，且所述场景对象数据库中场景对象的信息是实时更新的。3.根据权利要求1所述的增强现实的视听内容的呈现方法，其特征在于，所述利用所述视觉传感设备对所述用户进行追踪定位，得到所述用户的当前位置和凝视方向，包括：基于所述视觉传感设备映射至2D地图中的可测量范围，对所述用户进行跟踪；当检测到所述用户的位置已固定时，确定所述用户的当前位置，并调度所述视觉传感设备采集所述用户的人脸图像；基于所述人脸图像确定出所述用户的凝视方向。4.根据权利要求3所述的增强现实的视听内容的呈现方法，其特征在于，所述基于所述人脸图像确定出所述用户的凝视方向，包括：当采集到所述人脸图像的所述视觉传感设备的数量大于等于二时，利用深度神经网络对所述人脸图像进行分析，以得到所述用户的凝视方向；当采集到所述人脸图像的所述视觉传感设备的数量未大于等于二时，基于所述人脸图像创建所述用户的头部的包围盒模型，以包围盒模型的前端面的法向方向作为所述用户的凝视方向。5.根据权利要求1所述的增强现实的视听内容的呈现方法，其特征在于，所述根据所述当前位置和所述凝视方向从所述目标场景的建模中，确定出所述用户的视野中的场景对象集合，包括：根据所述当前位置和所述凝视方向从所述目标场景的建模中，确定出用于表示用户视野范围的视锥体；从进入所述视锥体的范围内的...

【专利技术属性】
技术研发人员：莫建清，何汉武，刘聪，洪杨，蔡武鑫，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：