虚拟现实场景中障碍物的预警方法及设备技术

本申请涉及虚拟现实技术领域，提供一种虚拟现实场景中障碍物的预警方法及设备，针对基于轻量级的深度学习网络检测到的每一障碍物，预测当前图像帧中障碍物的位置信息并进行平滑，同时，对同一相机采集的不同图像帧中的障碍物进行匹配，实现同一障碍物的跨帧传播，使得后续计算出的障碍物关键点的三维位置在时序上达到连续变化的效果，缓解了障碍物在相机坐标系下的位置抖动或突变问题，提高了障碍物检测准确性和稳定性；再者，根据双目图像确定的深度信息以及单目图像确定的深度信息，计算对障碍物关键点的三维位置进行微调的微调系数，进一步提高了障碍物检测的准确性，防止障碍物与用户发生碰撞，进而提高用户安全。

【技术实现步骤摘要】

本申请涉及虚拟现实(virtual reality，vr)，提供一种虚拟现实场景中障碍物的预警方法及设备。

技术介绍

1、虚拟现实技术因能为用户提供身临其境般的沉浸式体验而深受用户的喜爱，特别是在游戏领域。用户佩戴vr设备时，与现实世界隔绝，因此，为保障用户在佩戴vr设备时能够安全地进行沉浸式体验，vr设备一般需要设置一个安全区域，一旦用户超出安全区域，vr设备会停止显示虚拟世界画面，转而开始显示现实世界的画面，防止意外发生。

2、实际应用中，用户在沉浸式体验时，现实世界环境复杂，在设置的安全区域时，通常无法识别安全区域内已存在的静态障碍物(如椅子、茶几等)，使得障碍物包含在安全区域内，这样，用户在安全区域内活动时存在与障碍物发生碰撞的危险。此外，用户在沉浸式体验时，由于视野完全被虚拟画面覆盖，无法感知闯入安全区域内的动态障碍物(如人、宠物等)，同样存在与障碍物发生碰撞的危险。

3、因此，在用户佩戴vr设备进行沉浸式体验时，对障碍物进行检测以及时预警是十分必要的。

技术实现思路

1、本本文档来自技高网...

【技术保护点】

1.一种障碍物预警方法，其特征在于，应用于包含双目相机的VR设备，包括：

2.如权利要求1所述的方法，其特征在于，所述二维位置信息至少包括所述障碍物关键点的2D坐标；

3.如权利要求1所述的方法，其特征在于，所述二维位置信息至少还包括所述障碍物的绝对尺度；

4.如权利要求1所述的方法，其特征在于，所述根据所述障碍物关键点与所述主相机间的深度信息，微调所述障碍物关键点的初始3D坐标，得到目标3D坐标，包括：

5.如权利要求4所述的方法，其特征在于，所述根据所述主相机采集的当前图像帧中所述障碍物关键点的目标2D坐标，确定所述障碍物关键点与所述主...

【技术特征摘要】

1.一种障碍物预警方法，其特征在于，应用于包含双目相机的vr设备，包括：

2.如权利要求1所述的方法，其特征在于，所述二维位置信息至少包括所述障碍物关键点的2d坐标；

3.如权利要求1所述的方法，其特征在于，所述二维位置信息至少还包括所述障碍物的绝对尺度；

4.如权利要求1所述的方法，其特征在于，所述根据所述障碍物关键点与所述主相机间的深度信息，微调所述障碍物关键点的初始3d坐标，得到目标3d坐标，包括：

5.如权利要求4所述的方法，其特征在于，所述根据所述主相机采集的当前图像帧中所述障碍物关键点的目标2d坐标，确定所述障碍物关键点与所述主相机间的第一深度信息，包括：

6.如权利要求4所述的方法，...

【专利技术属性】
技术研发人员：卢锦亮，曾杰，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：