一种头戴设备及头戴设备中的平面检测方法技术

本申请提供了一种头戴设备及头戴设备中的平面检测方法。头戴设备佩戴于用户的头部，并根据用户头部转动的方向不断获取真实世界的场景图像检测场景中的平面，进而完成头戴设备中虚拟物体的渲染等。在平面检测的过程中，头戴设备可以针对相机拍摄的每帧图像观测的3D点云进行点云

【技术实现步骤摘要】
一种头戴设备及头戴设备中的平面检测方法


[0001]本申请涉及虚拟现实和增强现实
，尤其涉及一种头戴设备及头戴设备中的平面检测方法。

技术介绍

[0002]虚拟现实(Virtual Reality，VR)技术是通过计算机模拟虚拟环境，从而给人以环境沉浸感的显示技术。增强现实(Augmented Reality，AR)技术是将原本在真实世界一定时间空间范围内很难体验到的视觉、声音、味道触觉等实体信息通过电脑等科学技术模拟仿真，再应用到真实世界的显示技术。VR设备是一种应用虚拟现实技术为用户呈现虚拟画面的设备。AR设备则是一种应用增强现实技术为用户呈现虚实结合画面的设备。
[0003]平面检测对头戴设备的使用场景十分重要。例如，在AR设备的应用场景中，可以将虚拟物体放置在AR设备所检测到的真实世界的平面上。其中，虚拟物体是基于锚点放置的，而锚点放置需要通过点击AR设备渲染出的真实世界平面来完成。所以。AR设备中的平面检测的准确性会直接影响AR设备的虚拟物渲染效果。
[0004]目前，头戴设备中的平面检测方式多是基于点云进行的，而点云又是通过SLAM(Simultaneous Localization and Mapping,同步定位与建图)技术确定的。通过SLAM技术产生的点云地图上，都是一些稀疏的3D点，因为3D点数量有限，点云的精度难以保证，进而通过这些点云检测到的平面的精度也难以保证，进而容易造成检测到的平面与真实世界的平面有偏差，或者检测出多个平面。

技术实现思路

[0005]本申请提供了一种头戴设备及头戴设备中的平面检测方法，以解决的目前基于稀疏3D点的平面检测方法精度不高的问题。
[0006]第一方面，本申请提供了一种头戴设备，包括：相机，相机，被配置为拍摄头戴设备所处环境的图像；控制器，被配置为：获取对当前帧图像观测到的当前3D点云；利用当前3D点云更新已存在的点云列表，获得当前点云列表；根据点云
‑
平面映射关系，利用当前点云列表更新平面列表中的平面并剔除异常平面，获得第一平面列表；平面列表中保存了在每一次平面检测操作中获得的平面；利用当前3D点云进行平面检测，获得当前帧图像中的若干当前平面；利用当前帧图像中的所有当前平面更新第一平面列表。
[0007]本申请的头戴设备佩戴于用户的头部，并根据用户头部转动的方向不断获取真实世界的场景图像检测场景中的平面，进而完成头戴设备中虚拟物体的渲染等。在平面检测的过程中，头戴设备可以针对相机拍摄的每帧图像观测的3D点云进行平面
‑
点云列表的更新。再根据当前观测的3D点云检测出本次获得的平面，并将本次获得的平面与已经之前检测到的平面进行合并。经过多次的平面检测的合并与更新操作，本申请头戴设备中检测到的平面能更加准确，从而保证平面检测的精度，减少检测到的平面与真实世界平面之间的偏差，提高用户佩戴头戴设备的体验感。
[0008]在一些可实现方式中，所述控制器，还被配置为：获取所述当前3D点云中各个3D点的ID；确定所述ID在所述点云列表中是否存在；如果所述ID在所述点云列表中存在，则在所述点云列表中更新所述ID对应的3D点的位置信息；如果所述ID在所述点云中不存在，则将所述ID对应的3D点添加到所述点云列表中。
[0009]在一些可实现方式中，所述控制器，还被配置为：根据点云
‑
平面映射关系，利用所述当前点云列表中的3D点计算当前平面属性，以及，利用更新前的点云列表中的3D点计算历史平面属性；所述平面属性包括所述目标平面的平面方程、平面法向量和平面中心点；利用所述当前平面属性与所述历史平面属性计算点云列表对应的平面属性的变化值；当所述平面属性的变化值不满足预设条件时，在平面列表中剔除所述平面属性对应的平面，从而获得第一平面列表。
[0010]在一些可实现方式中，所述控制器，还被配置为：将当前观测到的3D点云与预设平面法向量进行点乘投影，并统计各个投影平面的投影点数量；如果所述投影平面的投影点数量超过预设数量，则将所述投影平面上的所有投影点确定为候选平面点群；在所述候选平面点群中剔除异常点，获得核心点集；利用所述核心点集计算出当前平面。
[0011]在一些可实现方式中，所述控制器，还被配置为：确定所述当前平面的当前法向量和所述第一平面列表中历史平面的历史法向量；计算所述历史法向量与所述当前法向量之间的法向量夹角；如果所述法向量夹角小于预设夹角阈值，则将所述当前平面与所述历史平面合并。
[0012]在一些可实现方式中，所述控制器，还被配置为：确定所述第一平面列表中历史平面的历史中心点；计算所述历史中心点到所述当前平面的距离；如果所述距离小于预设距离阈值，则将所述当前平面与所述历史平面合并。
[0013]在一些可实现方式中，所述控制器，还被配置为：确定所述当前平面与所述第一平面列表中历史平面的重合3D点数量所占所述历史平面上所有3D点的重合点数比重；如果所述重合点数比重大于预设比重阈值，则将所述当前平面与所述历史平面合并。
[0014]在一些可实现方式中，所述控制器，还被配置为：如果所有的历史法向量与所述当前法向量之间的所有法向量夹角均大于或者等于预设夹角阈值；或者，如果所有的历史中心点到所述当前平面的距离均大于或者等于预设距离阈值；或者，如果所有的历史平面与所述当前平面的重合点数量比重均小于或者等于预设比重阈值，则将所述当前平面添加到所述第一平面列表中。
[0015]第二方面，本申请还提供了一种头戴设备中的平面检测方法，包括：获取对当前帧图像观测到的当前3D点云；利用所述当前3D点云更新已存在的点云列表，获得当前点云列表；根据点云
‑
平面映射关系，利用所述当前点云列表更新平面列表中的平面并剔除异常平面，获得第一平面列表；所述平面列表中保存了在每一次平面检测操作中获得的平面；利用所述当前3D点云进行平面检测，获得当前帧图像中的若干当前平面；利用当前帧图像中的所有当前平面更新所述第一平面列表。
[0016]在一些可实现方式中，所述方法还包括：获取所述当前3D点云中各个3D点的ID；
[0017]确定所述ID在所述点云列表中是否存在；如果所述ID在所述点云列表中存在，则在所述点云列表中更新所述ID对应的3D点的位置信息；如果所述ID在所述点云中不存在，则将所述ID对应的3D点添加到所述点云列表中。
[0018]本申请第二方面中的头戴设备中的平面检测方法可以应用于第一方面的头戴设备中，并由头戴设备中的控制器具体实现，因此，第二方面中头戴设备中的平面检测方法的有益效果与第一方面中头戴设备的有益效果相同，此处不再赘述。
附图说明
[0019]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1示出了根据一些实施例的包括虚拟现实设备的显示系统结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头戴设备，其特征在于，包括：相机，被配置为拍摄头戴设备所处环境的图像；控制器，被配置为：获取对当前帧图像观测到的当前3D点云；利用所述当前3D点云更新已存在的点云列表，获得当前点云列表；根据点云
‑
平面映射关系，利用所述当前点云列表更新平面列表中的平面并剔除异常平面，获得第一平面列表；所述平面列表中保存了在每一次平面检测操作中获得的平面；利用所述当前3D点云进行平面检测，获得当前帧图像中的若干当前平面；利用当前帧图像中的所有当前平面更新所述第一平面列表。2.根据权利要求1所述的头戴设备，其特征在于，所述控制器，还被配置为：获取所述当前3D点云中各个3D点的ID；确定所述ID在所述点云列表中是否存在；如果所述ID在所述点云列表中存在，则在所述点云列表中更新所述ID对应的3D点的位置信息；如果所述ID在所述点云中不存在，则将所述ID对应的3D点添加到所述点云列表中。3.根据权利要求1所述的头戴设备，其特征在于，所述控制器，还被配置为：根据点云
‑
平面映射关系，利用所述当前点云列表中的3D点计算当前平面属性，以及，利用更新前的点云列表中的3D点计算历史平面属性；所述平面属性包括所述目标平面的平面方程、平面法向量和平面中心点；利用所述当前平面属性与所述历史平面属性计算点云列表对应的平面属性的变化值；当所述平面属性的变化值不满足预设条件时，在平面列表中剔除所述平面属性对应的平面，从而获得第一平面列表。4.根据权利要求1所述的头戴设备，其特征在于，所述控制器，还被配置为：将当前观测到的3D点云与预设平面法向量进行点乘投影，并统计各个投影平面的投影点数量；如果所述投影平面的投影点数量超过预设数量，则将所述投影平面上的所有投影点确定为候选平面点群；在所述候选平面点群中剔除异常点，获得核心点集；利用所述核心点集计算出当前平面。5.根据权利要求1所述的头戴设备，其特征在于，所述控制器，还被配置为：确定所述当前平面的当前法向量和所述第一平面列表中历史平面的历史法向量；计算所述历史法向...

【专利技术属性】
技术研发人员：曾杰，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：