一种显示设备及平面拟合方法技术

本申请示出一种显示设备及平面拟合方法。通过获取基于深度图像确定的锚点集合，锚点集合中包括多个符合预设条件的锚点；从锚点集合中任意选取至少三个点进行平面拟合，以获得多个拟合平面；从多个拟合平面中确定第一拟合平面和第一拟合平面的共面拟合平面；根据第一拟合平面和共面拟合平面确定第二拟合平面；对第二拟合平面执行区域增长算法，以获得目标拟合平面。该平面拟合方法通过锚点集合间接确定拟合平面，实质是将移动对象与待检测平面的接触点生成的锚点进行平面拟合以间接确定待检测平面，较于通过直接利用深度摄像机获取的深度图像确定待检测平面的方法，本申请能够使显示设备能够更加全面、准确的进行平面检测。准确的进行平面检测。准确的进行平面检测。

【技术实现步骤摘要】
一种显示设备及平面拟合方法


[0001]本申请涉及显示设备
，尤其涉及一种显示设备及平面拟合方法。

技术介绍

[0002]增强现实(Augmented Reality，AR)技术是一种将虚拟画面与真实场景相融合的技术。可以将生成的虚拟物体，如文字、图像、三维模型以及视频画面模拟仿真并应用在真实场景画面中，为用户带来虚拟画面与真实画面相结合的观影感受。
[0003]显示设备中常设置有AR应用，用于进行AR体感游戏或者AR室内设计。当进入AR应用后，AR应用首先要对真实场景画面进行平面检测用于确定地面位置信息以及墙壁位置信息等，例如，在AR体感游戏中，平面检测可用于玩家房间中的现实世界墙壁上描绘增强现实的图像，或者在AR室内设计中，平面检测可用于分辨地板与障碍物。
[0004]现有的AR应用常通过深度摄像机如飞行时间(Time of flight，TOF)深度摄像机、结构光(Structured
‑
light)深度摄像机以及双目深度摄像机直接对平面进行检测。然而，在部分场景中，例如家庭室内场景，地面常呈镜面反射，导致直接利用深度摄像机获取深度图像的地面位置信息不完整，不能全面准确的得到地面位置信息，因此，亟需提供一种使显示设备能够更加全面、准确的进行平面检测的方法。

技术实现思路

[0005]本申请提供一种显示设备及平面拟合方法，能够通过锚点集合间接确定拟合平面，实质是将移动对象与待检测平面的接触点生成的锚点进行平面拟合以间接确定待检测平面，较于通过深度摄像机直接确定待检测平面的方法，本申请能够使显示设备能够更加全面、准确的进行平面检测。
[0006]本申请提供一种显示设备，包括：显示器；图像采集装置，被配置为获取真实场景画面的深度图像；深度图像包括多个连续帧图像；控制器，被配置为：接收用户输入的用于进入增强现实应用的控制指令；响应于控制指令，获取基于深度图像确定的锚点集合，锚点集合中包括多个符合预设条件的锚点，预设条件用于确定移动对象与待检测平面的接触点；从锚点集合中任意选取至少三个点进行平面拟合，以获得多个拟合平面；从多个拟合平面中确定第一拟合平面和第一拟合平面的共面拟合平面；根据第一拟合平面和共面拟合平面确定第二拟合平面；对第二拟合平面执行区域增长算法，以获得目标拟合平面。
[0007]在本申请一些实施例中，控制器进一步被配置为：在获取基于深度图像确定的锚点集合的步骤中，获取深度图像的多个帧间差图像；帧间差图像根据深度图像中的相邻两帧图像获得；根据帧间差图像获取至少一个目标轮廓区域，目标轮廓区域包括质心和多个像素点，质心为所述目标区域的质量中心；选取目标轮廓区域中高度低于质心且与质心距离最远的像素点作为锚点；根据多个帧间差图像的所有锚点生成锚点集合，以通过锚点集合确定拟合平面。
[0008]在本申请一些实施例中，控制器进一步被配置为：在从多个拟合平面中确定第一
拟合平面和第一拟合平面的共面拟合平面的步骤中，获取多个拟合平面中所有拟合平面的法向量；将任意一个拟合平面的法向量与剩余所有拟合平面的法向量两两之间计算法向量的空间夹角值，以获得每个拟合平面与剩余所有拟合平面的空间夹角值；获取每个拟合平面与剩余所有拟合平面的空间夹角值小于第一角度的空间夹角数量，以确定空间夹角数量最多的拟合平面为第一拟合平面；从第一拟合平面的剩余拟合平面中选取与第一拟合平面的空间夹角值小于第一角度的拟合平面作为第一拟合平面的共面拟合平面。
[0009]在本申请一些实施例中，控制器进一步被配置为：在根据第一拟合平面和共面拟合平面确定第二拟合平面的步骤中，获取第一拟合平面和所述共面拟合平面上的所有锚点；对第一拟合平面和共面拟合平面上的所有锚点执行最小二乘法进行平面拟合，以获得第二拟合平面。
[0010]在本申请一些实施例中，控制器进一步被配置为：在对第二拟合平面执行区域增长算法的，以获得目标拟合平面的步骤中，获取深度图像中多个像素点；将与第二拟合平面的垂直距离小于第一距离的像素点加入第二拟合平面，以使第二拟合平面区域增长；当第二拟合平面区域增长结束后，获取第二拟合平面的所有锚点；将第二拟合平面区域执行最小二乘法，以获得目标平面区域。
[0011]在本申请一些实施例中，控制器还被配置为：在获得目标拟合平面的步骤后，清空目标平面区域中的所有锚点，将目标平面区域设置为验证状态；当目标平面区域处于验证状态时，获取验证点；验证点为深度图像中的像素点；判断验证点在目标平面区域内的比例是否大于或等于比例阈值。如果验证点在目标平面内的比例大于或等于比例阈值，则目标平面区域为最终平面区域；如果验证点在所述目标平面内的比例小于比例阈值，则重新获取目标平面区域。
[0012]在本申请一些实施例中，控制器进一步被配置为：在获取验证点的步骤中，将彩色图像中目标平面区域执行FAST特征点检测算法，以得到多个特征点；获取多个特征点在深度图像中对应的深度值；如果任意一个特征点在深度图像中对应的深度值不为0，则将特征点作为备选点；迭代多次从多帧彩色图像中获取多个备选点；通过获取备选点的BRIEF描述子，以确定备选点属性；匹配不同备选点属性，将多帧彩色图像之间变化最小的备选点确定为验证点。
[0013]在本申请一些实施例中，控制器进一步被配置为：在获取验证点的步骤中，当清空目标平面区域中的所有锚点后，重新获取深度图像中的锚点集合，以获得新的锚点集合；将新的锚点集合中的所有锚点确定为验证点。
[0014]在本申请一些实施例中，还提供一种平面拟合方法，包括：从深度图像中获取锚点集合，锚点集合中包括多个符合预设条件的锚点，预设条件用于确定移动对象与待检测平面的接触点；从锚点集合中任意选取至少三个点进行平面拟合，以获得多个拟合平面；从多个拟合平面中确定第一拟合平面和第一拟合平面的共面拟合平面；根据第一拟合平面和共面拟合平面确定第二拟合平面；对第二拟合平面执行区域增长算法，以获得目标拟合平面。
[0015]这样，该平面拟合方法通过锚点集合间接确定拟合平面，实质是将移动对象与待检测平面的接触点进行平面拟合以间接确定待检测平面，较于通过深度摄像机直接确定待检测平面的方法，本申请能够使显示设备能够更加全面、准确的进行平面检测。
附图说明
[0016]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图；
[0018]图2示出了根据一些实施例的控制装置100的配置框图；
[0019]图3示出了根据一些实施例的显示设备200的硬件配置框图；
[0020]图4示出了根据一些实施例的显示设备200的软件配置框图；
[0021]图5示出了根据一些实施例的显示设备200的应用图标控件界面显示示意图；
[0022]图6示出了根据一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显示设备，其特征在于，包括：显示器；图像采集装置，被配置为获取真实场景画面的深度图像；所述深度图像包括多个连续帧图像；控制器，被配置为：接收用户输入的用于进入增强现实应用的控制指令；响应于所述控制指令，获取基于所述深度图像确定的锚点集合，所述锚点集合中包括多个符合预设条件的锚点，所述预设条件用于确定移动对象与待检测平面的接触点；从所述锚点集合中任意选取至少三个点进行平面拟合，以获得多个拟合平面；从多个拟合平面中确定第一拟合平面和第一拟合平面的共面拟合平面；根据第一拟合平面和共面拟合平面确定第二拟合平面；对第二拟合平面执行区域增长算法，以获得目标拟合平面。2.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：在获取基于所述深度图像确定的锚点集合的步骤中，获取所述深度图像的多个帧间差图像；所述帧间差图像根据所述深度图像中的相邻两帧图像获得；根据所述帧间差图像获取至少一个目标轮廓区域，所述目标轮廓区域包括质心和多个像素点，所述质心为所述目标区域的质量中心；选取所述目标轮廓区域中高度低于所述质心且与所述质心距离最远的像素点作为锚点；根据多个所述帧间差图像的所有锚点生成锚点集合，以通过所述锚点集合确定拟合平面。3.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：在从多个拟合平面中确定第一拟合平面和第一拟合平面的共面拟合平面的步骤中，获取多个拟合平面中所有拟合平面的法向量；将任意一个拟合平面的法向量与剩余所有拟合平面的法向量两两之间计算法向量的空间夹角值，以获得每个拟合平面与剩余所有拟合平面的空间夹角值；获取每个拟合平面与剩余所有拟合平面的空间夹角值小于第一角度的空间夹角数量，以确定空间夹角数量最多的拟合平面为第一拟合平面；从第一拟合平面的剩余拟合平面中选取与第一拟合平面的空间夹角值小于第一角度的拟合平面作为第一拟合平面的共面拟合平面。4.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：在根据第一拟合平面和共面拟合平面确定第二拟合平面的步骤中，获取所述第一拟合平面和所述共面拟合平面上的所有锚点；对所述第一拟合平面和所述共面拟合平面上的所有锚点执行最小二乘法进行平面拟合，以获得第二拟合平面。5.根据权利要求1所述的显示设备，其特征在于，所述控制器进一步被配置为：在对第二拟合平面执行区域增长算法，以获得目标拟合平面的步骤中，获取所述深度图像中多个像素点；将与所述第二拟合平面的垂直距离小于第一距离的像素点加入第二拟合平面，以使第
二拟合平面区域增长；当所述第二拟合平面...

【专利技术属性】
技术研发人员：付廷杰，岳国华，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：