基于深度视频的空间平面检测方法及其系统和电子设备技术方案

一种基于深度视频的空间平面检测方法及其系统和电子设备。该基于深度视频的空间平面检测方法括步骤：对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。围。围。

【技术实现步骤摘要】
基于深度视频的空间平面检测方法及其系统和电子设备


[0001]本专利技术涉及AR
，尤其是涉及基于深度视频的空间平面检测方法及其系统和电子设备。

技术介绍

[0002]在增强现实(Augmented Reality，简称AR)的应用场景中，往往需要在空间平面(即拍摄场景中的真实平面对象)上放置虚拟对象，以用于与用户交互。此外，对于日常三维场景，平面作为物品或对象的主要构成部分或形态，即平面是日常三维场景中常见的特征，可用于场景、对象识别等图像处理算法，以提高算法准确度和速度，例如，在SLAM算法中，可以将平面作为特征，提高位姿估计的效率。因此，为了获取空间平面的平面信息，现有技术中的平面检测方法按照图像信息的格式不同被分为两类：一类是基于RGB图像的平面检测方法，另一类是基于深度图的平面检测方法。
[0003]然而，该基于RGB图像的平面检测方法通常是通过提取RGB图像中的关键点，并计算关键点的空间位置以拟合出平面。但关键点的提取往往是基于纹理进行的，无法获取无纹理平面(如纯色的桌子和墙面等)的信息，容易出现漏检的情况。此外，由于关键点的数量一般较少，因此对于存在多个平面的场景，拟合算法将无法区分多个平面，容易出现拟合出一个错误平面的情况。
[0004]该基于深度图的平面检测方法按照实现方式又可以分为迭代拟合方法、霍夫变换方法以及聚类方法，其中该迭代拟合方法和该霍夫变换方法虽然实现方式不同，但结果类似，都是现在全部点中拟合一个平面。相比于基于RGB图像的平面检测方法，该迭代拟合方法和该霍夫变换方法却存在类似的问题，即当存在多个平面时，仍容易出现将不属于同一平面的点拟合在一个平面上，出现误检的问题。例如，在由水平桌面和垂直墙面构成的场景中，两者间隔较近，这样在拟合桌面时会将墙面与其所在平面交线上的点包含在内，虽然平面方程是正确的，但平面中心和范围仍会出错。而现有的聚类方法的运算量巨大，不能输出平面范围，导致该现有的聚类方法无法直接应用于AR设备中。
[0005]特别地，现有技术中的上述平面检测方法都是基于单帧图像的检测，在同一个场景下的检测结果会受到移动的影响。例如，角度变化出现遮挡会导致前几帧存在的平面突然消失或面积较少，进而造成平面在时域上漏检或不完整。

技术实现思路

[0006]本专利技术的一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其能够在移动或遮挡变化的过程中，确保检测结果的稳定、完整。
[0007]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度视频的空间平面检测方法能够对帧间平面进行融合，使得视频中的结果更稳定和完整。
[0008]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电
子设备，其中，在本专利技术的一实施例中，所述基于深度视频的空间平面检测方法能够给出平面的中心点、指向以及范围，以便被直接应用于AR场景。
[0009]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度视频的空间平面检测方法增加了间隔平面的合并，有助于保证空间平面检测的完整性。
[0010]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度视频的空间平面检测方法能够以块为基本单位进行检测，有助于大幅地减少运算量，提高检测速度，以便满足AR场景对实时性的要求。
[0011]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度视频的空间平面检测方法不需要提取关键点，极大地避免了漏检问题。
[0012]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度视频的空间平面检测方法能够在聚类前剔除了无效节点，避免了多平面检测的干扰，极大地避免了误检问题。
[0013]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中，在本专利技术的一实施例中，所述基于深度视频的空间平面检测方法能够避免因遮挡而造成的一个平面被分割成多块的问题。
[0014]本专利技术的另一优势在于提供一基于深度视频的空间平面检测方法及其系统和电子设备，其中为了达到上述优势，在本专利技术中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本专利技术成功和有效地提供一解决方案，不只提供一基于深度视频的空间平面检测方法及其系统和电子设备，同时还增加了所述基于深度视频的空间平面检测方法及其系统和电子设备的实用性和可靠性。
[0015]为了实现上述至少一优势或其他优势和目的，本专利技术提供了基于深度视频的空间平面检测方法，包括步骤：
[0016]对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；
[0017]对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；
[0018]对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及
[0019]根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。
[0020]在本专利技术的一实施例中，所述对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据的步骤，包括步骤：
[0021]获取经由检测相机采集的该深度视频，其中该深度视频包括连续的多帧深度图序列；和
[0022]根据该检测相机的内参，通过坐标转换模型对该深度视频中该当前帧的该深度图进行转换，以得到该当前帧的该点云数据。
[0023]在本专利技术的一实施例中，所述对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据的步骤，包括步骤：
[0024]对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点；和
[0025]根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面。
[0026]在本专利技术的一实施例中，所述对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点的步骤，包括步骤：
[0027]将该当前帧的该深度图均匀地分成若干图像块；
[0028]检测该图像块中像素点的深度值，剔除存在深度值为0或不存在的图像块，以得到有效图像块；
[0029]检测该有效图像块中相邻的像素点之间的深度连续性，剔除存在深度连续性小于预定连续阈值的图像块，以得到连续图像块；以及
[0030]通过对与该连续图像块对应的点云数据进行平面拟合，获得拟合平面的法向量、中心点坐标以及均方误差，以将均方误差小于预定误差阈值的该连续图像块作为该当前帧的该有效节点。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度视频的空间平面检测方法，其特征在于，包括步骤：对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据；对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据；对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据；以及根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围。2.如权利要求1所述的基于深度视频的空间平面检测方法，其中，所述对深度视频中当前帧的深度图进行预处理，以得到该当前帧的点云数据的步骤，包括步骤：获取经由检测相机采集的该深度视频，其中该深度视频包括连续的多帧深度图序列；和根据该检测相机的内参，通过坐标转换模型对该深度视频中该当前帧的该深度图进行转换，以得到该当前帧的该点云数据。3.如权利要求2所述的基于深度视频的空间平面检测方法，其中，所述对该当前帧的该深度图和该点云数据进行层次聚类处理，以获得该当前帧的粗平面数据的步骤，包括步骤：对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点；和根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面。4.如权利要求3所述的基于深度视频的空间平面检测方法，其中，所述对该深度图和该点云数据进行节点初始化，以获得该当前帧的有效节点的步骤，包括步骤：将该当前帧的该深度图均匀地分成若干图像块；检测该图像块中像素点的深度值，剔除存在深度值为0或不存在的图像块，以得到有效图像块；检测该有效图像块中相邻的像素点之间的深度连续性，剔除存在深度连续性小于预定连续阈值的图像块，以得到连续图像块；以及通过对与该连续图像块对应的点云数据进行平面拟合，获得拟合平面的法向量、中心点坐标以及均方误差，以将均方误差小于预定误差阈值的该连续图像块作为该当前帧的该有效节点。5.如权利要求4所述的基于深度视频的空间平面检测方法，其中，所述根据在该深度图像上位置相邻的该有效节点之间法向量的相似度，迭代地合并以输出迭代后的节点作为该当前帧的粗平面的步骤，包括步骤：根据该有效节点在该深度图上的二维空间位置，以该有效节点为中心，分别比较上、下、左、右四个相邻节点与该有效节点之间法向量的相似度，如果相似度大于预定相似度阈值，则将相应的该相邻节点作为邻近节点；将该有效节点与该邻近节点分别合并，以作为候选节点；选择均方误差最小且小于预定合并阈值的该候选节点作为新的有效节点，以进行迭代地合并；以及
当迭代次数达到预定最大次数时，判断最终的有效节点中所包含的节点数是否大于预定点数阈值，如果是，则输出该最终的有效节点以作为该当前帧的该粗平面。6.如权利要求5所述的基于深度视频的空间平面检测方法，其中，所述对该当前帧的该粗平面数据进行帧内合并处理，以得到该当前帧的检测平面数据的步骤，包括步骤：通过对该粗平面数据进行凸包处理，确定该当前帧的该粗平面的范围；和通过同一平面判断模型，判断该当前帧中是否存在处于同一平面的粗平面，如果存在，则合并该处于同一平面的粗平面，以将合并后的粗平面作为该当前帧的检测平面；如果不存在，则将该粗平面分别作为该当前帧的检测平面。7.如权利要求6所述的基于深度视频的空间平面检测方法，其中，所述根据该深度视频中历史帧的历史输出平面数据，对该当前帧的该检测平面数据进行帧间合并处理，以得到当前输出平面数据，其中该当前输出平面数据包括在当前输出平面上的中心点坐标、法向量以及平面范围的步骤，包括步骤：根据该检测相机的当前位姿，对该当前帧的该检测平面数据进行配准处理，以获得该当前帧的该检测平面在世界坐标系下的数据；在该世界坐标系下，判断该当前帧的该检测平面与该历史帧的历史输出平面之间的法向量是否相似；如果相似，在相机坐标系下，判断该检测平面与该历史输出平面是否重合；如果不相似，则将该检测平面作为该当前输...

【专利技术属性】
技术研发人员：李柯蒙，田文军，蒋坤君，胡增新，
申请(专利权)人：舜宇光学浙江研究院有限公司，
类型：发明
国别省市：