一种多视图三维重建的方法技术

本申请实施例提供了一种多视图三维重建的方法，包括：根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。从而能够在无用户交互、无目标物体类别限制及无标定图案约束的前提下实现完整并且高效的多视图三维重建。完整并且高效的多视图三维重建。完整并且高效的多视图三维重建。

【技术实现步骤摘要】
一种多视图三维重建的方法


[0001]本申请实施例涉及计算机
，尤其涉及一种多视图三维重建的方法及装置。

技术介绍

[0002]多视图立体视觉(multi
‑
view stereo，MVS)旨在从一组经过标定的二维图像和估计的相机参数中恢复三维场景表面，广泛应于自动驾驶、增强现实、文物数字化呈现与保护、城市尺度的测量等领域。
[0003]现有技术中，三维重建过程中需要从被处理的图像中以各种形状勾勒出需要处理的区域，从而识别并提取出场景主体感兴趣区域(region of interest，ROI)。例如，借助用户交互确定输入图像序列上初始帧的兴趣区域；再例如，借助前景分割算法实现图像序列上前景兴趣区域的分割；再例如，借助场景中预置的标志图案实现兴趣区域的标记和提取。当前的多视图立体重建技术极大的启发了密集计算场景的研究，但一方面，当前的ROI提取技术容易出现错检、漏检等ROI不完整的问题，另一方面，基于特定标志或用户交互的方法不适合自动化或大批量重建的场景。此外，密集计算场景中，大量的计算发生在背景区域，背景区域的计算开销过大，影响三维重建的效率。
[0004]如何在无用户交互、无目标物体类别限制及无标定图案约束的前提下实现完整并且高效的多视图三维重建，成为业界亟需解决的问题。

技术实现思路

[0005]本申请实施例提供一种多视图三维重建的方法，能够在无用户交互、无目标物体类别限制及无标定图案约束的前提下实现完整并且高效的多视图三维重建。
[0006]第一方面，提供了一种多视图三维重建的方法，包括：根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进行环绕拍摄后进行去畸变的多幅图像，所述第一实例掩码包括所述第一图像序列中的目标物体的分割掩码和背景物体的分割掩码，所述第一三维点云包括所述第一图像序列中的目标物体的稀疏点云和背景物体的稀疏点云，所述位姿信息包括所述图像采集设备环绕所述目标物体拍摄时的参数信息，所述第二三维点云包括所述目标物体的稀疏点云；根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。
[0007]基于上述技术方案，在本申请的多视图三维重建场景中，基于图像采集设备的视轴先验信息，通过获取目标物体的3D ROI实现2D ROI的自动化提取，进一步实现目标物体的三维重建。从而能够避免ROI错检，漏检，不完整的问题，高效的实现完整的目标物体的多视图三维重建。
[0008]结合第一方面，在一种可能的实现方式中，所述根据目标物体的第一图像序列、第
一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，包括：根据所述位姿信息确定所述目标物体的3D球形模型；根据所述3D球形模型获取所述目标物体的2D圆形图像；根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码；根据所述第一三维点云和所述目标物体的分割掩码确定所述第二三维点云。
[0009]基于上述技术方案，在本申请中，基于图像采集设备的视轴信息确定3D球形模型，根据球形模型在2D视点图像的投影来移除背景掩码，从而能够避免ROI错检，漏检问题。
[0010]结合第一方面，在一种可能的实现方式中，使用最小二乘法根据所述位姿信息拟合出所述3D球形模型的球心和半径。
[0011]基于上述技术方案，在本申请中，基于最小二乘法根据图像采集设备的视轴信息拟合3D球形模型，确保3D球形模型的位置和轮廓的准确性。
[0012]结合第一方面，在一种可能的实现方式中，根据所述2D圆形图像和所述第一实例掩码的重叠情况来确定所述目标物体的分割掩码，包括：当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码；或者当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。
[0013]基于上述技术方案，在本申请中，基于3D球形模型的2D投影图像来移除背景掩码，确保目标物体的掩码的准确性，从而保证ROI的精确性和完整性，进一步的，减少背景区域的计算，从而可以有效提高重建效率。
[0014]结合第一方面，在一种可能的实现方式中，将所述第一三维点云投影至2D视图图像，根据所述2D视图图像与所述目标物体的分割掩码重叠的情况来确定所述第二三维点云，包括：所述第一三维点云的部分点云的2D视图图像与所述目标物体的分割掩码重叠，则确定所述重叠的所述第一三维点云的部分点云为所述第二三维点云，移除所述第一三维点云中剩余的未与所述目标物体的分割掩码重叠的点云。
[0015]基于上述技术方案，在本申请中，基于稀疏点云的2D投影图像来确定目标物体的3D点云，使得目标物体的3D点云更加精确，有利于ROI的完整提取，从而实现完整的目标物体的多视图三维重建。
[0016]结合第一方面，在一种可能的实现方式中，根据所述第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点；对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集；根据所述2D扩展点集获取所述目标物体的2D视图区域。
[0017]基于上述技术方案，在本申请中，基于2D凸包和边缘检测来实现2D点集的扩充，确保2D ROI的完整，从而实现完整的目标物体的多视图三维重建。
[0018]结合第一方面，在一种可能的实现方式中，所述图像采集设备环绕所述目标物体拍摄时的参数信息包括所述图像采集设备相对于所述目标物体运动时的自由度参数。
[0019]基于上述技术方案，在本申请中，基于图像采集设备的自由度参数来进行三维重建，能确保3DROI和2D ROI的准确性，从而实现完整的目标物体的多视图三维重建。
[0020]结合第一方面，在一种可能的实现方式中，所述图像采集设备包括多个。
[0021]第二方面，提供了一种多视图三维重建的装置，该装置包括：第一确定模块，用于根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进行环绕拍摄后进行去畸变的多幅图像，所述第一实例掩码包括所述第一图像序列中的目标物体的分割掩码和背景物体的分割掩码，所述第一三维点云包括所述第一图像序列中的目标物体的稀疏点云和背景物体的稀疏点云，所述位姿信息包括所述图像采集设备环绕所述目标物体拍摄时的参数信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视图三维重建的方法，其特征在于，包括：根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进行环绕拍摄后进行去畸变的多幅图像，所述第一实例掩码包括所述第一图像序列中的目标物体的分割掩码和背景物体的分割掩码，所述第一三维点云包括所述第一图像序列中的目标物体的稀疏点云和背景物体的稀疏点云，所述位姿信息包括所述图像采集设备环绕所述目标物体拍摄时的参数信息，所述第二三维点云包括所述目标物体的稀疏点云；根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。2.根据权利要求1所述的方法，其特征在于，所述根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，包括：根据所述位姿信息确定所述目标物体的3D球形模型；根据所述3D球形模型获取所述目标物体的2D圆形图像；根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码；根据所述第一三维点云和所述目标物体的分割掩码确定所述第二三维点云。3.根据权利要求2所述的方法，其特征在于，根据所述位姿信息确定所述目标物体的3D球形模型，包括：使用最小二乘法根据所述相机位姿信息拟合出所述3D球形模型的球心和半径。4.根据权利要求2所述的方法，其特征在于，根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码，包括：根据所述2D圆形图像和所述第一实例掩码的重叠情况来确定所述目标物体的分割掩码，包括：当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码；或者当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。5.根据权利要求2所述的方法，其特征在于，根据所述第一三维点云和所述目标物体的分割掩码确定第二三维点云，包括：将所述第一三维点云投影至2D视图图像，根据所述2D视图图像与所述目标物体的分割掩码重叠的情况来确定所述第二三维点云，包括：所述第一三维点云的部分点云的2D视图图像与所述目标物体的分割掩码重叠，则确定所述重叠的所述第一三维点云的部分点云为所述第二三维点云，移除所述第一三维点云中剩余的未与所述目标物体的分割掩码重叠的点云。6.根据权利要求1所述的方法，其特征在于，所述根据所述第二三维点云获取所述2D视图区域，包括：根据所述第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目
标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点；对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集；根据所述2D扩展点集获取所述目标物体的2D视图区域。7.根据权利要求1
‑
6项中任一项所述的方法，其特征在于，所述图像采集设备环绕所述目标物体拍摄时的参数信息包括所述图像采集设备相对于所述目标物体运动时的自由度参数。8.根据权利要求1
‑
7项中任一项所述的方法，其特征在于：所述图像采集设备包括多个。9.一种多视图三维重建的装置，其特征在于，包括：第一确定模块，用于根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进...

【专利技术属性】
技术研发人员：付明亮，董智超，周振坤，凌康，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：