三维建模方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种三维建模方法、装置、电子设备和存储介质。该方法包括：采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；获取测量装置在当前测量站点的当前定位信息；获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。本发明专利技术实施例的技术方案，基于多传感器信息融合技术，解决了基于单一传感器难以在复杂环境下实现精确且完整的三维建模的问题，实现了高效、精确且高鲁棒性的三维建模。精确且高鲁棒性的三维建模。精确且高鲁棒性的三维建模。

【技术实现步骤摘要】
三维建模方法、装置、电子设备和存储介质


[0001]本申请基于2019年11月19日在国内申请的中国专利201911135067.5要求优先权，其公开内容通过引用合并于此。
[0002]本专利技术实施例涉及三维建模
，尤其涉及一种三维建模方法、装置、电子设备和存储介质。

技术介绍

[0003]三维建模技术是智能体携带其传感器在运动过程中对自身进行定位，同时以合适的方式描述周围的环境并建立真实世界的三维模型。三维建模技术能够比传统的文字、图像和视频等方式更高效且直观地呈现信息；而且，在建筑工地等复杂环境下，相对于传统的GPS定位，三维建模技术可以在未知复杂环境中更好地实现环境感知、场景建模以及实时导航和定位。
[0004]目前，经典的三维建模技术按照传感器可以分为基于激光雷达的三维建模技术、基于深度传感器的三维建模技术和基于视觉传感器的三维建模技术等。其中，激光雷达的优点是数据精度较高且后期处理简单，缺点是因价格昂贵而无法广泛使用、因测量数据稀疏而对环境感知较少以及因测量距离有限而在空旷区域无法使用。深度传感器因能够实时通过红外结构光获得空间结构信息而有利于实时建立稠密的三维地图，但是，因其使用红外结构光而无法在光线充足的室外场景中实现定位建图。视觉传感器因基于图像内容获得空间结构信息而有利于在室内室外实现三维建模，但其三维成像的精度较低且建模能力严重依赖于环境的几何结构和纹理信息。综上可知，基于单一传感器的三维建模技术都存在些许不足，难以在复杂环境下实现精确的三维建模。

技术实现思路
r/>[0005]本专利技术实施例提供了一种三维建模方法、装置、电子设备和存储介质，以实现复杂环境下的精确的三维建模的效果。
[0006]第一方面，本专利技术实施例提供了一种三维建模方法，可以包括：
[0007]采集当前测量站点的第一三维点云数据和第二三维点云数据，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据；
[0008]获取测量装置在当前测量站点的当前定位信息，其中，测量装置包括不同类型的第一传感器和第二传感器，第一三维点云数据由第一传感器采集得到，第二三维点云数据由第二传感器采集得到；
[0009]获取与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。
[0010]本专利技术实施例的技术方案，通过不同类型的第一传感器和第二传感器，分别采集当前测量站点的第一三维点云数据和第二三维点云数据，并基于第一三维点云数据和第二
三维点云数据融合得到当前测量站点的当前三维点云数据；获取测量装置在当前测量站点的当前定位信息，以及与当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，由此，根据当前定位信息和相邻定位信息，可对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据。上述技术方案，基于多传感器信息融合技术，解决了基于单一传感器难以在复杂环境下实现精确且完整的三维建模的问题，达到了高效、精确且高鲁棒性的三维建模的效果。
[0011]可选的，根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行配准，得到三维建模数据，可以包括：
[0012]根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准；
[0013]对初始配准结果进行精确配准，得到三维建模数据。
[0014]本专利技术实施例的技术方案，通过根据当前定位信息和相邻定位信息，对当前三维点云数据和相邻三维点云数据进行初始配准，并对初始配准结果进行精确配准，得到三维建模数据，实现了三维点云数据的精确拼接和建模。
[0015]可选的，采集当前测量站点的第一三维点云数据，可以包括：
[0016]获取第一传感器在当前测量站点采集到的各个旋转角度上的RGB图像和深度图像，并根据第一传感器的内参分别求解各旋转角度上的深度图像在RGB图像对应处的第一三维坐标；
[0017]根据各第一三维坐标得到第一三维点云数据，其中，第一三维点云数据的第一坐标系的原点为第一传感器的光心的位置。
[0018]可选的，内参为第一传感器在x方向上的焦距f
x
和y方向上的焦距f
y
，以及RGB图像的中心像素坐标(c
x
,c
y
)，深度图像在(x
d
,y
d
)处对应的第一三维坐标为：
[0019][0020]其中，Depth(x
d
,y
d
)为深度图像在(x
d
,y
d
)处的像素值。
[0021]可选的，采集当前测量站点的第二三维点云数据，可以包括：
[0022]获取第二传感器在当前测量站点采集到的各个旋转角度上的第二三维坐标，并根据各第二三维坐标得到第二三维点云数据，其中，第二三维点云数据的第二坐标系的原点为第二传感器的光心的位置。
[0023]可选的，基于第一三维点云数据和第二三维点云数据融合得到当前测量站点的当前三维点云数据，可以包括：
[0024]根据预先标定的第一传感器和第二传感器间的外参，将第二三维点云数据转换到第一三维点云数据的第一坐标系中，并基于经坐标转换后的第二三维点云数据得到当前测量站点的当前三维点云数据，其中，外参是第二传感器相对于第一传感器的旋转矩阵和平移矢量。
[0025]可选的，将第二三维点云数据转换到第一三维点云数据的第一坐标系中，可以包括：
[0026]通过以下公式计算得出第二三维点云数据在第一三维点云数据的第一坐标系下的已转换三维坐标P＝(X
Depth
,Y
Depth
,Z
Depth
)：P＝R*Q+t，其中，Q＝(X
Lidar
,Y
Lidar
,Z
Lidar
)为第二三维点云数据在第二三维点云数据的第二坐标系下的未转换三维坐标，R为旋转矩阵，t为平移矢量。
[0027]可选的，基于经坐标转换后的第二三维点云数据得到当前测量站点的当前三维点云数据，可以包括：
[0028]将第一三维点云数据以及经坐标转换后的第二三维点云数据进行叠加，得到当前测量站点的当前三维点云数据。
[0029]本专利技术实施例的技术方案，通过将第二三维点云数据转换到第一三维点云数据的第一坐标系中，并将第一三维点云数据以及经坐标转换后的第二三维点云数据进行叠加，由此实现了当前测量站点的当前三维点云数据的测量。
[0030]可选的，获取测量装置在当前测量站点的当前定位信息，可以包括：
[0031]实时获取测量装置的位移信息和姿态信息，并融合位移信息和姿态信息，得到测量装置的实时位置；
[0032]获取测量装置在当前测量站点扫描到的当前平面结构图；根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维建模方法，其特征在于，包括：采集当前测量站点的第一三维点云数据和第二三维点云数据，基于所述第一三维点云数据和所述第二三维点云数据融合得到所述当前测量站点的当前三维点云数据；获取测量装置在所述当前测量站点的当前定位信息，其中，所述测量装置包括不同类型的第一传感器和第二传感器，所述第一三维点云数据由所述第一传感器采集得到，所述第二三维点云数据由所述第二传感器采集得到；获取与所述当前测量站点相邻的前一测量站点的相邻三维点云数据和相邻定位信息，并根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和所述相邻三维点云数据进行配准，得到三维建模数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和所述相邻三维点云数据进行配准，得到三维建模数据，包括：根据所述当前定位信息和所述相邻定位信息，对所述当前三维点云数据和所述相邻三维点云数据进行初始配准；对初始配准结果进行精确配准，得到三维建模数据。3.根据权利要求1所述的方法，其特征在于，所述采集当前测量站点的第一三维点云数据，包括：获取所述第一传感器在当前测量站点采集到的各个旋转角度上的RGB图像和深度图像，并根据所述第一传感器的内参分别求解各所述旋转角度上的所述深度图像在所述RGB图像对应处的第一三维坐标；根据各所述第一三维坐标得到第一三维点云数据，其中，所述第一三维点云数据的第一坐标系的原点为所述第一传感器的光心的位置。4.根据权利要求3所述的方法，其特征在于，所述内参为所述第一传感器在x方向上的焦距f
x
和y方向上的焦距f
y
，以及所述RGB图像的中心像素坐标(c
x
，c
y
)，所述深度图像在(x
d
，y
d
)处对应的所述第一三维坐标为：其中，Depth(x
d
，y
d
)为所述深度图像在(x
d
，y
d
)处的像素值。5.根据权利要求1所述的方法，其特征在于，所述采集当前测量站点的第二三维点云数据，包括：获取所述第二传感器在当前测量站点采集到的各个旋转角度上的第二三维坐标，并根据各所述第二三维坐标得到第二三维点云数据，其中，所述第二三维点云数据的第二坐标系的原点为所述第二传感器的光心的位置。6.根据权利要求1所述的方法，其特征在于，所述基于所述第一三维点云数据和所述第二三维点云数据融合得到所述当前测量站点的当前三维点云数据，包括：根据预先标定的所述第一传感器和所述第二传感器间的外参，将所述第二三维点云数据转换到所述第一三维点云数据的第一坐标系中，并基于经坐标转换后的所述第二三维点
云数据得到所述当前测量站点的当前三维点云数据，其中，所述外参是所述第二传感器相对于所述第一传感器的旋转矩阵和平移矢量。7.根据权利要求6所述的方法，其特征在于，所述将所述第二三维点云数据转换到所述第一三维点云数据的第一坐标系中，包括：通过以下公式计算得出所述第二三维点云数据在所述第一三维点云数据的第一坐标系下的已转换三维坐标P＝(X
Depth
，Y
Depth
，Z
Depth
)：P＝R*Q+t，其中，Q＝(X
Lidar
，Y
Lidar
，Z
Lidar
)为所述第二三维点云数据在所述第二三维点云数据的第二坐标系下的未转换三维坐标，R为所述旋转矩阵，t为所述平移矢量。8.根据权利要求6所述的方法，其特征在于，所述基于经坐标转换后的所述第二三维点云数据得到所述当前测量站点的当前三维点云数据，包括：将所述第一三维点云数据以及经坐标转换后的所述第二三维点云数据进行叠加，得到所述当前测量站点的当前三维点云数据。9.根据权利要求1所述的方法，其特征在于，所述获取测量装置在所述当前测量站点的当前定位信息，包括：实时获取所述测量装置的位移信息和姿态信息，并融合所述位移信息和所述姿态信息，得到所述测量装置的实时位置；获取所述测量装置在所述当前测量站点扫描到的当前平面结构图；根据所述实时位置和所述当前平面结构图，得到所述测量装置在所述当前测量站点的当前定位信息。10.根据权利要求9...

【专利技术属性】
技术研发人员：赵键，陈刚，刘波，
申请(专利权)人：广东博智林机器人有限公司，
类型：发明
国别省市：