一种基于点云与图像数据的实时融合方法及装置制造方法及图纸

本发明专利技术公开了一种基于点云与图像数据的实时融合方法及装置，使用点云与图像设备采集得到标定板的点云数据与图像数据，再通过拟合算法，拟合出标定板交点一一对应的点云坐标与像素坐标，最后根据旋转矩阵为正交矩阵的约束条件，使用最小二乘法优化方法，得到点云数据与图像数据的关系J，然后对每帧点云与图像数据进行实时融合处理，通过点云数据与图像数据的关系J，准确对每帧点云进行赋色，对每帧点云进行至同一真实物理空间坐标系中。本发明专利技术从时间维度出发，将点云数据与图像数据进行帧级融合，不需要后期的处理，大大缩短传统的点云与图像数据融合处理时间，实现了点云与图像数据的实时融合，提高了融合处理效率。提高了融合处理效率。提高了融合处理效率。

【技术实现步骤摘要】
一种基于点云与图像数据的实时融合方法及装置


[0001]本专利技术涉及实景三维重建领域，特别涉及一种基于点云与图像数据的实时融合方法及装置。

技术介绍

[0002]近几年随着智慧城市创新概念、智能制造发展规划的提出，各个领域在技术创新上起到了积极的推动作用。在智慧城市、智能制造的概念中，都包含了人们对周围环境数字化3D建设的需求。数字化3D建设的基本数据源为点云与图像。
[0003]点云与图像两种数据可被认为是对周围环境感知的两种基础数据源，此时两种数据在各自属性上是互补的，图像可以对外界的彩色信息进行采集，点云可对外界的距离信息进行感知，那么点云与图像的融合处理即可完成对周围环境的很多信息的感知，如距离、大小、颜色等。
[0004]点云与图像融合处理应用领域，如测量测绘领域中，点云与图像数据的融合往往位于后处理阶段，即在外作业时将点云数据与图像数据分布存储，之后处理过程中先将图像拼接，再将2D拼接图像与3D点云数据进行配准，完成整个点云与图像数据的融合处理。在整个融合过程中，具有花费时间长、效率低等不足。
[0005]随着人们对周围环境数字化3D建设需求的递增，点云与图像的实时融合处理技术必将成为趋势。点云与图像的实时融合处理技术科广泛应用于室内外3D建模、机器人SLAM、智慧城市3D建设、林业普查、电力巡线等领域，可实现周围场景的快速三维信息提取。

技术实现思路

[0006]本专利技术提出了一种基于点云与图像数据的实时融合方法及装置，以解决周围场景三维信息提取过程中存在的花费时间长、效率低的问题。
[0007]为了解决上述技术问题，本专利技术的技术方案为：
[0008]一种基于点云与图像数据的实时融合方法，包括以下步骤：
[0009]S1，使用一固定装置固定采集点云与图像数据的两种设备，两种设备的相对位置保持不动；
[0010]S2，采集标定板的点云与图像数据；
[0011]S3，标定板点云数据使用拟合方法求得交点点云坐标，标定板图像数据使用测量拟合的方法求得交点像素坐标；
[0012]S4，求得点云与图像数据的关系J；
[0013]S5，进入点云数据和图像数据的实时融合，首先使用点云与图像设备同时采集一帧点云与图像数据；
[0014]S6，将第一帧点云数据P1通过点云与图像数据的关系J，求得P1所对应的图像数据Pl1；
[0015]S7，将第一帧点云数据P1所对应的图像数据Pl1进行条件判断，若Pl1在图像像素
空间内，则可求得对应点云数据P1所对应的RGB值，这部分点云计为P1C；若Pl1不在图像像素空间内，将对应点云数据P1赋予一种区分色，这部分点云记录为P1O；
[0016]S8，将点云数据统一至同一真实物理空间坐标系下；
[0017]S9，移动固定装置，继续采集下一帧数据，重复步骤S5至S8，直至完成周围场景的三维信息提取。
[0018]优选的，步骤S1中：采集点云与图像数据的两种设备为激光雷达和相机。
[0019]优选的，步骤S2中：标定板为内部有四个方形镂空的方形框，整体形状上下左右对称。
[0020]优选的，步骤S3中：标定板点云求得交点方法为，先将点云数据除去噪点，再将点云数据使用RANSAC算法拟合一平面，将原始点云投影至平面，拟合出标定板的六条框线，再求六条框线的交点，得到交点点云坐标；标定板图像数据求得交点的方法为，使用测量拟合方法求得每条框线的两点像素坐标，进而可求得每条框线的像素方程，最后求得六条框线的交点，即可得到交点的像素坐标。
[0021]优选的，交点点云与图像坐标一一对应，交点数量≥4。
[0022]优选的，步骤S4包括以下步骤：
[0023]在图像的相机模型成像原理中，像素平面坐标系、像平面坐标系、相机坐标系和世界坐标系的数学表达式为，
[0024][0025]u、v为像素坐标；Z
c
为相机坐标下的光轴距离；f
u
、f
v
分别为水平和垂直方向上的有效焦距长度；u0、v0均为中心点位置坐标；R、T分别为采集点云与图像设备之间的相对位置关系，R为旋转矩阵，T为平移矩阵；x
w
、y
w
、z
w
为世界坐标系下的坐标；
[0026]将采集点云设备的坐标系设定为世界坐标系，则点云与图像数据的关系s.t为，
[0027]PI＝J(R，T，P)
[0028]PI为图像数据的像素坐标，P为点云坐标；
[0029]根据步骤S3中的交点点云坐标与图像坐标，并以旋转矩阵R为正交矩阵的约束条件，使用最小二乘法求得到点云数据与图像数据的关系J。
[0030]本专利技术还公开了一种基于点云与图像数据的实时融合装置，实施以上任一项所述的实时融合方法，其包括固定装置和采集点云与图像数据的两种设备。
[0031]与现有技术相比，本专利技术的有益效果是：
[0032]采用标定板，使用点云与图像设备采集得到标定板的点云数据与图像数据，再通过拟合算法，拟合出标定板交点一一对应的点云坐标与像素坐标，最后根据旋转矩阵为正交矩阵的约束条件，使用最小二乘法优化方法，得到点云数据与图像数据的关系J，完成了点云数据与图像数据之间的准确标定，标定精度在3像素以内；
[0033]在点云与图像实时融合过程中，对每帧点云与图像数据进行实时融合处理，通过点云数据与图像数据的关系J，准确对每帧点云进行赋色，具有很好的实时性；
[0034]对每帧点云进行统一至同一真实物理空间坐标系，当数据采集完成后，整个三维
空间数据即已生成，不需要进行对原始点云数据再进行坐标转换的后处理，本专利技术将此工作提前，提高了周围场景的三维信息提取的效率。
附图说明
[0035]图1为本专利技术一种基于点云与图像数据的实时融合方法的流程图；
[0036]图2为本专利技术一种基于点云与图像数据的实时融合装置的结构图。
[0037]图3为本专利技术一实施例中标定板的实体图；
[0038]图4为本专利技术一实施例中标定板的点云数据的示意图；
[0039]图5为本专利技术一实施例中标定板的图像数据的示意图；
[0040]图6为本专利技术一实施例中点云与图像数据实时融合的效果图；
[0041]图7为图6中的局部放大图。
具体实施方式
[0042]下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
[0043]实施例1
[0044]参考图1，一种基于点云与图像数据的实时融合方法，包括以下步骤：
[0045]S1，使用一固定装置1固定采集点云与图像数据的两种设备，两种设备的相对位置保持不动，见图2；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云与图像数据的实时融合方法，其特征在于，包括以下步骤：S1，使用一固定装置固定采集点云与图像数据的两种设备，两种设备的相对位置保持不动；S2，采集标定板的点云与图像数据；S3，标定板点云数据使用拟合方法求得交点点云坐标，标定板图像数据使用测量拟合的方法求得交点像素坐标；S4，求得点云与图像数据的关系J；S5，进入点云数据和图像数据的实时融合，首先使用点云与图像设备同时采集一帧点云与图像数据；S6，将第一帧点云数据P1通过点云与图像数据的关系J，求得P1所对应的图像数据Pl1；S7，将第一帧点云数据P1所对应的图像数据Pl1进行条件判断，若Pl1在图像像素空间内，则可求得对应点云数据P1所对应的RGB值，这部分点云计为P1C；若Pl1不在图像像素空间内，将对应点云数据P1赋予一种区分色，这部分点云记录为P1O；S8，将点云数据统一至同一真实物理空间坐标系下；S9，移动固定装置，继续采集下一帧数据，重复步骤S5至S8，直至完成周围场景的三维信息提取。2.根据权利要求1所述的一种基于点云与图像数据的实时融合方法，其特征在于，步骤S1中：采集点云与图像数据的两种设备为激光雷达和相机。3.根据权利要求1所述的一种基于点云与图像数据的实时融合方法，其特征在于，步骤S2中：标定板为内部有四个方形镂空的方形框，整体形状上下左右对称。4.根据权利要求1所述的一种基于点云与图像数据的实时融合方法，其特征在于，步骤S3中：标定板点云求得交点方法为，先将点云数据除去噪点，再将点云数据使用RANSAC算法拟合一平面，将原始点云投影至平面，拟合出标定板...

【专利技术属性】
技术研发人员：陈方圆，余崇圣，董子乐，李梦，
申请(专利权)人：重庆知至科技有限公司，
类型：发明
国别省市：