融合点云和图像的交互式三维测距算法制造技术

本发明专利技术公开了一种融合点云和图像的交互式三维测距算法，它基于激光雷达扫描获得的三维点云数据和拍摄对应的二维图像数据实现三维测距，包括以下步骤：S1、电线数据分割标注，二维

【技术实现步骤摘要】
融合点云和图像的交互式三维测距算法


[0001]本专利技术属于视觉定位领域，尤其是一种电网背景下的融合点云和图像的交互式三维测距算法。

技术介绍

[0002]为了对接近户外电网的危险移动物体提出警告，需要获取场景中物体的高度信息。在行业中，常使用人工的方式肉眼估计场景中移动物体的高度来检测威胁。但是，这种方式需要消耗大量的人力资源，且人工检测难以适应多场景下的预警工作。因此，实现场景中物体高度的自动检测成为经济有效的解决办法。
[0003]实现场景中的物体高度的自动检测，本质上是通过两个像素间的距离获取其在点云中的实际距离。其实现思路有以下两种：第一种方法是基于深度估计来实现高度检测。其本质是估计二维图片像素的深度信息，直接获取其三维坐标来计算真实距离。但是，这种思路容易受到场景遮挡物的影响。第二种方法则是基于像素
‑
三维点密集对应的方法。这种方法同时需要图片和预先建立的场景点云，通过获取图片和点云之间的投影关系对应来获取像素的三维信息来计算高度。这种方法由于使用了预先建立的点云，所以可以规避场景遮挡物的问题。因此，本文解决三维测距问题的方法是通过视觉定位与相机投影获取从点到像素的密集对应。目前，在尚未找到同时使用图像和场景点云实现场景中物体高度测量的方法和系统。
[0004]结合上述描述的解决方案，存在如下缺点和不足：
[0005]1)由于利用的是已经架设好的单目摄像头，其内参数难以获取。
[0006]2)计算点云到图像的投影时，由于点云的稀疏性、误差、舍入等问题，会出现不存在对应3D点的像素(成为空像素)，对测距过程造成影响。

技术实现思路

[0007]为了解决前述问题：难以确定内参数；空像素。本专利技术提供了一种点云和图像融合的交互式三维测距流程和方法，解决上述存在的几个问题。
[0008]技术方案：
[0009]本专利技术首先公开了一种融合点云和图像的交互式三维测距算法，它基于激光雷达扫描获得的三维点云数据和拍摄对应的二维图像数据实现三维测距，具体包括以下步骤：
[0010]S1、电线数据分割标注，二维
‑
三维点对数据匹配标注，获得带标注的场景数据；
[0011]S2、初始位姿计算；
[0012]S3、判断初始位姿是否满足要求，即步骤S1中的二维
‑
三维点对是否已经重合，是则进行S4；否则进行位姿手动对齐后进行S4；
[0013]S4、点云像素预处理；
[0014]S5、三维测距。
[0015]优选的，所述S1中，电线数据分割标注具体包括以下步骤：
[0016]S1
‑1‑
1、导入三维点云数据至软件CloudCompare，标注点云数据的电线数据区域；
[0017]S1
‑1‑
2、分割标注的电线数据；
[0018]S1
‑1‑
3、判断是否全部标注，是则进行S1
‑1‑
4，否则返回S1
‑1‑
2；
[0019]S1
‑1‑
4、电线数据添加label；
[0020]S1
‑1‑
5、导出电线点云数据；
[0021]S1
‑1‑
6、合并电线与三维点云数据获得带标注的场景数据。
[0022]优选的，所述S1中，二维
‑
三维点对数据匹配标注具体包括：
[0023]S1
‑2‑
1、选取与带标注的场景数据对应的二维图像数据；
[0024]S1
‑2‑
2、对二维图像数据中关键二维点标注；对带标注的场景数据中的对应点对照标注；
[0025]S1
‑2‑
3、判断是否全部标注，是则进行S1
‑2‑
4，否则返回步骤S1
‑2‑
2；
[0026]S1
‑2‑
4、将标注好二维
‑
三维点对数据保存。
[0027]优选的，所述S2中初始位姿计算采用优化算法，具体包括：
[0028]S2
‑
1、根据全局搜索求解相机内参，得到相机内参初始值为[α、β、γ、u0、v0、k1、k2、k3、p1、p2]，结合PNP方法求解相机外参旋转矩阵R和平移矩阵t，根据得到的内参初始值，随机生成D个不同的粒子，并初始化粒子的位置和速度；
[0029]S2
‑
2、计算每个粒子的适应度值，并将每个粒子的当前位置作为个体最优位置，将其对应的适应度值作为当前粒子的个体最优值；同时，对所有粒子的适应度值取最小值，作为全局最优值，并将其对应的粒子位置作为全局最优位置；
[0030]S2
‑
3、将每个粒子当前的适应度值与其个体最优值进行比较，若小于个体最优值，则将当前适应度值和对应的粒子位置作为该粒子更新后的个体最优值；计算所有粒子个体最优值的最小值，并与全局最优值进行比较，若小于全局最优值，则更新全局最优值；
[0031]S2
‑
4、判断算法是否达到迭代完成条件，若未完成，返回执行；若完成，算法执行结束，输出结果，将结果保存为位姿文件。
[0032]优选的，所述S3中，位姿手动对齐的步骤为：
[0033]S3
‑
1、根据计算得到的相机外参和内参，准备参数的文件；同时，准备带标注的场景数据文件与背景图片文件；
[0034]S3
‑
2、程序读去相机内参，外参，带标注的场景数据和背景图片，在可视化窗口中显示带标注的场景数据作为前景、图片作为背景；
[0035]S3
‑
3、用户通过鼠标和键盘交互式的调整带标注的场景数据，直到带标注的场景数据和作为背景图片重合；
[0036]S3
‑
4、当带标注的场景数据和背景图片重合后，输出MVP矩阵，替换步骤S2生成的位姿文件。
[0037]优选的，所述S4中，点云像素预处理具体包括以下步骤：
[0038]S4
‑
1、读取带标注的场景数据，位姿和图像分辨率信息文件；其中带标注的场景数据是通过步骤S1
‑
1获得，位姿文件通过步骤S2和S3获得，图像分辨率是二维图像的自带信息；
[0039]S4
‑
2、计算像素与点云的对应匹配；
[0040]S4
‑2‑
1、投影匹配：将点云根据位姿信息投影到图像上，对每个点云投影到的像素
点，将该像素点的点云匹配信息同样赋值给周围临近像素点，扩充匹配范围；
[0041]S4
‑2‑
2、按行填充插值：按行遍历图像每个像素点，对于每一行像素，当像素之间无对应像素小于阈值，则插值填充；插值方法使用两端非空像素对应的点云密集采样，再将采样投影到无对应图像像素上，完成插值；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合点云和图像的交互式三维测距算法，其特征在于它基于激光雷达扫描获得的三维点云数据和拍摄对应的二维图像数据实现三维测距，具体包括以下步骤：S1、电线数据分割标注，二维
‑
三维点对数据匹配标注，获得带标注的场景数据；S2、初始位姿计算；S3、判断初始位姿是否满足要求，即步骤S1中的二维
‑
三维点对是否已经重合，是则进行S4；否则进行位姿手动对齐后进行S4；S4、点云像素预处理；S5、三维测距。2.根据权利要求1所述的算法，其特征在于所述S1中，电线数据分割标注具体包括以下步骤：S1
‑1‑
1、导入三维点云数据至软件CloudCompare，标注点云数据的电线数据区域；S1
‑1‑
2、分割标注的电线数据；S1
‑1‑
3、判断是否全部标注，是则进行S1
‑1‑
4，否则返回S1
‑1‑
2；S1
‑1‑
4、电线数据添加label；S1
‑1‑
5、导出电线点云数据；S1
‑1‑
6、合并电线与三维点云数据获得带标注的场景数据。3.根据权利要求1所述的算法，其特征在于所述S1中，二维
‑
三维点对数据匹配标注具体包括：S1
‑2‑
1、选取与带标注的场景数据对应的二维图像数据；S1
‑2‑
2、对二维图像数据中关键二维点标注；对带标注的场景数据中的对应点对照标注；S1
‑2‑
3、判断是否全部标注，是则进行S1
‑2‑
4，否则返回步骤S1
‑2‑
2；S1
‑2‑
4、将标注好二维
‑
三维点对数据保存。4.根据权利要求1所述的算法，其特征在于所述S2中初始位姿计算采用优化算法，具体包括：S2
‑
1、根据全局搜索求解相机内参，得到相机内参初始值为[α、β、γ、u0、v0、k1、k2、k3、p1、p2]，结合PNP方法求解相机外参旋转矩阵R和平移矩阵t，根据得到的内参初始值，随机生成D个不同的粒子，并初始化粒子的位置和速度；S2
‑
2、计算每个粒子的适应度值，并将每个粒子的当前位置作为个体最优位置，将其对应的适应度值作为当前粒子的个体最优值；同时，对所有粒子的适应度值取最小值，作为全局最优值，并将其对应的粒子位置作为全局最优位置；S2
‑
3、将每个粒子当前的适应度值与其个体最优值进行比较，若小于个体最优值，则将当前适应度值和对应的粒子位置作为该粒子更新后的个体最优值；计算所有粒子个体最优值的最小值，并与全局最优值进行比较，若小于全局最优值，则更新全局最优值；S2
‑
4、判断算法是否达到迭代完成条件，若未完成，返回执行；若完成，算法执行结束，输出结果，将结果保存为位姿文件。5.根据权利要求1所述的算法，其特征在于所述S3中，位姿手动对齐的步骤为：S3
‑
1、根据计算得到的相机外参和内参，准备参数的文件；同时，准备带标注的场景数据文件与背景图片文件；
S3
‑
2、程序读去相机内参，外参，带标注的场景数据和背景图片，在可视化窗口中显示带标注的场景数据作为前景、图片...

【专利技术属性】
技术研发人员：石伟伟，宋双成，王东林，崔隽峰，赵进军，宋沫飞，陈乐，刘震东，许成，余海涛，
申请(专利权)人：江苏量为石科技股份有限公司，
类型：发明
国别省市：