单目视觉、IMU和激光雷达的数据融合和边缘提取方法技术

本发明专利技术公开了一种单目视觉、IMU和激光雷达的数据融合及边缘提取方法，该方法为：单目相机采集目标不同角度的成像，进行特征匹配；采用FAST算法检测关键点，用BRIEF算法将关键点转换为ORB特征向量，得到目标不同角度下的图像特征分布；采用FLANN匹配获得特征对匹配的结果，通过RANSAC算法剔除存在误差的特征匹配对；将激光雷达获得的点云数据进行点云分割和特征提取，对IMU的信息进行预积分，用来对点云数据进行运动补偿；使用IMU数据以及关键帧位姿构建激光雷达信息与VIO的融合；采用改进后自适应阈值的Canny算子进行边缘提取。本发明专利技术提高了单目视觉、IMU和激光雷达的数据融合和边缘提取效率。和边缘提取效率。和边缘提取效率。

【技术实现步骤摘要】
单目视觉、IMU和激光雷达的数据融合和边缘提取方法


[0001]本专利技术涉及图像处理和机器视觉
，特别是一种单目视觉、IMU和激光雷达的数据融合和边缘提取方法。

技术介绍

[0002]在图像处理与计算机视觉领域，激光雷达和数据融合是近年来增强自动驾驶的一个热点技术，是SLAM的一个重要的研究方向。准确且稳定的定位是无人系统可以有效执行任务的前提。随着社会的不断进步，无人系统的应用场景从工业领域向军事、农业植保、搜救等各个方向扩展。随着应用的范围不断扩大，无人系统的任务场景变得越来越复杂多样，这对无人系统的定位技术提出了更高的要求。同时因智能化的需求，无人系统如无人机、自动驾驶汽车、机器人等对环境的感知需求日益提高。单一的传感器得到的信息有限，因此需要更快且精度更高的数据融合方式。
[0003]在数据融合的问题中，对激光雷达采集的点云数据和单目相机的图像进行处理需要耗费大量的资源，需要很长的时间。因此，图像特征点的检测和匹配算法的准确性和实时性需要提高。
[0004]特征点提取和检测方法，不但要求提取的特征点具有干扰性，而且也要考虑速度方面的影响。因此，图像特征点的检测和匹配算法的准确性和实时性成为目前的研究热点。
[0005]图像特征点匹配一般可分为以下三个步骤：
[0006](1)采集关键点：关键点是图像灰度值抖动剧烈或者曲率较大的点，即图像中突出的区域；
[0007](2)获取特征向量：将采集到的关键点转换为特征向量。
[0008](3)特征点匹配，将两幅图中的特征向量按照一定规律对应起来。图像特征点匹配作为基于特征点匹配算法的最后一步，由于能够有效的检测图像的特征点和构建特征点的局部特征描述符，因此图像特征点的匹配结果好坏十分重要。一个好的特征点匹配算法应该具有如下几个特征：
[0009]①
精准性：在图像之间特征点对的匹配准确度要高，检测结果可靠；
[0010]②
高效性：算法在较短的时间消耗下，能够计算出匹配结果；
[0011]③
简单性：算法能够在较少的内存空间和时间范围内，降低其代码的复杂性。特征点匹配算法的基本思想都是通过图像特征的描述符相似度大小，衡量特征点之间所具有特征信息的相似性。由于描述特征点的特征向量构建方式不同，二进制描述符之间只需要进行异或操作，在计算机内部算法复杂性低，因此二进制描述符的计算效率较优于十进制特征描述符。
[0012]在边缘提取问题中，传统的Canny算子主要通过经验法，经过多次实验来获得合适的高低阈值。但实际采集到的数字图像往往受采集环境、光照强度等不固定因素的影响，阈值的选取基本没有固定的范围，而且高低阈值的比例也各不相同，所以传统Canny算子无法完成自适应的阈值选取。同时传统的一阶差分模板只对垂直和水平的边缘响应较强，对其
他方向的边缘检测效果较差。实际应用时，由于噪声干扰、边缘模糊等现象的影响，仍无法达到理想的边缘检测效果。
[0013]为了解决这个问题，提出一种基于改进后Canny算法的图像边缘提取方法。该方法对数字图像进行处理，首先用双边滤波器对采集到的图像处理，再通过高斯高通滤波对其进行锐化后，用4方向的Prewitt算子对图片进行梯度计算，利用直方图与最大类间方差法自适应地算出高低阈值，然后根据Canny算子的3个准则进行边缘的连接，而后可以通过形态学的开运算对得到的二值图像进行处理，去除毛刺。最后生成包含目标零件边缘清晰的单像素二值图，方便后续对目标各参数的分析。

技术实现思路

[0014]本专利技术的目的在于提供一种单目视觉、IMU和激光雷达的数据融合和边缘提取方法，从而快速的处理数据融合算法所需要的图像和激光雷达点云数据的数据融合和边缘提取方法。
[0015]实现本专利技术能够目的的技术解决方案为：一种单目视觉、IMU和激光雷达的数据融合和边缘提取方法，包括以下步骤：
[0016]步骤1、利用工业相机采集目标不同角度下的图像；
[0017]步骤2、利用FAST算法采集图像中的关键点；
[0018]步骤3、利用rBRIEF算法将步骤2中采集到的关键点转换为特征向量；
[0019]步骤4、将得到的目标不同角度的特征向量进行FLANN匹配，得到匹配结果；
[0020]步骤5、将匹配结果通过基于F矩阵的RANSAC算法，对误匹配的特征点进行剔除；
[0021]步骤6、将激光雷达获得的点云数据进行视场切割，点云分割，特征提取，通过对IMU的信息进行预积分，将预积分后的数据用来对激光雷达获得的点云数据进行运动补偿；
[0022]步骤7、使用IMU数据以及关键帧位姿，构建激光雷达信息与VIO的融合；
[0023]步骤8、对直方图增强对比度，高斯滤波去噪，使用Canny算子进行边缘提取。
[0024]本专利技术与现有技术相比，其显著优点在于：(1)本专利技术在将关键点转换为特征向量的时候采用rBRIEF算法，保证了尺度特征的旋转不变性；(2)本专利技术提出了保证数据快速处理的方法，通过相机的视场来截取三维激光雷达的视场，过滤视场外的点云数据，使得数据量大大减小，提升了匹配的快速性，在一些对图像匹配速度要求较大的场景下能够发挥巨大的潜力；(3)本专利技术提出了可自适应调整阈值的Canny算子对目标进行边缘提取，不但可以减少噪声的干扰，而且能很大程度上减少对伪边缘的检测。
附图说明
[0025]图1是本专利技术单目视觉、IMU和激光雷达的数据融合和边缘提取方法的流程示意图。
[0026]图2是本专利技术实施例中关键点判别的示意图。
[0027]图3是本专利技术实施例中利用FAST算法采集的目标关键点的示意图。
[0028]图4是本专利技术实施例中图像处理完成后的特征点匹配的示意图。
[0029]图5是本专利技术实施例中经过视场过滤后得到的点云数据的示意图。
[0030]图6是本专利技术实施例中经过Canny算子提取后的边缘的示意图。
具体实施方式
[0031]本专利技术一种单目视觉、IMU和激光雷达的数据融合和边缘提取方法，包括以下步骤：
[0032]步骤1、利用工业相机采集目标不同角度下的图像；
[0033]步骤2、利用FAST算法采集图像中的关键点；
[0034]步骤3、利用rBRIEF算法将步骤2中采集到的关键点转换为特征向量；
[0035]步骤4、将得到的目标不同角度的特征向量进行FLANN匹配，得到匹配结果；
[0036]步骤5、将匹配结果通过基于F矩阵的RANSAC算法，对误匹配的特征点进行剔除；
[0037]步骤6、将激光雷达获得的点云数据进行视场切割，点云分割，特征提取，通过对IMU的信息进行预积分，将预积分后的数据用来对激光雷达获得的点云数据进行运动补偿；
[0038]步骤7、使用IMU数据以及关键帧位姿，构建激光雷达信息与VIO的融合；
[0039]步骤8、对直方图增强对比度，高斯本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目视觉、IMU和激光雷达的数据融合和边缘提取方法，其特征在于，包括以下步骤：步骤1、利用工业相机采集目标不同角度下的图像；步骤2、利用FAST算法采集图像中的关键点；步骤3、利用rBRIEF算法将步骤2中采集到的关键点转换为特征向量；步骤4、将得到的目标不同角度的特征向量进行FLANN匹配，得到匹配结果；步骤5、将匹配结果通过基于F矩阵的RANSAC算法，对误匹配的特征点进行剔除；步骤6、将激光雷达获得的点云数据进行视场切割，点云分割，特征提取，通过对IMU的信息进行预积分，将预积分后的数据用来对激光雷达获得的点云数据进行运动补偿；步骤7、使用IMU数据以及关键帧位姿，构建激光雷达信息与VIO的融合；步骤8、对直方图增强对比度，高斯滤波去噪，使用Canny算子进行边缘提取。2.根据权利要求1所述的单目视觉、IMU和激光雷达的数据融合和边缘提取方法，其特征在于，步骤1所述的利用工业相机采集目标不同角度下的图像，具体如下：步骤1.1、将单目摄像机安装在无人车前端，打开并连接到PC机，调好焦距，确定能采集到清晰的图片；将3d激光雷达安装在单目相机的正上方；步骤1.2、通过Autoware软件对单目摄像机和激光雷达做联合标定；步骤1.3、采集不同角度的清晰的图片通过图像采集卡传入计算机处理系统，处理平台为Ubuntu 18.04+opencv 3.4.2，获得激光雷达点云数据，传入计算机处理系统，处理平台为ROS。3.根据权利要求1所述的单目视觉、IMU和激光雷达的数据融合方法，其特征在于，步骤2所述的利用FAST算法采集图像中的关键点，具体如下：步骤2.1、在图像中任选一点p，设定其像素亮度为lp，以r为半径画圆覆盖p点周围的M个像素；步骤2.2、设定阈值为t，将圆上N个连续像素的像素值与p点的像素值做差，若这些差值的绝对值都比(lp+t)大或者比(lp
‑
t)小，则认定点p为关键点；步骤2.3、通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；矩定义如下：其中，I(x,y)为图像灰度表达式；该矩的质心为：设定角点坐标为O，则向量的角度即为该特征点的方向：4.根据权利要求1所述的单目视觉、IMU和激光雷达的数据融合方法，其特征在于，步骤
3所述的利用rBRIEF算法将步骤2中采集到的关键点转换为特征向量，具体如下：将步骤2中寻找FAST的关键点的方向作为BRIEF的方向，这样的到的特征点就同时具备了方向和尺度信息；步骤3.1、对图像进行高斯平滑处理，在一个特征点的邻域内，选择n对像素点pi、qi，i＝1,2,
…
,n，设选取的点对集D为：经过角度θ旋转：D
θ
＝R
θ
D得到新的点对集D
θ
；步骤3.2、比较每个点对的灰度值的大小，如果I(pi)>I(qi)，则生成二进制串中的1；否则为0；步骤3.3、将所有的点对都进行比较，生成长度为n的二进制串；n的取值为128、256或512。5.根据权利要求1所述的单目视觉、IMU和激光雷达的数据融合方法，其特征在于，步骤4所述的将得到的目标不同角度的特征向量进行FLANN匹配，得到匹配结果，具体如下：步骤4.1、建立优先搜索k
‑
means树，具体如下：步骤4.1.1、使用得到的ORB特征点建立一个层次化的k
‑
means树；步骤4.1.2、将每个层次的聚类中心，作为树的节点；步骤4.1.3、当某个簇内的点数量小于K时，将这些数据节点做为叶子节点；步骤4.2、在优先搜索k
‑
means树中进行搜索，得到匹配结果，具体如下：步骤4.2.1、从根节点N开始检索；步骤4.2.2、如果N是叶子节点，则将同层次的叶子节点都加入到搜索结果中，即count+＝|N|；步骤4.2.3、如果N不是叶子节点，则将它的子节点与query Q比较，找出最近的节点Cq，将同层次的其他节点加入到优先队列中；步骤4.2.4、对Cq节点进行递归搜索；步骤4.2.5、如果优先队列不为空且count<L，则取优先队列的第一个元素赋值给N，然后重复步骤4.2.1。6.根据权利要求1所述的单目视觉、IMU和激光雷达的数据融合方法，其特征在于，步骤5所述的将匹配结果通过基于F矩阵的RANSAC算法，对误匹配的特征点进行剔除，具体如下：步骤5.1、设定迭代次数为25，即程序最多执行25次，防止阈值设定不合理导致程序进入死循环；步...

【专利技术属性】
技术研发人员：韩忠利，王嘉晖，黄成，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：