本发明专利技术公开了一种基于双模态数据融合的道路检测方法。包括如下步骤：激光雷达三维点的坐标系转换；获取落在摄像机图像范围内的激光雷达三维点集合；设定高度阈值，获取障碍物激光雷达三维点的子集；获取可通行道路区域激光雷达三维点的子集；获取非路区域和可通行道路区域的颜色混合高斯模型；获取图像上道路检测的感兴趣区域；构建基于马尔科夫随机场能量函数，求解能量函数最小值，获得全局最优图像道路检测结果。本发明专利技术实现了对复杂环境的鲁棒；检测结果不受道路表面阴影影响；能将传感器感知环境中细小的障碍物与可通行道路路区域区分；能对激光雷达无数据返回的区域与非路的判断；它适用于自主车辆导航等领域。
【技术实现步骤摘要】
本专利技术涉及图像分割技术，特别是涉及。
技术介绍
基于传感器的道路检测算法在移动机器人自主导航领域中起着至关重要的作用。传统的道路检测算法基于单一的传感器，例如摄像机、激光雷达等。基于单一传感器对移动机器人周围环境进行感知存在着许多不足。单目摄像机能提供环境的颜色信息，但是该传感器对光照环境的不变性要求较高，在道路检测中对阴影和颜色对比度小的环境不鲁棒。双目摄像机可以通过获取环境的三维信息弥补单目摄像机在环境光线变化、出现斑驳阴影以及颜色对比度小的情况下检测效果差的不足，但是基于摄像机的三维重建系统不能满足算法实时性要求。激光雷达一般来说能准确的得到移动机器人周围环境的三维信息，但该传感器的不足在于，一方面不能获取无激光射线返回的物体的三维信息，例如水面、镜面物体，另一方面不能获取环境的颜色信息。近年来，研究者进行了一系列基于多传感器融合进行道路检测的研究，其中将摄像机与激光雷达进行融合成为该领域的热门。这些研究主要分为两类，一类是在数据层上进行融合，将摄像机得到的图像信息和激光雷达得到的三维点信息作为特征进行分类，该方法的缺点是需要大量的人工标注来对样本进行训练，而且分类的结果好坏依赖于样本是否全面；另一类在决策层上进行融合，先将摄像机的图像信息与激光雷达的三维点信息分别进行分类，然后建立一个融合分类网络将两种传感器分类结果融合，该方法的缺点是需要人工定义融合分类网络，当分类类别数量较大时，该网络的定义将相当复杂。
技术实现思路
本专利技术的目的是提出，解决传统基于单一模态数据进行道路检测对环境光线变化不鲁棒，受道路上阴影影响大，对道路上路牌杆、护栏检测不敏感，对传感器无数据返回区域无法检测的问题。本专利技术采用的技术方案的步骤如下:1.1)激光雷达三维点的坐标系转换:将激光雷达三维坐标系，包括X轴，yl轴和ζ轴下的激光雷达三维点\ = (X1, Y1, Z1)1通过左乘激光雷达与摄像机之间的旋转平移矩阵转换为摄像机三维坐标系下的激光雷达三维点Xc= (Xe，ye，ze)T，其中Rw表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，表示激光雷达坐标系与摄像机坐标系之间的平移量，(X1, Y1, Z1)和(X。，yc, zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式(I)如下，其中Z和足分别表示X。和的其次坐标(xc, yc, zc, 1)1 (X1, Y1, Z1, 1)τ,权利要求1.，其特征在于，包括如下步骤: 1.1)激光雷达三维点的坐标系转换:将激光雷达三维坐标系，包括X轴，y轴和Z轴下的激光雷达三维点\= (XuhZ1)T通过左乘激光雷达与摄像机之间的旋转平移矩阵转换为摄像机三维坐标系下的激光雷达三维点X。= U。，yc, ze)T，其中&表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，表示激光雷达坐标系与摄像机坐标系之间的平移量，(Xl，Y1, Z1)和(X。，yc, zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式(I)如下，其中Ie和尤分别表示X。和的其次坐标(xc, yc, zc, 1)1 (X1, Y1, Z1, 1)τ,2.根据权利要求1所述的，其特征在于:所述的RANSAC平面拟合算法，用激光雷达三维点集合Γ中ζ坐标在阈值h以下的点，记为Zr =(x，_y，2)7 εΓ/Γο，计算地平面参数= (a，b，c，d)T, RANSAC平面拟合算法按照以下步骤进行: · 2.1)从样本点集Xk中随机抽取3个点,得到平面初始模型π ^ = (a0, b0, c0, d0)T ； · 2.2)计算样本点集Xk中与初始平面模型的距离小于阈值h的子集构成内点集合Xlnliers · 2.3)若内点集合Xlnliws中元素个数超过阈值t2，则用Xlnliws采用最小二乘算法重新计算平面模型η %重复步骤2)和3)，直到算法收敛； · 2.4)若内点集合XInliOTS中元素个数没有超过阈值t2，则返回步骤2.1)。3.根据权利要求1所述的，其特征在于:所述的k-means聚类算法，是将激光雷达三维点样本特征[r,(p，d)聚类为两类，其中r，p，d分别表示该激光雷达三维点的反射率、入射角和反射距离，k-means聚类算法按照以下步骤进行: 3.1)随机选取两个聚类质心4.根据权利要求1所述的，其特征在于:所述的混合高斯模型估计通过下述方式估计由五个高斯分布加权构成的混合高斯模型，令在图像感兴趣区域ROI中第i个像素点的特征^服从如公式(8)所示概率，其中N(fi; yk, Σ,)是随机变量向量为fi，均值向量为μ k，协方差矩阵为Sk的高斯分布，ε ^是每个高斯分布的加权因子，k = 是五个高斯分布的标号5.根据权利要求1所述的，其特征在于:所述的最小二乘算法拟合地平线，给定K组数据6.根据权利要求1所述的，其特征在于:所述的马尔科夫随机场建模，将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场，其中F构成观测层，其条件概率服从非路与可通行道路的先验概率模型，即所估计的混合高斯模型ΘB和 K，L构成隐藏层，从而本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。7.根据权利要求1所述的，其特征在于:所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息； 7.1)能量函数的平滑项用于描述图像像素点邻域N (i)内的像素点之间的依赖关系，如公式(12)所示8.根据权利要求1所述的，其特征在于:所述的马尔科夫随机场能量函数最终设计，在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑；在新的设计中，将已被分类为路与障碍物的激光雷达点子集1\和对应的图像像素点集分别作为可通行道路与非路的部分分割结果，由此引入一个新的变量集S= IsiIi e R0I}，由于摄像机与激光雷达非同质传感器，也就是说像素点与激光雷达点之间不存在对应关系，定义Si如公式(14)所不全文摘要本专利技术公开了。包括如下步骤激光雷达三维点的坐标系转换；获取落在摄像机图像范围内的激光雷达三维点集合；设定高度阈值，获取障碍物激光雷达三维点的子集；获取可通行道路区域激光雷达三维点的子集；获取非路区域和可通行道路区域的颜色混合高斯模型；获取图像上道路检测的感兴趣区域；构建基于马尔科夫随机场能量函数，求解能量函数最小值，获得全局最优图像道路检测结果。本专利技术实现了对复杂环境的鲁棒；检测结果不受道路表面阴影影响；能将传感器感知环境中细小的障碍物与可通行道路路区域区分；能对激光雷达无数据返回的区域与非路的判断；它适用于自主车辆导航等领域。文档编号G06K9/00GK103198302SQ201310124199公开日2013年7月10日 申请日期2013年4月10日 优先权日2013年4月10日专利技术者黄文琦, 龚小谨, 刘济林 申请人:浙江大学本文档来自技高网...
【技术保护点】
一种基于双模态数据融合的道路检测方法，其特征在于，包括如下步骤：1.1）激光雷达三维点的坐标系转换：将激光雷达三维坐标系，包括x轴，y轴和z轴下的激光雷达三维点XL＝(xl,yl,zl)T通过左乘激光雷达与摄像机之间的旋转平移矩阵[RLC?tLC]转换为摄像机三维坐标系下的激光雷达三维点XC＝(xc,yc,zc)T，其中RLC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵，tLC表示激光雷达坐标系与摄像机坐标系之间的平移量，(xl,yl,zl)和(xc,yc,zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值，该坐标系转换公式（1）如下，其中和分别表示XC和XL的其次坐标(xc,yc,zc,1)T和(xl,yl,zl,1)T，X~C=RLCtLCX~L---(1)1.2）获取落在摄像机图像范围内的激光雷达三维点集合Γ：通过摄像机的内外参矩阵K，将摄像机三维坐标系下的激光雷达三维点XC投影为摄像机拍摄二维图像的坐标系，u轴，即图像横轴和v轴，即图像纵轴下的激光雷达二维点XI＝(uI,vI)T，(uI,vI)表示二维图像的坐标系下激光雷达二维点的坐标值，摄像机投影公式（2）如下，其中表示XI的其次坐标(uI,vI,1)T，X~I=KX~C,---(2)选取激光雷达二维点XI中在图像长IL宽IW范围内的二维点对应的激光雷达坐标系下的激光雷达三维点，记为XL“＝(xl“,yl“,zl“)T，作为集合Γ；1.3）获取障碍物激光雷达三维点的子集ΓO，并拟合道路所在的地平面：根据激光雷达安装的高度，设定高度阈值h，令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集，记为ΓO，令激光雷达三维点集合Γ中z坐标在阈值h以下的点，记为Γ/ΓO，用于RANSAC平面拟合算法，拟合得到的平面即为道路所在地平面，该拟合的地平面参数记为π＝(a,b,c,d)T，RANSAC平面拟合算法得到的内点集合记为其中为XL“的其次坐标，为设定的距离阈值；1.4）获取可通行道路区域激光雷达三维点的子集ΓR：RANSAC平面拟合算法得到的内点集合ΓG中包含了所有离平面π＝(a,b,c,d)T距离小于的激光雷达三维点，但这些点中不仅包含可通行道路区域中的点，而且包含与道路平面垂直高度距离小于的绿化带上的点，为了将可通行道路区域与绿化带区分，需要运用激光雷达射线对含叶绿素的植物反射率强的性质，通过k?means聚类算法对路 面上的激光雷达点进行两类的聚类，其中反射率均值较低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集，记为ΓR；1.5）分别获取非路区域和可通行道路区域的颜色混合高斯模型ΘB和ΘR：分别用激光雷达三维点集ΓO和ΓR对应的图像上激光雷达二维点XI坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型估计，得到估计的非路区域和可通行道路区域的颜色模型分别用ΘB和ΘR表示；1.6）获取图像上道路检测的感兴趣区域ROI：通过摄像机坐标系下拟合的地平面参数π＝(a,b,c,d)T，定义摄像机坐标系下地平面无穷远处三维点X∞为再通过摄像机的内外参矩阵K，得到摄像机坐标系下地平面穷远点对应的图像地平线上的点XH＝(uH,vH)T，如公式（3）所示，其中为XH的其次坐标，X~H=KRLGtLGX~∞---(3);然后将Κ个图像地平线上的点XH通过最小二乘算法拟合地平线H＝(α0,?1,α1)，其中α0和α1为直线参数，使地平线上的点满足vH＝α0uH+α1，并设定图像地平线H以下为图像上道路检测感兴趣区域ROI；1.7）马尔科夫随机场能量函数初始设计：利用马尔科夫随机场原理，将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题，该能量函数初始设计Ε(L,F,Θ)如公式（4）所示，Ε(L,F,Θ)＝λΕSmooth(L,F)+ΕData(L,F,Θ)????（4）其中，L＝{li|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记li的集合，li的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”，F＝{fi|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征fi的集合，在本方法中选取图像像素点的RGB值作为该像素点的特征，即fi＝(Ri,Gi,Bi)，(Ri,Gi,Bi)表示第i个像素点的R,G,B三个颜色通道的值，Θ＝{ΘB,ΘR}表示经计算得到的非路与可通行道路的先验概率模型，ΕSmooth和ΕData分别是该能量函数的平滑项...
【技术特征摘要】
【专利技术属性】
技术研发人员：黄文琦，龚小谨，刘济林，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。