基于多传感器融合的多视觉特征车辆检测方法技术

本发明专利技术涉及一种基于多传感器融合的多视觉特征车辆检测方法，属于无人车技术领域。本发明专利技术首先通过毫米波雷达和摄像头获取前方车辆的图像和数据信息，并通过毫米波雷达坐标系和图像坐标系的转换关系得到车辆在图像中的位置，进而在图像中得到车辆感兴趣区域，减小了图像处理时间以及非车辆感兴趣区域对图像处理的干扰。然后，融合车辆的车辆底部阴影、车辆对称性和车辆左右边缘三个属性特征，实现车辆检测，克服了利用单一属性特征检测车辆时鲁棒性低的缺点。

【技术实现步骤摘要】

本专利技术涉及无人车
，具体涉及一种基于多传感器融合的多视觉特征车辆 检测方法。
技术介绍
无人车是一种集环境感知、动态决策与规划、行为控制与执行等多功能为一体的 智能化程度很高的装置。其中，环境感知技术是重要的基础保证，而动态目标车辆的检测是 环境感知中的重要研究内容，对无人车自主导航具有重要意义。基于视觉的车辆检测方法 能够提供丰富的图像信息，可以获得车辆的尺寸和轮廓信息，但单一视觉特征对车辆检测 的鲁棒性较低;基于雷达的车辆检测方法能够提供丰富的纵向信息，可以获得车辆的位置 和相对速度信息，但无法识别车辆的形状和大小;两种检测方法各有利弊。 为了提高车辆检测信息描述的完整性与可靠性，基于多传感器融合的车辆检测方 法逐渐成为国内外一个重要的研究内容和发展趋势。因此，如何充分利用各传感器提供的 信息进行车辆检测并克服两种方法的局限性，提高车辆检测鲁棒性成为亟待解决的技术问 题。
技术实现思路
(一)要解决的技术问题 本专利技术要解决的技术问题是：如何利用各传感器提供的信息进行车辆检测，克服 利用单一属性特征检测车辆时鲁棒性低的缺点。 (二)技术方案 为了解决上述技术问题，本专利技术提供了一种基于多传感器融合的多视觉特征车辆 检测方法，包括以下步骤： S1、在动态场景下，将摄像头和毫米波雷达同时观测到的图像信息和车辆数据信 息进行空间对准； S2、在图像中，根据空间对准结果，提取车辆感兴趣区域； S3、在所述车辆感兴趣区域内，提取车辆底部阴影； S4、在步骤S3提取的车辆底部阴影范围内，提取HSI彩色空间S分量的车辆对称轴； S5、在车辆底部阴影范围内，统计水平差分投影图，并在车辆对称轴左、右两侧寻 找水平差分投影图最大值的索引值eL和eR，确定车辆左右边缘； S6、融合步骤S3、步骤S4与步骤S5得到的车辆底部阴影、车辆对称轴与车辆左右边 缘三个视觉特征结果，实现车辆检测。(三)有益效果本专利技术首先通过毫米波雷达和摄像头获取前方车辆的图像和数据信息，并通过毫 米波雷达坐标系和图像坐标系的转换关系得到车辆在图像中的位置，进而在图像中得到车 辆感兴趣区域，减小了图像处理时间以及非车辆感兴趣区域对图像处理的干扰。然后，融合 车辆的车辆底部阴影、车辆对称性和车辆左右边缘三个属性特征，实现车辆检测，克服了利 用单一属性特征检测车辆时鲁棒性低的缺点。【附图说明】 图1为本专利技术实施例的方法提供的摄像头图像坐标系和毫米波雷达坐标系几何关 系图。【具体实施方式】 为使本专利技术的目的、内容、和优点更加清楚，下面结合附图和实施例，对本专利技术的【具体实施方式】作进一步详细描述。 本专利技术实施例提供的一种，包括以 下步骤： 步骤S1:在动态场景下，将摄像头和毫米波雷达同时观测到的图像信息和车辆数 据信息进行空间对准。如图1所示，〇ρθ为毫米波雷达坐标系，O'mn为摄像头图像坐标系，P'、 P分别表示在坐标系O'mn与坐标系ΟρΘ下，摄像头和毫米波雷达分别观测到的图像信息和车 辆数据信息。因此，通过坐标转换关系式（1)将毫米波雷达观测到的车辆数据信息投影到摄 像头观测到的图像信息中，完成毫米波雷达和摄像头空间对准。矩阵Τ为空间变换矩阵，通 过采集Α(Α2 4)个对应的毫米波雷达和摄像头的观测数据集(m，n，P，0)，利用最小二乘法求 解得到。 步骤S2:在图像中，根据空间对准结果，提取车辆感兴趣区域。 假定动态场景中只存在一辆车辆，（m，n)是步骤1得到的空间对准结果，车辆感兴 趣区域可通过式(2)获得。其中，R0I表示车辆感兴趣区域;Μ与N表示摄像头获得的场景图像 宽度和高度;Μ'与Ν'表示区域R0I的宽度与高度。通过车辆感兴趣区域的提取，可以减小图 像处理时间以及非车辆感兴趣区域干扰。步骤S3:在车辆感兴趣区域内，提取车辆底部阴影。车辆底部阴影是车辆的一个重 要属性特征，因此，该特征可以作为车辆检测的重要判定依据之一。最大类间方差双阈值算 法是基于阈值图像分割算法中最重要的方法之一，但阈值计算的方式的是穷尽搜索，运算 效率较低。而遗传算法是一种基于群体的优化算法，全局寻优能力强，简化了阈值计算过 程，提高了最大类间方差双阈值算法效率。因此，结合以上两种算法，提取车辆底部阴影的 具体步骤如下： S30、假定UT为图像平均灰度值;tl和t2表示算法的二个阈值;W1、W2与W3分别表示被 阈值七和^分成的三个不同区域的概率;m、u^U3分别表示三个不同区域的灰度均值。则为 三个不同区域间的类间方差σ2可表示为式(3): S31、在遗传算法中，假定t为初始进化代数;tm为最大进化代数;Q为群体大小；针 对阈值t#Pt 2，按二进制码编码，随机生成Q个初始群体p(t)。 S32、对p(t)进行解码，并根据适应度函数如式(4)所示对p (t)中的个体进行个体 适应度评价。 S33、利用遗传算子对当前群体进行选择、交叉、变异操作，产生下一代群体，同时 保留当前群体中适应度最小的个体到下一代群体中。 S34、判断条件是否成立，若条件符合，则t+Ι，返回到步骤S32继续执行；否 贝1J，将当前群体中适应度最小的个体中的阈值作为最优阈值11 *和t2*。 S35、根据最优阈值tl*和t2*，提取车辆底部阴影。假定车辆底部阴影区域颜色用 黑色表示，根据两个最优阈值得到的黑色区域作为车辆底部阴影位置。步骤S4:在步骤S3提取的车辆底部阴影范围内，利用式(5)提取HSI彩色空间S分量 的车辆对称轴。 其中，msl、ms2表示车辆底部阴影区域列边界位置;ns表示车辆底部阴影上行边界位 置;ws表示车辆底部阴影宽度，arg表示取对称轴。步骤S5:在车辆底部阴影范围内，统计水平差分投影图，并在车辆对称轴两侧寻找 水平差分投影图最大值的索引值eL(左侧索引值)和eR(右侧索引值），根据式(6)确定车辆 左右边缘。 步骤S6:融合步骤S3、步骤S4与步骤S5得到的车辆底部阴影、车辆对称轴与车辆左 右边缘三个视觉特征结果，实现车辆检测。 通过以上步骤，不仅可以检测到车辆的形状和大小，而且可以得到车辆的位置和 相对速度信息，检测的车辆信息描述更加全面和可靠，为无人车自主导航提供了可靠保障。 以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人 员来说，在不脱离本专利技术技术原理的前提下，还可以做出若干改进和变形，这些改进和变形 也应视为本专利技术的保护范围。【主权项】1. 一种，其特征在于，包括W下步骤： 51、 在动态场景下，将摄像头和毫米波雷达同时观测到的图像信息和车辆数据信息进 行空间对准； 52、 在图像中，根据空间对准结果，提取车辆感兴趣区域； 53、 在所述车辆感兴趣区域内，提取车辆底部阴影； 54、 在步骤S3提取的车辆底部阴影范围内，提取HSI彩色空间S分量的车辆对称轴； 55、 在车辆底部阴影范围内，统计水平差分投影图，并在车辆对称轴左、右两侧寻找水 平差分投影图最大值的索引值eL和eR，确定车辆左右边缘； 56、 融合步骤S3、步骤S4与步骤S5得到的车辆底部阴影、车辆对称轴与车辆左右边缘Ξ 个视觉特征结果，实现车辆检测。2. 如权利要求1所述的方法，其特征在于，步骤S1中，设Ορθ为毫米波雷达坐标系，O本文档来自技高网...

【技术保护点】
一种基于多传感器融合的多视觉特征车辆检测方法，其特征在于，包括以下步骤：S1、在动态场景下，将摄像头和毫米波雷达同时观测到的图像信息和车辆数据信息进行空间对准；S2、在图像中，根据空间对准结果，提取车辆感兴趣区域；S3、在所述车辆感兴趣区域内，提取车辆底部阴影；S4、在步骤S3提取的车辆底部阴影范围内，提取HSI彩色空间S分量的车辆对称轴；S5、在车辆底部阴影范围内，统计水平差分投影图，并在车辆对称轴左、右两侧寻找水平差分投影图最大值的索引值eL和eR，确定车辆左右边缘；S6、融合步骤S3、步骤S4与步骤S5得到的车辆底部阴影、车辆对称轴与车辆左右边缘三个视觉特征结果，实现车辆检测。

【技术特征摘要】

【专利技术属性】
技术研发人员：靳璐，苏波，康晓，吴越，
申请(专利权)人：中国北方车辆研究所，
类型：发明
国别省市：北京;11