一种基于汽车分布式感知平台的前方感知模块的设计方法技术

本发明专利技术公开一种基于汽车分布式感知平台的前方感知模块的设计方法，提出了基于光流法改进的长短焦图像融合算法；构建了Light‑YOLO V3网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；同时结合最优跟踪匹配算法解决检测过程中目标严重遮挡问题。本发明专利技术针对ADAS系统和自动驾驶研究技术涉及的大量数据传输以及数据处理，感知源和ECU的分散排列会导致信息管理的混乱、协调困难、效率低下等问题，从而将ADAS整车感知平台采用分层融合结构。这种分布式的处理方式可以使每个模块处理的信息量相对于集中式减少很多，对核心处理器的GPU和CPU的性能要求也会相对降低，可以提高数据的处理效率。

【技术实现步骤摘要】
一种基于汽车分布式感知平台的前方感知模块的设计方法
本专利技术设计目标检测领域，具体涉及一种基于汽车分布式感知平台的前方感知模块的设计方法。
技术介绍
在我国从汽车大国迈入汽车强国的进程中，提高汽车产业的智能化、网联化和新能源转型是核心任务。为了进一步规范智能汽车的研究方向，工信部将自动驾驶技术分为0～5级并提出了高度智能网联汽车在限定区域的落地应用的计划，并预计于2021年实施《汽车驾驶自动化分级》推荐性国家标准。汽车在动态复杂驾驶环境中具备实时、准确、稳定的感知能力是实现汽车自动驾驶的关键技术，自动驾驶技术的提高带来的是更低的交通事故发生率。感知模块在自动驾驶技术的发展中具有重要意义，涉及到不同驾驶场景下的图像融合，多目标检测与跟踪技术，最终根据感知信息来完成智能汽车的预警和避障操作。随着ADAS系统和自动驾驶研究技术的不断深入和推广，涉及大量的数据传输以及数据处理，感知源和ECU的分散排列会导致信息管理的混乱、协调困难、效率低下，对ADAS系统功能造成一定影响，甚至带来安全隐患。针对ADAS系统和自动驾驶研究技术深入和推广过程中，涉及大量数据传输以及数据处理，导致出现感知源和ECU的分散排列会导致信息管理的混乱、协调困难、效率低下等问题，将ADAS整车感知平台进行分布式网络的划分，采用分层融合结构。这种分布式的处理方式可以使每个模块处理的信息量相对于集中式减少很多，对核心处理器的GPU和CPU的性能要求也会相对降低，可以提高数据的处理效率；在算法上提出了多参考的融合测距算法以及跟踪匹配算法，提高了在复杂高动态驾驶场景下的检测精度和鲁棒性，融合后的结果在图像的信息量、亮度水平、清晰程度等方面具有明显优势。
技术实现思路
为了解决信息管理的混乱、协调困难、效率低下等问题，本专利技术提出一种基于分布式感知平台的前方感知模块的研究方法。本专利技术的技术方案是这样实现的：一种基于汽车分布式感知平台的前方感知模块的设计方法，包括以下步骤：S1、对整车感知平台进行分布式网络划分，采用分层融合结构；S2、将光流法改进的图像融合算法在光流法的基础上加入金字塔，确定金字塔各层窗口的尺寸保持恒定，构建改进的长短焦图像融合算法；S3、使用基于Shufflenetv2卷积单元搭建的特征提取网络替换Darknet53，构建Light-YOLO网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；S4、使用多参考信息的融合测距算法同时使用基于时间域和空间域连续特征关联的融合算法解决测距过程中的跟踪与匹配问题；S5、使用最优跟踪匹配算法来解决检测过程中的目标严重遮挡的问题。进一步，所述步骤S1的具体过程为：通过安装在汽车前后左右四个方向上的感知模块(测道路周围环境的摄像头和雷达)以及车辆行驶状态感知识别模块(陀螺仪，加速度传感器，轮速传感器，方向盘转角传感器)和驾驶员行为感知识别模块(摄像头，以及检测驾驶员是否处于疲劳状态)将检测到的信息传递至高级驾驶辅助系统ADAS主模块(其中，主模块功能有：信息采集与融合、模式识别、预报预测、危险判断、主动控制等)，然后高级驾驶辅助系统ADAS主模块将这些信息处理后输出到高级驾驶辅助系统ADAS人机交互界面呈现给驾驶员并将信息反馈到汽车驱动执行装置。进一步，所述步骤S2的具体过程为：S2.1、首先通过光流法计算每个像素点的偏移量，通过变形将两张图像上对应的像素点进行匹配融合；S2.2、由于长短焦摄像头安装的位置偏差导致对应图像像素点的偏移，所以长焦摄像头获取的图像上的一点u(ux,uy)可以在对应的短焦摄像头获取的图像上找到相匹配的一点v(ux+dx,uy+dy)，则向量d＝[dx,dy]表示图像在点u处的光流，为了进一步说明向量d的含义假设：长焦摄像头获取的图像经过仿射变换得到短焦摄像头获取图像的对应区域，将变换矩阵定义为：其中dxx、dyy、dxy、dyx表示图像中的仿射变换；S2.3、通过光流法计算光流d和变换矩阵A，得到一块区域内的灰度差，定义为：其中整数wx、wy定义了图像上的矩形窗口大小为(2wx+1)、(2wy+1)，I和J是两幅2D的灰度图像；S2.4、令I0＝I表示第0层的图像，表示金字塔图像中分辨率最高的图像，定义图像的宽度和高度分别为使用递归的方式建立金字塔：通过I0计算出I1，通过I1计算出I2，…，令L＝1,2,…表示金字塔的层数，其中IL-1表示第L-1层的图像，分别表示图像IL-1的宽度和高度，图像IL可以通过图像IL-1计算得到：S2.5、金字塔特征匹配算法具体实现如下：首先，在图像的最高一层计算出d和A；然后将上一层计算的d和A作为下一层图像的初始值，本层图像根据上一层输入的d和A，计算出本层的d和A；将本层图像计算出的d和A作为下一层图像的初始值，直到将计算出的d和A传递到最后一层图像，并将最后一层图像计算出的d和A作为最终的d和A，其中d表示光流，A表示变换矩阵；S2.6、计算出金字塔每一层的光流dL和仿射变换矩阵AL，使L层的匹配误差εL最小，匹配误差εL的表达如下：dx、dy表示光流d的向量形式，dxx、dyy、dxy、dyx表示图像中的仿射变换，整数wx、wy是图像上的矩形窗口大小，ILcomp和JLcomp是两幅2D图像第L层的灰度；更新匹配结果：其中，A仿是射变换矩阵，v是更新后光流的速度，[ηx、ηy、ηxx、ηxy、ηyx、ηyy]T是仿射光流的向量形式；直到<某个阈值的时候，结束本层的迭代；S2.7、最后对长焦摄像头获取的图像上的各像素点进行偏移变形，使变形后的图像可以与对应短焦摄像头获取的图像上的像素点逐一进行匹配，已变形的长焦摄像头的图像根据需求输入权值λ，与相应的短焦摄像头获取的图像通过公式F＝(1-λ)I+λ·J进行融合，得到最终的融合结果。进一步，所述步骤S3的具体过程为：S3.1、通过两种不同的卷积块1和卷积块2堆叠构建Light-YOLO骨干网络，卷积块1是下采样模块，将输入特征复制成两份，各自进行步长为2的深度卷积，最后通过拼接实现特征尺寸减半和通道数的翻倍；卷积块2首先将输入按通道拆分为两部分，一部分保持不变以保留部分浅层的特征语义信息，另一部分进行深度卷积，最后输出与输入尺寸相等的特征向量；一个轻量化单元包含一个卷积块1和多个卷积块2，通过新构建的骨干网络将416×416×3的输入特征转化至13×13×1024；网络结构从输入到输出依次是：卷积层Conv3×3×24、最大池化层Maxpool3×3、卷积块1Block2×3、Block2×7、Block2×3、卷积层Conv1×1×512、Conv3×3×1024、Conv3×3×27、Conv3×3×256、Conv3×3×256、Conv3×3×512、Conv3×3×27、Conv3×3×128、Conv3×3×128、Conv3×本文档来自技高网...

【技术保护点】
1.一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：包括以下步骤：/nS1、对整车感知平台进行分布式网络划分，采用分层融合结构；/nS2、将光流法改进的图像融合算法在光流法的基础上加入金字塔，确定金字塔各层窗口的尺寸保持恒定，构建改进的长短焦图像融合算法；/nS3、使用基于Shufflenetv2卷积单元搭建的特征提取网络替换Darknet53，构建Light-YOLO网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；/nS4、使用多参考信息的融合测距算法同时使用基于时间域和空间域连续特征关联的融合算法解决测距过程中的跟踪与匹配问题；/nS5、使用最优跟踪匹配算法来解决检测过程中的目标严重遮挡的问题。/n

【技术特征摘要】
1.一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：包括以下步骤：
S1、对整车感知平台进行分布式网络划分，采用分层融合结构；
S2、将光流法改进的图像融合算法在光流法的基础上加入金字塔，确定金字塔各层窗口的尺寸保持恒定，构建改进的长短焦图像融合算法；
S3、使用基于Shufflenetv2卷积单元搭建的特征提取网络替换Darknet53，构建Light-YOLO网络，基于该网络进行多目标的检测融合算法实现汽车定位，作为距离估计的参考；
S4、使用多参考信息的融合测距算法同时使用基于时间域和空间域连续特征关联的融合算法解决测距过程中的跟踪与匹配问题；
S5、使用最优跟踪匹配算法来解决检测过程中的目标严重遮挡的问题。


2.根据权利要求1所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：所述步骤S1的具体过程为：通过安装在汽车前后左右四个方向上的感知模块以及车辆行驶状态感知识别模块和驾驶员行为感知识别模块将检测到的信息传递至高级驾驶辅助系统ADAS主模块，然后高级驾驶辅助系统ADAS主模块将这些信息处理后输出到高级驾驶辅助系统ADAS人机交互界面呈现给驾驶员并将信息反馈到汽车驱动执行装置。


3.根据权利要求1所述的一种基于汽车分布式感知平台的前方感知模块的设计方法，其特征在于：所述步骤S2的具体过程为：
S2.1、首先通过光流法计算每个像素点的偏移量，通过变形将两张图像上对应的像素点进行匹配融合；
S2.2、由于长短焦摄像头安装的位置偏差导致对应图像像素点的偏移，所以长焦摄像头获取的图像上的一点u(ux,uy)可以在对应的短焦摄像头获取的图像上找到相匹配的一点v(ux+dx,uy+dy)，则向量d＝[dx,dy]表示图像在点u处的光流，为了进一步说明向量d的含义假设：长焦摄像头获取的图像经过仿射变换得到短焦摄像头获取图像的对应区域，将变换矩阵定义为：



其中dxx、dyy、dxy、dyx表示图像中的仿射变换；
S2.3、通过光流法计算光流d和变换矩阵A，得到一块区域内的灰度差，定义为：



其中整数wx、wy定义了图像上的矩形窗口大小为(2wx+1)、(2wy+1)，I和J是两幅2D的灰度图像；
S2.4、令I0＝I表示第0层的图像，表示金字塔图像中分辨率最高的图像，定义图像的宽度和高度分别为使用递归的方式建立金字塔：通过I0计算出I1，通过I1计算出I2，…，令L＝1,2,…表示金字塔的层数，其中IL-1表示第L-1层的图像，分别表示图像IL-1的宽度和高度，图像IL可以通过图像IL-1计算得到：



S2.5、金字塔特征匹配算法具体实现如下：首先，在图像的最高一层计算出d和A；然后将上一层计算的d和A作为下一层图像的初始值，本层图像根据上一层输入的d和A，计算出本层的d和A；将本层图像计算出的d和A作为下一层图像的初始值，直到将计算出的d和A传递到最后一层图像，并将最后一层图像计算出的d和A作为最终的d和A，其中d表示光流，A表示变换矩阵；
S2.6、计算出金字塔每一层的光流dL和仿射变换矩阵AL，使L层的匹配误差εL最小，匹配误差εL的表达如下：



dx、dy表示光流d的向量形式，dxx、dyy、dxy、dyx表示图像中的仿射变换，整数wx、wy是图像上的矩形窗口大小，ILcomp和JLcomp是两幅2D图像第L层的灰度；
更新匹配结果：



其中，A仿是射变换矩阵，v是更新后光流的速度，[ηx、ηy、ηxx、ηxy、ηyx、ηyy]T是仿射光流的向量形式；
直到结束本层的迭代；
S2.7、最后对长焦摄像头获取的图像上的各像素点进行偏移变形，使变形后的图像可以与对应短焦摄像头获取的图像上的像素点逐一进行匹配，已变形的长焦摄像头的图像根据需求输入权值λ，与相应的短焦摄像头获取的图像通过公式F＝(1-λ)I+λ·J进行融合，得到最终的融合结果。


4.根据权利要求1所述的一种基于汽车分布式感知平台的...

【专利技术属性】
技术研发人员：刘军，陈辰，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32