一种融合视觉注意力机制的智能车辆环境感知方法技术

本发明专利技术公开了一种融合视觉注意力机制的智能车辆环境感知方法，包括以下步骤：将处理后的视差图和灰度图输入到权重共享的孪生卷积神经网络中，提取灰度特征即G特征和深度特征即D特征；利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的注意力分配权重W；采用Hadamard乘积方式进行融合，生成视觉注意力特征A；将压缩后的视觉注意力特征A输入到回归预测网络中进行回归预测，得到目标的位置以及类别。本发明专利技术引入视觉注意力机制，有助于减少图像中无关区域对计算资源的占用，且对注意力集中的区域具有更高的检测精确度。本发明专利技术可降低交通场景的复杂性，减少无关区域占用的计算资源，提高目标检测的实时性。

An environment perception method of intelligent vehicle based on visual attention mechanism

【技术实现步骤摘要】
一种融合视觉注意力机制的智能车辆环境感知方法
本专利技术涉及智能车辆的环境感知领域，尤其涉及一种基于计算机视觉的智能车辆环境感知方法。
技术介绍
随着汽车自动驾驶技术与智能网联技术的发展，智能车辆成为当下的研究热点，而智能车辆的环境感知技术是智能车辆领域最具有挑战性的技术问题，如何实时准确的识别车辆周围的障碍物信息是汽车自动驾驶的前提。目前，在计算机视觉领域，基于深度学习的目标检测算法是主流的环境感知方法，其被定义为：通过深度学习模拟人类的视觉感知过程，对视觉传感器所获取的图像进行处理，从输入的图像中，识别目标的位置及类别并对其进行标记。虽然深度学习算法可以获得较高的识别准确率，但其识别速度远不能满足低成本要求下自动驾驶的实时性要求，而且在背景复杂的情况下，识别精确度也会明显下降。其中，影响深度学习速度的一个重要因素是：在计算机对图像进行感知时，会无差别遍历图像中的每一个区域，对其进行特征提取和分类识别；而人类在对眼睛获取的图像进行感知时，会把注意力集中在关键的物体或区域，而自动忽视一些无关区域，这显著提高了图像处理的速度，并且在注意力本文档来自技高网...

【技术保护点】
1.一种融合视觉注意力机制的智能车辆环境感知方法，其特征在于：包括以下步骤：/nA：图像预处理，对双目立体视觉系统输出的RGB图进行灰度化处理，生成灰度图，利用V视差算法对视差图进行处理，提取视差图中的地面区域，并把超过车辆一定高度的区域设定为非感兴趣区域，将视差图中的地面和非感兴趣区域滤除；/nB：将处理后的视差图和灰度图输入到权重共享的孪生卷积神经网络中，提取灰度特征即G特征和深度特征即D特征；/nC：利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的权重分布特征，即注意力分配权重W，其分配的规则为：视差值越大，代表距离越近，则权重越大，分配的注意力越大；视差值越小...

【技术特征摘要】
1.一种融合视觉注意力机制的智能车辆环境感知方法，其特征在于：包括以下步骤：
A：图像预处理，对双目立体视觉系统输出的RGB图进行灰度化处理，生成灰度图，利用V视差算法对视差图进行处理，提取视差图中的地面区域，并把超过车辆一定高度的区域设定为非感兴趣区域，将视差图中的地面和非感兴趣区域滤除；
B：将处理后的视差图和灰度图输入到权重共享的孪生卷积神经网络中，提取灰度特征即G特征和深度特征即D特征；
C：利用归一化算法对D特征和车辆转角信号进行归一化，生成与深度和车辆转角有关的权重分布特征，即注意力分配权重W，其分配的规则为：视差值越大，代表距离越近，则权重越大，分配的注意力越大；视差值越小，代表距离越远，则权重越小，分配的注意力越小；且当视差值小于阈值T时，则权重置为0；当车辆转向传感器获得正转向角时，即车辆向右转向，D特征的特征图左侧分配较高权重，且车辆转角越大，分配权重越高，右侧分配较低的权重，且右侧区域权重自左向右，逐渐降低；当转向角为负时，即车辆向左转向，D特征的特征图右侧分...

【专利技术属性】
技术研发人员：连静，王政皓，李琳辉，周雅夫，尹昱航，李磊，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21