基于图像识别和毫米波雷达融合的自动刹车方法和系统技术方案

本发明专利技术涉及一种基于图像识别和毫米波雷达融合的自动刹车方法和系统，通过采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对目标雷达图像、环境图像及目标图像进行处理；将处理后图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。由于将目标雷达图像、环境图像及目标图像进行了加权融合，进而进行刹车控制，使得自动刹车的准确度更高，提高了驾驶的安全度。

Automatic braking method and system based on image recognition and millimeter wave radar fusion

The invention relates to a millimeter wave radar image recognition and fusion method and automatic braking system based on the distance between the target and the radar image acquisition target distance the car in front of the millimeter wave radar of the vehicle; environmental image and camera to obtain the target vehicle using the car in front of the target image; the semantic segmentation of deep learning radar image, image and the target image based on the processed image; weighted fusion, according to the image information fusion to calculate the distance, velocity and acceleration of the vehicle and the target; according to the distance, velocity and acceleration of the vehicle and the target to calculate the collision in the car and the target expected time in collision is expected; time to reach the critical point in time when the collision brake control, automatic braking of the vehicle. Because the target radar image, the environment image and the target image are weighted together, and then the brake is controlled, the accuracy of the automatic braking is higher, and the driving safety degree is improved.

【技术实现步骤摘要】
基于图像识别和毫米波雷达融合的自动刹车方法和系统
本专利技术涉及自动刹车控制技术，特别是涉及一种基于图像识别和毫米波雷达融合的自动刹车方法和系统。
技术介绍
自动刹车系统主要由信息采集系统、数据分析系统和执行机构3大模块构成，自动刹车系统通过信息采集系统收集到车辆外部环境数据，然后利用数据分析系统将采集到的数据做进一步处理，得出本车与前方目标的距离、与前方目标的预计碰撞时间。执行机构系统将数据分析系统的输出结果与警示距离、安全距离进行比较，当距离小于警示距离时进行警报提示，而当小于安全距离时即使在驾驶员没有来得及踩制动踏板的情况下，自动刹车系统系统也会启动，对汽车进行自动制动，即执行机构会自动在刹车系统上加力，以帮助驾驶员在做出动作前缩短刹车距离，最大限度避免碰撞事故的发生。在实际行车中，由于驾驶员的疲劳，雨天雾天等恶劣天气导致视线受阻等，很容易发生交通事故。通过对交通事故分析发现，配备自动刹车系统可以降低17％以上的追尾事故。在最新的美国保险协会与欧洲新车碰撞测试中心(E-NCAP)的车辆安全评价标准中，均将自动刹车系统作为重要的评价对象。由此可见，自动刹车系统对行车安全以具有很大的帮助。目前自动刹车系统的数据采集模块，或使用雷达系统，或使用视频系统。雷达系统的主要问题是只能对纵向距离进行准确检测，但是对于横向距离以及垂直向信息无法识别，即对物体尺寸、运动等不能进行良好的估计。由于雷达的发射角度小，距离过于近的物体可能测不到或者不准(如波束从对方车正面穿过去、对方不是正好在正前方等等情况)。基于图像的测距系统容易受到光照、天气、等的影响，尤其在夜间以及极端天气(如雾天，雪天)条件下，检测性能大打折扣。
技术实现思路
基于此，有必要提供一种安全性能高的基于图像识别和毫米波雷达融合的自动刹车方法和系统。一种基于图像识别和毫米波雷达融合的自动刹车方法，包括以下步骤：采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。在其中一个实施例中，所述采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理的步骤包括：采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；采用CFR图像语义分割进一步确定每个像素所属类标。在其中一个实施例中，所述将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合的步骤包括：动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。在其中一个实施例中，所述动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重的步骤包括：在距离阈值范围内，调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；在超过距离阈值范围时，降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。在其中一个实施例中，还包括以下步骤：在碰撞预计时间超过安全时间临界时间点时，向本车的驾驶人员发出视觉报警信号；在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；在碰撞预计时间超过不可避免碰撞制动临界时间点时，控制本车的安全带预紧张。一种基于图像识别和毫米波雷达融合的自动刹车系统，包括毫米波雷达模块、车载摄像头模块、语义分割处理模块、加权融合模块、计算模块及控制模块；所述毫米波雷达模块用于采集本车前方的目标雷达图像及目标距离本车的距离；所述车载摄像头模块用于获取本车前方的环境图像及目标图像；所述语义分割处理模块用于采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；所述加权融合模块用于将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；所述计算模块用于根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，所述控制模块用于控制本车进行自动刹车。在其中一个实施例中，所述语义分割处理模块还用于采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；所述语义分割处理模块还用于采用CFR图像语义分割进一步确定每个像素所属类标。在其中一个实施例中，所述加权融合模块还用于动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。在其中一个实施例中，在距离阈值范围内，所述加权融合模块还用于调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；在超过距离阈值范围时，所述加权融合模块还用于降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。在其中一个实施例中，在碰撞预计时间超过安全时间临界时间点时，所述控制模块还用于向本车的驾驶人员发出视觉报警信号；在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，所述控制模块还用于向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；在碰撞预计时间超过不可避免碰撞制动临界时间点时，所述控制模块还用于控制本车的安全带预紧张。上述基于图像识别和毫米波雷达融合的自动刹车方法和系统通过采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。由于将目标雷达图像、环境图像及目标图像进行了加权融合，进而根据加权融合的图像信息进行刹车控制，使得自动刹车的准确度更高，提高了驾驶的安全度。附图说明图1为基于图像识别和毫米波雷达融合的自动刹车方法的流程图；图2为条件随机场图像语义分割的类标示意图；图3为基于图像识别和毫米波雷达融合的自动刹车系统的模块图。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。附图中给出了本专利技术的较佳实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容的理解更加透彻全面。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本专利技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。如图1所示，为基于图像识别和毫米波雷达融合的自动刹车方法的流程图。一种基于图像识别和毫米波雷达融合的自动刹车方法，包括以下步本文档来自技高网...

【技术保护点】
一种基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于：包括以下步骤：采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。

【技术特征摘要】
1.一种基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于：包括以下步骤：采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。2.根据权利要求1所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，所述采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理的步骤包括：采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；采用CFR图像语义分割进一步确定每个像素所属类标。3.根据权利要求1所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，所述将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合的步骤包括：动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。4.根据权利要求3所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，所述动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重的步骤包括：在距离阈值范围内，调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；在超过距离阈值范围时，降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。5.根据权利要求1所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，还包括以下步骤：在碰撞预计时间超过安全时间临界时间点时，发出视觉报警信号；在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，发出声音报警信号且进行自动刹车预制动；在碰撞预计时间超过不可避免碰撞制动临界时间点时，控制本车的安全带预紧张。6.一种基于图像识别和毫米波雷达融合的自动刹车系统，...

【专利技术属性】
技术研发人员：刘国清，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：广东,44