基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法技术

本发明专利技术涉及一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法：①基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；②估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；③通过声音以及图形界面两种交互方式向驾驶者发出分级预警；④用PID控制器通过电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道或有变道意图且有碰撞风险时能够回到当前行驶车道。本发明专利技术能主动避免相应潜在事故的发生，提升车辆自动驾驶的主动安全性能。

Lane Assist method of steering torque control based on vehicle blind area vision scene analysis

【技术实现步骤摘要】
基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法
本专利技术涉及汽车自动驾驶
，尤其涉及一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法。
技术介绍
智能化是如今汽车行业发展的重要趋势之一，预计2020～2030期间智能驾驶技术与系统将在世界范围内快速发展。绝大部分整车制造商在智能化领域的技术路线规划稳步从L1级、L2级辅助驾驶系统向L3级及以上级别辅助驾驶系统过渡与升级。对于量产车型而言，辅助驾驶系统的功能集成化程度以及成本是整车企业关注的重点。现有高级辅助驾驶系统在高速场景工况下，大多依据前向以及盲区视觉或毫米波雷达系统输入进行相应预警或辅助车辆控制；在低速场景工况下，大多依据360°环视系统以及超声波雷达系统输入进行相应预警或辅助车辆控制。现有车道级辅助驾驶系统主要包括车辆变道辅助系统(LCAS)与车道偏离预警系统(LDAS)两类。现有此类量产系统主要以预警应用为主，车辆完全由驾驶者操控。车辆变道辅助系统，对驾驶员有变道意图的情况下在车辆盲区范围内存在快速行驶车辆的情况做出预警，以避免潜在变道交通事故的发生。车道偏离预警系统，对驾驶员无变道意图情况下的车道偏离现象做出预警，从而避免潜在变道交通事故或违规驾驶行为(实线变道)的发生。现有此类量产系统功能是基于不同的视觉系统或毫米波雷达系统输入完成的(LDAS由前向视觉算法实现，LCAS则通过盲区视觉/雷达算法完成)。现有通过车辆盲区监视实现变道辅助的系统(LCAS)感知方案主要分为两大类：一类基于毫米波雷达，另一类基于视觉系统。其中，基于毫米波雷达的方案相对成本较高，且中近距离物体检测虚报率偏高。基于视觉系统的方案，利用稀疏光流算法聚类具图像ROI区域有相似运动特征的障碍物，算法实时性好，但检测准确性较差，且易受极端天气影响。现有车道偏离预警系统(LDAS)主要基于前视单目相机的图像分析与处理，提取车道线信息、计算预警指标以及做出相应应用决策。综上所述，现有上述两个系统需要基于不同的感知输入，单一系统车道级的辅助驾驶功能应用不完善并且系统输出仅限于L0级的预警应用，在驾驶员对预警信号无法做出正确响应的情况下难以避免潜在交通事故的发生。
技术实现思路
本专利技术为了解决上述技术问题，提供一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，能够在无变道意图车辆偏离时或主动变道存在碰撞风险时，通过方向盘扭矩回正控制使车辆回归当前车道，从而避免相应潜在事故的发生，主动安全性好，有效提高中高速工况车辆车道保持以及变道行驶的安全性能。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，包括下列步骤：①盲区视觉场景输入分析：基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；②视觉场景分析结果后处理：基于盲区相机安装参数，估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；③转向扭矩控制：用PID控制器通过电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道。本专利技术通过盲区视觉场景结构化数据分析，能够在无变道意图车辆偏离时或主动变道存在碰撞风险时，通过对车辆进行转向扭矩控制，使车辆回归当前行驶车道，从而避免相应潜在事故的发生。作为优选，所述的步骤①包括下列步骤：(1.1)多任务卷积神经网络拓扑：输入为三通道RGB图像，经共享卷积特征编码描述后，分支解码输出目标检测结果以及路面语义分割结果；(1.2)离线模型训练：采集不同时间、不同天气以及不同驾驶工况的盲区场景驾驶视频，按固定时间间隔选取时序离散训练样本，人工标注生成训练标签；(1.3)模型压缩：按照嵌入式平台运算特性，将步骤(1.2)中离线模型训练所得模型参数进行压缩操作，经精度验证与重训练后，将精简模型部署于嵌入式平台；(1.4)在线模型推理：按步骤(1.1)中网络拓扑定义的网络输入尺寸，截取并缩放图像原始数据ROI部分，进行图像预处理，将预处理完的图像输入压缩后的神经网络，经模型前向运算后输出模型定义盲区场景分析结果。作为优选，所述的步骤②包括下列步骤：(2.1)神经网络输出后处理，包括目标输出后处理以及路面语义输出后处理；(2.2)计算图像坐标对应的路面现实距离；(2.3)盲区车辆跟踪；(2.4)车道线跟踪；(2.5)计算自身车辆与盲区车辆预碰撞时间TTC，计算自身车辆车道预偏离时间TLC。作为优选，所述的步骤(2.1)具体为：目标输出后处理：按如下公式计算目标序列中同类目标的图像区域重合度IOU，将重合度大于设定阈值的同类目标定义为相同目标，选取置信度最高的目标位置作为该目标的最终输出结果；其中，areai为目标i的图像区域面积；路面语义输出后处理：将路面语义图层按如下公式进行输出通道压缩后，送入车道边界回归网络进行车道线二阶拟合解析参数回归，输出车道线解析参数a，b，c；其中，chi(x，y)为路面语义图层通道i在(x，y)坐标处的置信度，Rmin为预设置信度阈值。作为优选，所述的步骤(2.2)具体为：根据离线盲区相机标定的道路平面映射矩阵HL/R，按如下公式计算图像坐标对应的路面现实距离；其中，为实际坐标，为图像坐标，下标L、R分别对应左、右盲区相机。作为优选，所述的步骤(2.3)盲区车辆跟踪具体为：利用卡尔曼滤波基于匀速运动学模型，预测盲区车辆运动：Xt＝Xt-1+vx，t-1ΔtYt＝Yt-1+vy，t-1ΔtWt＝Wt-1Ht＝Ht-1vx，t＝vx，t-1vy，t＝vy，t-1其中，(Xt，Yt)为目标的相对位置，(Wt，Ht)为目标的宽度和高度，(vx，t，vy，t)为目标的相对速度。作为优选，所述的步骤(2.4)车道线跟踪具体为：由于车道线为静止物体，利用车辆自身运动按如下公式更新车辆坐标系原点位置，从而更新车道线解析参数：ψt＝ψt-1+ωtΔt其中，(XO，t，YO，t)为原点坐标，ψt为横摆角。作为优选，所述的步骤(2.5)具体为：计算自身车辆与盲区车辆预碰撞时间TTC：公式如下，其中Di为自身车辆和盲区车辆间的距离，为盲区车辆的相对速度，计算自身车辆车道预偏离时间TLC：公式如下，其中Li为单侧车道线和自身车辆间的距离，θi为该车道线在车辆坐标系下与自身车辆航向的夹角，Vego为自身车辆车速，作为优选，所述的步骤③具体为：当自身车辆和盲区车辆间的距离小于预设阈值或单侧车道线和自身车辆间的距离小于预设阈值时，进行转向本文档来自技高网...

【技术保护点】
1.一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于包括下列步骤：/n①盲区视觉场景输入分析：基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；/n②视觉场景分析结果后处理：基于盲区相机安装参数，估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；/n③转向扭矩控制：用PID控制器通过电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道。/n

【技术特征摘要】
1.一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于包括下列步骤：
①盲区视觉场景输入分析：基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；
②视觉场景分析结果后处理：基于盲区相机安装参数，估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；
③转向扭矩控制：用PID控制器通过电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道。


2.根据权利要求1所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤①包括下列步骤：
(1.1)多任务卷积神经网络拓扑：输入为三通道RGB图像，经共享卷积特征编码描述后，分支解码输出目标检测结果以及路面语义分割结果；
(1.2)离线模型训练：采集不同时间、不同天气以及不同驾驶工况的盲区场景驾驶视频，按固定时间间隔选取时序离散训练样本，人工标注生成训练标签；
(1.3)模型压缩：按照嵌入式平台运算特性，将步骤(1.2)中离线模型训练所得模型参数进行压缩操作，经精度验证与重训练后，将精简模型部署于嵌入式平台；
(1.4)在线模型推理：按步骤(1.1)中网络拓扑定义的网络输入尺寸，截取并缩放图像原始数据ROI部分，进行图像预处理，将预处理完的图像输入压缩后的神经网络，经模型前向运算后输出模型定义盲区场景分析结果。


3.根据权利要求1所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤②包括下列步骤：
(2.1)神经网络输出后处理，包括目标输出后处理以及路面语义输出后处理；
(2.2)计算图像坐标对应的路面现实距离；
(2.3)盲区车辆跟踪；
(2.4)车道线跟踪；
(2.5)计算自身车辆与盲区车辆预碰撞时间TTC，计算自身车辆车道预偏离时间TLC。


4.根据权利要求3所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤(2.1)具体为：
目标输出后处理：按如下公式计算目标序列中同类目标的图像区域重合度IOU，将重合度大于设定阈值的同类目标定义为相同目标，选取置信度最高的目标位置作为该目标的最终输出结果；



其中，areai为目标i的图像区域面积；
路面语义输出后处理：将路面语义图层按如下公式进行输出通道压缩后，送入车道边界回归网络进行车道线二阶拟合解析参数回归，输出车道线解析参数a，b，c；



其中，cht(x，y)为路面语义图层通道i在(x，y)坐标处的置信度，Rmin为预设置信度阈值。


5.根据权利要求3所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤(2.2)具体为：
根据离线盲区相机标定的道路平面映射矩阵HL/R，按如下公式计算图像坐标对...

【专利技术属性】
技术研发人员：缪其恒，骆超杰，金智，王江明，许炜，
申请(专利权)人：浙江零跑科技有限公司，
类型：发明
国别省市：浙江;33