基于目标检测及TET扩展指标的行车危险场景识别方法技术

本发明专利技术涉及一种基于目标检测及TET扩展指标的行车危险场景识别方法，具体包括以下S1.根据加速度阈值提取潜在危险场景；S2.确定车辆自适应可行驶区域；S3.检测可行驶区域内的最近交通对象；S4.对最近交通对象的像素距离进行去噪；S5.计算安全驾驶衡量指标ETET；S6.根据ETET指标提取危险驾驶场景模型。与现有技术相比，本发明专利技术具有准确率高、普适性强、提高对复杂交通环境感知的精准度、降低TET指标的局限性等优点。

【技术实现步骤摘要】
基于目标检测及TET扩展指标的行车危险场景识别方法
本专利技术涉及车辆自动驾驶
，尤其是涉及一种基于目标检测及TET扩展指标的行车危险场景识别方法。
技术介绍
使用多模态数据是交通安全性预测的新趋势，因为视频数据和运动学数据都有各自的局限性，以合理的方式融合这两类数据从而提高在场景风险预测的精度是当前研究的热点。目前已有一些关于高风险驾驶场景辨识的研究，但是当前的研究中仍存在一定问题。现有技术中有采用车辆速度和方向突变并结合视频帧差异来检测危险情况，其中自动编码器比较视频帧差异的方式较适用于拐角危险情况，在一般情况准确率仅为71％，不够理想；现有技术中也有基于运动学数据使用了经典机器学习分类器，包括kNN、随机森林、SVM、决策树、高斯邻域和AdaBoost，但测试结果的精度具有波动性，受到预测范围的影响很大。同时现有技术中有提出基于驾驶前向视频创建Motion图像，通过轨迹进行TTC计算或者其他信息的捕捉来预测风险。该方法对于大量的行车视频，用Motion图像将庞大的视频数据高效压缩，能有效提取运动特征来判断风险。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的精度不高、受预测范围影响较大的缺陷而提供一种基于目标检测及TET扩展指标的行车危险场景识别方法。本专利技术的目的可以通过以下技术方案来实现：一种基于目标检测及TET扩展指标的行车危险场景识别方法，具体包括以下步骤：S1.获取目标车辆的车辆运动数据，根据正态分布的3σ原则检测和过滤车辆运动数据的异常值，通过线性插值法填补过滤后的车辆运动数据的缺失值，同时基于自然驾驶数据获取加速度分布，确定潜在危险驾驶事件的危险加速度阈值，根据所述危险加速度阈值判断提取潜在危险驾驶事件的危险驾驶时间区段；S2.获取目标车辆的车辆几何参数，根据所述危险驾驶时间区段确认车体坐标系下可行驶区域两侧边界的坐标，根据相机标定参数，获取可行驶区域两侧边界的坐标对应的图像像素坐标，通过RANSAC算法拟合可行驶区域的边界线，并计算可行驶区域的消失点，根据所述可行驶区域的消失点及边界线，确定视频像素坐标下的可行驶区域；S3.获取目标车辆的驾驶视频，确定所述驾驶视频的每帧画面的视频像素坐标下的可行驶区域，通过深度学习实时对象检测框架检测视频像素坐标下的可行驶区域中的交通对象，确定距离目标车辆最近的最近交通对象，根据最近交通对象在驾驶视频的每帧画面中的纵向像素位置，计算最近交通对象与目标车辆的像素距离，并记录最近交通对象的类型，形成最近交通对象的轨迹信息；S4.根据所述最近交通对象的轨迹信息与距离变化阈值结合，分割最近交通对象，并通过Savitzky-Golay滤波算法对分割后的最近交通对象的像素距离进行平滑；S5.根据平滑处理后的最近交通对象，通过最近交通对象的纵向像素距离除以纵向像素距离变化速度计算出最近交通对象的TTC，并根据多个交通对象的TET，同时根据新出现的交通对象的纵向位置来判断其是否属于近距离切入，若是则对目标车辆的TET进行补偿计算，获得目标车辆的ETET；S6.根据目标车辆急刹车后的低速划分阈值，提取危险驾驶时间区段中目标车辆的平均速度小于所述低速划分阈值的时间区段，同时根据目标车辆刹车后加速时长占比识别平均速度小于所述低速划分阈值的时间区段中的潜在危险时间区段，根据目标车辆的ETET的阈值从所述潜在危险时间区段和危险驾驶时间区段中提取危险驾驶场景模型。所述步骤S1具体包括以下步骤：S11.获取目标车辆的车辆运动数据，根据正态分布的3σ原则检测和过滤车辆运动数据的异常值；S12.采用线性插值法填补过滤后的车辆运动数据的缺失值；S13.提取自然驾驶数据中的车辆加速度数据，绘制分布曲线，确定判断目标车辆减速的加速度阈值；S14.获取目标车辆的行车时序数据，根据所述判断目标车辆减速的加速度阈值采集紧急刹车时刻及其前后相应时长的时间片段，组成潜在高风险事件片段，将多个所述潜在高风险事件片段组成高风险事件预备集合；S15.根据前后相应时长的时间片段组成时间窗口，根据所述时间窗口将所述行车时序数据中剩余的时间片段组成正常事件预备集。进一步地，所述线性插值法的公式具体如下所示：其中，n为记录的时间片段的总数，i为时间片段的序号，为缺失值，di-1为当前缺失值的上一个非空最邻近值，di+1为当前缺失值的下一个非空最邻近值。进一步地，异常值的判断公式如下所示：|x-μ|＞3σ其中，x为运动学参数，μ为x的平均值，σ为x的标准差。进一步地，分割相邻紧急刹车时刻的判断公式如下所示：td[i+1]-td[i]≥|d1+d2|其中，td为紧急刹车时刻，d1为紧急刹车前时间片段，d2为紧急刹车后时间片段。所述步骤S2具体包括以下步骤：S21.采集目标车辆的前轮与车头的距离、车头高度与车宽，在车体坐标系下，确认可行驶区域的前方边界与目标车辆的距离，在轴方向上根据预设间隔等距设置多个坐标点；S22.根据相机标定参数，将可行驶区域两侧边界的车体坐标系下的坐标转化为视频图像中的像素坐标；S23.根据左右边界线的像素坐标，通过RANSAC算法计算得到左右边界线对应的直线方程，根据所述左右边界线的直线方程计算得到可行驶区域的消失点；S24.分别连接所述消失点与左右边界上的坐标点，确定视频像素坐标下的可行驶区域。进一步地，所述步骤S2中可行驶区域两侧边界的坐标点具体为：其中，为左边界的坐标点，为右边界的坐标点，取值范围均在前轮和车头的距离的数值大小与前方边界和目标车辆的距离的数值大小之间，tread为车宽，hhead为车头高度。进一步地，所述步骤S22具体包括以下过程：S221.获取相机的外参矩阵，将目标车辆的车体坐标转化为相机坐标，具体公式如下所示：其中，[Rt]为相机的外参矩阵，(Xw,Yw,Zw)T为目标车辆的车体坐标，(XC,YC,ZC)T为目标车辆的相机坐标；S222.根据相机畸变系数对相机坐标进行修正，修正方式具体如下所示：r2＝x2+y2其中，k1、k2、k3为径向畸变系数，ρ1、ρ2为切向畸变系数，(x,y)为修正前坐标，(xd,yd)为修正后坐标；S223.获取相机的内参矩阵，将修正后的相机坐标转化为像素坐标，具体公式如下所示：其中，(XC,YC,ZC)T为修正后的相机坐标，(u,v)T为像素坐标，fx、fx分别为x和y方向上的焦距，cx、cy分别为x和y方向上光心的偏移量。所述步骤S3具体包括以下步骤：S31.获取目标车辆的驾驶视频，确定所述驾驶视频的每帧画面的视频像素坐标下的可行驶区域，通过深度学习实时对象检测框架检测视频像素坐标下的可行驶区域中的交通对象，采集所述交通对象的基础信息，所述基础信息包括位置、大小、类型和置信度本文档来自技高网...

【技术保护点】
1.一种基于目标检测及TET扩展指标的行车危险场景识别方法，其特征在于，具体包括以下步骤：/nS1.获取目标车辆的车辆运动数据，根据正态分布的3σ原则检测和过滤车辆运动数据的异常值，通过线性插值法填补过滤后的车辆运动数据的缺失值，同时基于自然驾驶数据获取加速度分布，确定潜在危险驾驶事件的危险加速度阈值，根据所述危险加速度阈值判断提取潜在危险驾驶事件的危险驾驶时间区段；/nS2.获取目标车辆的车辆几何参数，根据所述危险驾驶时间区段确认车体坐标系下可行驶区域两侧边界的坐标，根据相机标定参数，获取可行驶区域两侧边界的坐标对应的图像像素坐标，通过RANSAC算法拟合可行驶区域的边界线，并计算可行驶区域的消失点，根据所述可行驶区域的消失点及边界线，确定视频像素坐标下的可行驶区域；/nS3.获取目标车辆的驾驶视频，确定所述驾驶视频的每帧画面的视频像素坐标下的可行驶区域，通过深度学习实时对象检测框架检测视频像素坐标下的可行驶区域中的交通对象，确定距离目标车辆最近的最近交通对象，根据最近交通对象在驾驶视频的每帧画面中的纵向像素位置，计算最近交通对象与目标车辆的像素距离，并记录最近交通对象的类型，形成最近交通对象的轨迹信息；/nS4.根据所述最近交通对象的轨迹信息与距离变化阈值结合，分割最近交通对象，并通过Savitzky-Golay滤波算法对分割后的最近交通对象的像素距离进行平滑；/nS5.根据平滑处理后的最近交通对象，通过最近交通对象的纵向像素距离除以纵向像素距离变化速度计算出最近交通对象的TTC，并根据多个交通对象的TET，同时根据新出现的交通对象的纵向位置来判断其是否属于近距离切入，若是则对目标车辆的TET进行补偿计算，获得目标车辆的ETET；/nS6.根据目标车辆急刹车后的低速划分阈值，提取危险驾驶时间区段中目标车辆的平均速度小于所述低速划分阈值的时间区段，同时根据目标车辆刹车后加速时长占比识别平均速度小于所述低速划分阈值的时间区段中的潜在危险时间区段，根据目标车辆的ETET的阈值从所述潜在危险时间区段和危险驾驶时间区段中提取危险驾驶场景模型。/n...

【技术特征摘要】
1.一种基于目标检测及TET扩展指标的行车危险场景识别方法，其特征在于，具体包括以下步骤：
S1.获取目标车辆的车辆运动数据，根据正态分布的3σ原则检测和过滤车辆运动数据的异常值，通过线性插值法填补过滤后的车辆运动数据的缺失值，同时基于自然驾驶数据获取加速度分布，确定潜在危险驾驶事件的危险加速度阈值，根据所述危险加速度阈值判断提取潜在危险驾驶事件的危险驾驶时间区段；
S2.获取目标车辆的车辆几何参数，根据所述危险驾驶时间区段确认车体坐标系下可行驶区域两侧边界的坐标，根据相机标定参数，获取可行驶区域两侧边界的坐标对应的图像像素坐标，通过RANSAC算法拟合可行驶区域的边界线，并计算可行驶区域的消失点，根据所述可行驶区域的消失点及边界线，确定视频像素坐标下的可行驶区域；
S3.获取目标车辆的驾驶视频，确定所述驾驶视频的每帧画面的视频像素坐标下的可行驶区域，通过深度学习实时对象检测框架检测视频像素坐标下的可行驶区域中的交通对象，确定距离目标车辆最近的最近交通对象，根据最近交通对象在驾驶视频的每帧画面中的纵向像素位置，计算最近交通对象与目标车辆的像素距离，并记录最近交通对象的类型，形成最近交通对象的轨迹信息；
S4.根据所述最近交通对象的轨迹信息与距离变化阈值结合，分割最近交通对象，并通过Savitzky-Golay滤波算法对分割后的最近交通对象的像素距离进行平滑；
S5.根据平滑处理后的最近交通对象，通过最近交通对象的纵向像素距离除以纵向像素距离变化速度计算出最近交通对象的TTC，并根据多个交通对象的TET，同时根据新出现的交通对象的纵向位置来判断其是否属于近距离切入，若是则对目标车辆的TET进行补偿计算，获得目标车辆的ETET；
S6.根据目标车辆急刹车后的低速划分阈值，提取危险驾驶时间区段中目标车辆的平均速度小于所述低速划分阈值的时间区段，同时根据目标车辆刹车后加速时长占比识别平均速度小于所述低速划分阈值的时间区段中的潜在危险时间区段，根据目标车辆的ETET的阈值从所述潜在危险时间区段和危险驾驶时间区段中提取危险驾驶场景模型。


2.根据权利要求1所述的一种基于目标检测及TET扩展指标的行车危险场景识别方法，其特征在于，所述步骤S1具体包括以下步骤：
S11.获取目标车辆的车辆运动数据，根据正态分布的3σ原则检测和过滤车辆运动数据的异常值；
S12.采用线性插值法填补过滤后的车辆运动数据的缺失值；
S13.提取自然驾驶数据中的车辆加速度数据，绘制分布曲线，确定判断目标车辆减速的加速度阈值；
S14.获取目标车辆的行车时序数据，根据所述判断目标车辆减速的加速度阈值采集紧急刹车时刻及其前后相应时长的时间片段，组成潜在高风险事件片段，将多个所述潜在高风险事件片段组成高风险事件预备集合；
S15.根据前后相应时长的时间片段组成时间窗口，根据所述时间窗口将所述行车时序数据中剩余的时间片段组成正常事件预备集。


3.根据权利要求2所述的一种基于目标检测及TET扩展指标的行车危险场景识别方法，其特征在于，所述线性插值法的公式具体如下所示：



其中，n为记录的时间片段的总数，i为时间片段的序号，为缺失值，di-1为当前缺失值的上一个非空最邻近值，di+1为当前缺失值的下一个非空最邻近值。


4.根据权利要求1所述的一种基于目标检测及TET扩展指标的行车危险场景识别方法，其特征在于，所述步骤S2具体包括以下步骤：
S21.采集目标车辆的前轮与车头的距离、车头高度与车宽，在车体坐标系下，确认可行驶区域的前方边界与目标车辆的距离，在轴方向上根据预设间隔等距设置多个坐标点；
S22.根据相机标定参数，将可行驶区域两侧边界的车体坐标系下的坐标转化为视频图像中的像素坐标；
S23.根据左右边界线的像素坐标，通过RANSAC算法计算得到左右边界线对应的直线方程，根据所述左右边界线的直线方程计算得到可行驶区域的消失点；
S24.分别连接所述消失点与左右边界上...

【专利技术属性】
技术研发人员：高珍，余荣杰，许靖宁，李殊远，欧明锋，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31