一种交叉口多视角大型车辆盲区预警方法技术

本发明专利技术提出了一种交叉口多视角大型车辆盲区预警方法，通过在交叉口内部布设多机位摄像头的方式，对交叉口内大型车辆与行人目标形成多视角检测，识别采用训练好的YOLOv5模型，通过多视角单应性变换实现人车坐标的俯视图重构与转换，提出主视角闵可夫斯基加权算法对多视角捕获到的目标进行同源锁定，提出多视角遮挡率加权修正算法对大型车状态空间进行融合修正，提出CTARA模型对大型车辆进行轨迹预测，提出建立自适应盲区模型库，通过车辆特征信息实现大型车辆盲区的自适应匹配，最后基于盲区重合度提出全盲区及半盲区两类形式，实现多视角下大型车辆的盲区预警。相比于现有的盲区预警方法，本发明专利技术弥补了单目摄像头视野范围受限的缺点，提高了车辆盲区范围的针对性，避免了车载装置存在数据交互不统一与推广困难的问题。的问题。的问题。

【技术实现步骤摘要】
一种交叉口多视角大型车辆盲区预警方法


[0001]本专利技术涉及智能交通设施技术与车辆预警
，特别涉及到一种多视角下的大型车辆盲区预警方法。

技术介绍

[0002]随着公共交通与货物运输需求的上升，大型车辆在道路交通流中的占比也在增加，针对大型车视野受限与因盲区造成的交通事故较其他车型具有严重性，大型车辆的盲区预警已逐渐成为道路设施优化重点与车辆行车安全的重要保障。
[0003]目前针对大型车辆的盲区预警，大多采用的是加装车载装置的方式，通过单目视觉成像，或借助雷达、超声波等微波技术，或结合多种传感器来实现车辆的盲区预警。然而当前的方法都存在一定的限制与缺陷：一是没有考虑不同车型、不同姿态等各类情况下的预警范围，缺少针对性和泛化能力；二是采用的单目视觉成像等方法存在识别范围受限，难以提供其他盲区的视角情况，无法覆盖交叉口的全部区域等问题；三是采用的微波技术易受天气因素的影响，精度缺乏保障。
[0004]此外目前的预警方法也还存在易受障碍物遮挡影响、目标识别不够全面、在目标距离较远时会精度出现下降、算法的鲁棒性有待提升等问题；同时车辆加装外设装置的方式也存在推广成本较高、面向对象受限等缺点，因此寻找一种新的大型车辆盲区预警方法来实现车辆多方位的识别与多目标数据的整合具有必要性与创新性。

技术实现思路

[0005]为克服当前在道路交叉口存在的大型车辆盲区预警技术存在的不足与缺陷，本专利技术提供了一种交叉口多视角大型车辆盲区预警方法，具体包括以下实施步骤：S10：多视角大型车辆与行人检测识别。采用训练好的具备可用于识别大型车种类、车辆姿态以及行人的权重的YOLOv5模型对车辆目标与行人目标进行识别。提出在交叉口内布设多机位摄像头的方式，对交叉口内采集多角度画面并对画面赋予编号；当第角度画面检测到出现大型车辆时，将所述画面作为主视角画面，将所述车辆作为关键目标，采集所述目标的车辆尺寸信息与特征信息，进行S20；当第角度画面检测到出现行人时，进行S60；S20：大型车辆坐标转换与同源匹配。对各视角画面与对应交叉口俯视图坐标进行标定，通过单应性变换，将各画面内获取的大型车坐标转换到世界坐标系下；在同一坐标系下多视角坐标的基础上，提出主视角闵可夫斯基加权算法对各画面获取到的所述交叉口坐标()进行目标划分，实现不同视角下同一目标的锁定；S30：大型车辆状态空间修正。采用所述YOLOv5模型，通过视角转换，输出各角度画面内大型车在二维世界坐标系下的状态空间；由各角度画面内大型车的受遮挡情况提出遮挡率概念，并在此基础上提出多视角遮挡率加权修正算法，对所述同一大
型车的所有状态空间进行修正，得到大型车的修正状态空间；构成大型车所述状态空间的特征量包括交叉口坐标()、偏航角、速度、加速度以及角加速度；S40：预测大型车辆的短时未来轨迹。以当前时刻为初始帧，提出CTARA（Constant Turn Acceleration Rate and Acceleration）模型对所述目标进行轨迹预测，以40毫秒为间隔，得到未来1秒内大型车辆的预测状态空间；S50：自适应车辆盲区匹配与计算。提出自适应大型车盲区模型库的建立，通过S10所述车辆尺寸信息调取对应盲区模型库，得到各预测坐标()下的盲区范围；对所述范围进行重叠累计，设定出全盲区与半盲区范围；所述自适应大型车盲区模型库包括自适应静态视觉盲区与右转向轨迹盲区；S60：行人位置与盲区预警范围重合度检测。通过所述单应性变换，将行人的所述画面坐标()转换到所述交叉口坐标()，判断是否在盲区预警范围内，是则进行S70；否则回到S40；S70：对来车方向进行LED文字滚动与语音提示警报。对所述全盲区采取持续预警，即存在行人即刻启动预警；对所述半盲区采取选择性预警，即当存在行人时，仅车辆靠近后启动预警。
[0006]进一步的，所述S10对大型车采集的所述车辆尺寸信息包括：车辆轴数、轴距、车身长度以及车身宽度；所述车辆特征信息包括车头左右车灯、驾驶室挡风玻璃边角、左右后视镜、车牌、前后车轮、左右侧窗玻璃边角、车辆货箱，车厢边缘点、车尾灯以及后围板玻璃四角；进一步的，所述S20主视角闵可夫斯基加权算法过程如下：S21：以交叉口平面几何中心作为原点建立二维世界坐标系，以视频画面左上角为原点建立像素坐标系，得到第画面中大型车的二位检测框中心点在所述像素坐标系中的画面坐标()，通过单应性变换，将所述画面坐标()转换到所述二维世界坐标系下的交叉口坐标()；S22：由主视角画面获取到的大型车交叉口坐标与速度生成目标判别空间，其余画面获取到的大型车交叉口坐标与速度生成；；S23：若两所述目标判别空间符合以下关系：则说明第画面与第画面（主视角画面）识别到相同目标，进入S50；否则说明存在第二目标，继续寻找符合所述关系的坐标点，直到所有所述坐标都锁定了对应目标；式中为大型车在第画面（主视角画面）内的交叉口坐标，为大型车在第画面内的交叉口坐标，、、为量纲权重值，为其他视角与主视角目标判定空间的闵可夫斯
基加权距离，为分类误差值；进一步的，所述S30大型车偏航角采用余弦向量转换得到，过程如下：S31：采用所述训练好的YOLOv5模型，输出各画面内大型车当前在车辆坐标系下的偏航角，由得到车辆坐标系下的车辆朝向量；S32：通过S20所述多视角单应性变换，得到大型车在各画面中世界坐标系下的偏航角：：式中，为从车辆坐标系转换到世界坐标系的单应性矩阵，为世界坐标系下的车辆朝向量；进一步的，在所述S42之后，所述大型车辆状态空间修正过程如下：S33：所述大型车在各画面内的遮挡率有如下表达式：式中，为大型车二维检测框长与宽，为当前二维检测框受遮挡部份的长与宽，为识别到的S11所述大型车特征信息的数量；为当前大型车受遮挡而未识别到的所述大型车特征，为尺寸修正指数项，为特征修正指数项；S34：对所述状态空间进行多视角遮挡率加权修正：的表达式为：式中，()为第画面内大型车的交叉口坐标，、、以及分别为第画面内大型车的偏航角、速度、加速度、角加速度；权向量各元素的表达式为：式中，为第画面内大型车的遮挡率；通过多视角遮挡率加权修正，有修正状态空间：
进一步的，S40中提出的所述CTARA模型对大型车辆的预测过程如下：S41：所述预测状态空间有有S42：输出大型车短时未来在交叉口内的25个预测坐标点；进一步的，在所述S42之后，对大型车的自适应盲区适配过程为：S51：以S42所述的各交叉口坐标作为车辆的几何中心，由车身长度、车身宽度与偏航角确定大型车二维下的四顶点在时刻下的交叉口坐标位置；
式中，为车辆的几何中心，为车头左侧顶点，为车头右侧顶点，为车尾左侧顶点，为车尾右侧顶点；S52：对识别到的大型车进行分类：基于S11所述车辆尺寸信息得车型分类值：当时判定车辆为Ⅰ型大型车，时判定车辆为Ⅱ型大型车；式中，为车型分类阈值，为车身长，为车身宽，为车辆轴数，为车辆轴距，、、、为车型分类值常数；S53：对大型车的各预测点位适配自适应静态视觉盲区；S54：计算预测状态空间第一点与最终点的偏航角差值与横坐标差值：若满足以下条件：则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交叉口多视角大型车辆盲区预警方法，其特征在于：包括以下步骤：S10：多视角大型车辆与行人检测识别，采用训练好的具备可用于识别大型车种类、车辆姿态以及行人的权重的YOLOv5模型对车辆目标与行人目标进行识别，提出在交叉口内布设多机位摄像头的方式，对交叉口内采集多角度画面并对画面赋予编号i；当第i角度画面检测到出现大型车辆时，将所述画面作为主视角画面，将所述车辆作为关键目标，采集所述目标的车辆尺寸信息与特征信息，进S20；当第i角度画面检测到出现行人时，进行S60；S20：大型车辆坐标转换与同源匹配，对各视角画面与对应交叉口俯视图坐标进行标定，通过单应性变换，将各画面内获取的大型车坐标转换到世界坐标系下；在同一坐标系下多视角坐标的基础上，提出主视角闵可夫斯基加权算法对各画面获取到的所述交叉口坐标(X_wi,Y_wi)进行目标划分，实现不同视角下同一目标的锁定；S30：大型车辆状态空间修正，采用所述YOLOv5模型，通过视角转换，输出各角度画面内大型车在二维世界坐标系O_w
‑
X_w Y_w下的状态空间Z_i；由各角度画面内大型车的受遮挡情况提出遮挡率θ_i概念，并在此基础上提出多视角遮挡率加权修正算法，对所述同一大型车的所有状态空间Z_i进行修正，得到大型车的修正状态空间Z_k；构成大型车所述状态空间的特征量包括交叉口坐标(X_wi,Y_wi)、偏航角φ_i、速度v_i、加速度α_i以及角加速度ω_i；S40：预测大型车辆的短时未来轨迹，以当前时刻为初始帧，提出CTARA（Constant Turn Acceleration Rate and Acceleration）模型对所述目标进行轨迹预测，以40毫秒为间隔，得到未来1秒内大型车辆的预测状态空间Z_(k+m)；S50：自适应车辆盲区匹配与计算，提出自适应大型车盲区模型库的建立，通过S10所述车辆尺寸信息调取对应盲区模型库，得到各预测坐标(X_wn,Y_wn)下的盲区范围；对所述范围进行重叠累计，设定出全盲区与半盲区范围；所述自适应大型车盲区模型库包括自适应静态视觉盲区与右转向轨迹盲区；S60：行人位置与盲区预警范围重合度检测，通过所述单应性变换，将行人的所述画面坐标(u_i,v_i)转换到所述交叉口坐标(X_wi,Y_wi)，判断是否在盲区预警范围内，是则进行 S70；否则回到S40；S70：对来车方向进行LED文字滚动与语音提示警报，对所述全盲区采取持续预警，即存在行人即刻启动预警；对所述半盲区采取选择性预警，即当存在行人时，仅车辆靠近后启动预警。2.根据权利要求1所述的一种交叉口多视角大型车辆盲区预警方法，其特征在于：对大型车采集的所述车辆尺寸信息包括：车辆轴数N、轴距T、车身长度L以及车身宽度W；所述车辆特征信息包括车头左右车灯、驾驶室挡风玻璃边角、左右后视镜、车牌、前后车轮、左右侧窗玻璃边角、车辆货箱，车厢边缘点、车尾灯以及后围板玻璃四角。3.根据权利要求1与2所述的一种交叉口多视角大型车辆盲区预警方法，其特征在于：所述主视角闵可夫斯基加权算法过程如下：S21：以交叉口平面几何中心作为原点建立二维世界坐标系，以视频画面左上角为原点建立像素坐标系，得到第画面中大型车的二位检测框中心点在所述像素
坐标系中的画面坐标()，通过单应性变换，将所述画面坐标()转换到所述二维世界坐标系下的交叉口坐标()；S22：由主视角画面获取到的大型车交叉口坐标与速度生成目标判别空间，其余画面获取到的大型车交叉口坐标与速度生成；；S23：若两所述目标判别空间符合以下关系：则说明第画面与第画面（主视角画面）识别到相同目标，进入S50；否则说明存在第二目标，继续寻找符合所述关系的坐标点，直到所有所述坐标都锁定了对应目标；式中为大型车在第画面（主视角画面）内的交叉口坐标，为大型车在第画面内的交叉口坐标，、、为量纲权重值，为其他视角与主视角目标判定空间的闵可夫斯基加权距离，为分类误差值。4.根据权利要求1与3所述的一种交叉口多视角大型车辆盲区预警方法，其特征在于：所述大型车偏航角采用余弦向量转...

【专利技术属性】
技术研发人员：李松明，彭丽娟，李志斌，
申请(专利权)人：东揽南京智能科技有限公司，
类型：发明
国别省市：