车辆行驶安全预警方法及系统技术方案

本发明专利技术提供一种车辆行驶安全预警方法及系统，包括：步骤S1：获取相邻两帧图像作为模型输入，对图像进行拉伸，符合相机参数；步骤S2：使用修改后的FastFlowNet光流预测神经网络模型，以相邻两帧图像为输入，输出光流矢量矩阵；步骤S3：使用MegaDepth神经网络模型，以相邻两帧图像为输入，输出深度矩阵，作为后续步骤中特征融合模块的输入；步骤S4：对步骤S2和步骤S3的结果进行特征融合；步骤S5：对步骤S4的结果，取三部分大小相同的子矩阵；步骤S6：对获得的每相邻两帧摄像图像，输出预测的速度；步骤S7：根据步骤S6的预测结果输出预警信息。本发明专利技术能够提供低成本的、独立于车辆传感器的车辆数据、路况数据或障碍物类型的分析。路况数据或障碍物类型的分析。路况数据或障碍物类型的分析。

【技术实现步骤摘要】
车辆行驶安全预警方法及系统


[0001]本专利技术涉及视频处理和人工智能的交叉
，具体地，涉及一种基于融合光流深度卷积神经网络的车辆行驶安全预警技术，尤其涉及一种车辆行驶安全预警方法及系统。

技术介绍

[0002]随着智能汽车的迅速发展，人工智能技术对于提升人们的安全驾驶系数有广阔的应用场景。对于车辆中安装的行车记录仪只存在记录视频、图像的功能，但缺乏对这些数据的智能分析应用。一般情况下，在路况、车速、车辆轨迹的检测等领域，一般通过其他的车载传感器(如声波、红外传感器)分析周围的环境、障碍物等。为达到使用需求，这些传感器的精度要求很高，进而提升了使用成本。
[0003]卷积神经网络(Convolutional Neural Network,CNN)自提出以来，已在图像识别、分割、检测和检索等相关领域取得了目前最好的成果。区别于普通的神经网络模型，卷积神经网络通过对数据进行卷积操作提取特征，降低了数据维数，使得模型训练及应用的速度较一般神经网络有极大提升。深度卷积神经网络(Deep CNN) 在CNN的基础上进一步提升了网络深度(depth)、宽度(width)及输入图像分辨率(resolution)，可用于更复杂场景的应用。本文设计的网络在现有的CNN架构基础上，同时从上述三个维度对网络进行放大，达到了较目前主流网络在该应用场景下效率更高的结果。
[0004]针对基于光流法或卷积神经网络的视觉里程计(Visual Odeometry)问题，已有一些专利，典型的如公开号为CN112419411A的专利技术专利，公开了一种基于卷积神经网络和光流特征视觉里程计的实现方法，图像序列中的相邻两帧输入基于 PWC—net的光流特征提取网络，由光流特征提取网络进行光流特征图提取；通过卷积神经网络对获得的光流特征图进行进一步特征提取，建立光流特征图与地面真值图像之间的映射关系，从而估计相邻帧图像之间的相对位姿；对步骤二中的相对位姿变换为绝对位姿，恢复出原始的运动轨迹。但该专利技术在不加入深度信息而仅基于光流法进行预测的基础上，对相机的分辨率、焦距条件要求较高，同时这一方法的目标仍是在已有图像序列的基础上进行预测，而未能达到实时预测及预警的功能。
[0005]另外，在车辆预警领域，有如公开号为CN113269962A的专利技术专利，公开了一种基于计算机视觉的车辆预警与控制系统，包括，应用在目标车辆、第一服务器、第二服务器的系统，通过系统间的数据交互，在目标车辆的系统中进行目标车辆以及相邻车辆的数据采集，在第一服务器的系统中进行其他车辆的数据采集和分析，在第二服务器的系统中进行目标车辆、相邻车辆、其他车辆的数据分析，获得了预警以及路线控制指令，用于为目标车辆驾驶员提供驾驶辅助工作。该专利技术将计算机视觉方法应用于车辆预警领域，但该专利技术的应用场景为远端控制端对车辆的预警，需要在车辆与服务器间进行大量的数据交换，应用场景仍有限。

技术实现思路

[0006]针对现有技术中的缺陷，本专利技术提供一种车辆行驶安全预警方法及系统。
[0007]根据本专利技术提供的一种车辆行驶安全预警方法及系统，所述方案如下：
[0008]第一方面，提供了一种车辆行驶安全预警方法，所述方法包括：
[0009]步骤S1：通过车载摄像头或行车记录仪获取相邻两帧图像作为模型输入，对图像进行拉伸，以符合相机参数；
[0010]步骤S2：使用修改后的FastFlowNet光流预测神经网络模型，以相邻两帧图像为输入，输出光流矢量矩阵，其中各矢量指示该像素点的光照条件变化，作为后续步骤中特征融合模块的输入；
[0011]步骤S3：使用MegaDepth神经网络模型，以相邻两帧图像为输入，输出深度矩阵，作为后续步骤中特征融合模块的输入，在计算设备允许的条件下，该步骤S3能够和步骤S2同步运行；
[0012]步骤S4：对步骤S2和步骤S3的结果进行特征融合；
[0013]步骤S5：对步骤S4的结果，取三部分大小相同的子矩阵，合并后作为后续步骤中实时精准速度预测神经网络的输入；
[0014]步骤S6：使用设计的速度预测神经网络进行运算，对获得的每相邻两帧摄像图像，输出预测的速度；
[0015]步骤S7：根据步骤S6的预测结果输出预警信息，若符合危险驾驶模式，则输出警告。
[0016]优选地，所述步骤S1包括：获取摄像头的视频流输入，对每相邻两帧图像，直接作为后续模块的输入，并使用插值方法将源RGB图像分辨率拉伸或压缩为1266
×
370的 RGB图像。
[0017]优选地，所述步骤S2包括：以步骤S1输出的两帧图像为输入，计算光流矢量矩阵，输出的结果为代表图像各像素光照条件变化的矢量场，存储为2
×
1266
×
370的矩阵。
[0018]优选地，所述步骤S2中FastFlowNet光流预测神经网络模型的设计如下：
[0019]步骤S2.1：头部增强池化金字塔：FastFlowNet模型使用头部增强池化金字塔进行特征提取，其将步骤S1层数较高的特征金字塔与骤S2层数较低的池化金字塔进行融合，以结合二者优势；同时，高层金字塔上再添加一个卷积层，通过计算成本强化金字塔特征；
[0020]步骤S2.2：中心密集扩张卷积层Center Dense Dilated Correlation,CDDC：不同于传统的卷积层构造，模型采用中心密集扩张卷积层，在图像中心部分进行密集采样，同时在大运动区域中对网格点进行下采样，在保持模型认知半径的前提下有效减小计算量；在进行立体匹配时，模型的代价容积Cost Volume函数构造如下：
[0021][0022]其中，c
l
(x,d)表示代价容积Cost Volume函数；l表示特征金字塔的第l层；x表示从图像的左下角指向像素点的矢量；d表示从图像中心指向像素点的矢量；表示图像的特征函数；表示经翘曲的图像的特征函数；N表示作为模型输入的特征的维数； r表示卷积的搜索半径；
[0023]步骤S2.3：聚合块解码器：通过CDDC构建的紧凑的代价容积将解码器的最大特征
通道从128个减少到96个；将三个96通道卷积改为组卷积，每个解码器网络包含三个组数为3的聚合块。
[0024]优选地，所述步骤S3包括：以步骤S1获得的RGB图像作为输入，通过MegaDepth网络进行速度预测，对图像的各像素点，若该像素表示的不为天空，输出其相对深度，若该像素表示天空，则将其深度信息移除。
[0025]优选地，所述步骤S4包括：将步骤S2和步骤S3的矩阵，即光流矢量矩阵OF
i,j
和相对深度矩阵D
i,j
输入三层卷积核大小为3
×
3的卷积层，对获得的结果OF
′
和D
′
，再进行特征融合计算，特征融合计算的全过程的表达式如下：
[0026][0027]其中，i表示像素点的横坐标；j表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆行驶安全预警方法，其特征在于，包括：步骤S1：通过车载摄像头或行车记录仪获取相邻两帧图像作为后续应用的模型输入，对图像进行拉伸，以符合相机参数；步骤S2：使用修改后的FastFlowNet光流预测神经网络模型，以相邻两帧图像为输入，输出光流矢量矩阵，其中各矢量指示该像素点的光照条件变化，作为后续步骤中特征融合模块的输入；步骤S3：使用MegaDepth神经网络模型，以相邻两帧图像为输入，输出深度矩阵，作为后续步骤中特征融合模块的输入，在计算设备允许的条件下，该步骤S3能够和步骤S2同步运行；步骤S4：对步骤S2和步骤S3的结果进行特征融合；步骤S5：对步骤S4的结果，取三部分大小相同的子矩阵，合并后作为后续步骤中实时精准速度预测神经网络的输入；步骤S6：使用设计的速度预测神经网络进行运算，对获得的每相邻两帧摄像图像，输出预测的速度；步骤S7：根据步骤S6的预测结果输出预警信息，若符合危险驾驶模式，则输出警告。2.根据权利要求1所述的车辆行驶安全预警方法，其特征在于，所述步骤S1包括：获取摄像头的视频流输入，对每相邻两帧图像，直接作为后续模块的输入，并使用插值方法将源RGB图像分辨率拉伸或压缩为1266
×
370的RGB图像。3.根据权利要求1所述的车辆行驶安全预警方法，其特征在于，所述步骤S2包括：以步骤S1输出的两帧图像为输入，计算光流矢量矩阵，输出的结果为代表图像各像素光照条件变化的矢量场，存储为2
×
1266
×
370的矩阵。4.根据权利要求1所述的车辆行驶安全预警方法，其特征在于，所述步骤S2中FastFlowNet光流预测神经网络模型的设计如下：步骤S2.1：头部增强池化金字塔：FastFlowNet模型使用头部增强池化金字塔进行特征提取，其将步骤S1层数较高的特征金字塔与骤S2层数较低的池化金字塔进行融合，以结合二者优势；同时，高层金字塔上再添加一个卷积层，通过计算成本强化金字塔特征；步骤S2.2：中心密集扩张卷积层Center Dense Dilated Correlation,CDDC：不同于传统的卷积层构造，模型采用中心密集扩张卷积层，在图像中心部分进行密集采样，同时在大运动区域中对网格点进行下采样，在保持模型认知半径的前提下有效减小计算量；在进行立体匹配时，模型的代价容积Cost Volume函数构造如下：其中，c
l
(X,d)表示代价容积Cost Volume函数；l表示特征金字塔的第l层；x表示从图像的左下角指向像素点的矢量；d表示从图像中心指向像素点的矢量；表示图像的特征函数；表示经翘曲的图像的特征函数；N表示作为模型输入的特征的维数；r表示卷积的搜索半径；步骤S2.3：聚合块解码器：通过CDDC构建的紧凑的代价容积将解码器的最大特征通道从128个减少到96个；将三个96通道卷积改为组卷积，每个解码器网络包含三个组数为3的聚合块。
5.根据权利要求4所述的车辆行驶安全预警方法，其特征在于，所述步骤S3包括：以步骤S1获得的RGB图像作为输入，通过MegaDepth网络进行速度预测，对图像的各像素点，若该像素表示的不为天空，输出其相对深度，若该像素表示天空，则将其深度信息移除。6.根据权利要求5所述的车辆行驶安全预警方法，其特征在于，所述步骤S4包括：将步骤S2和步骤S3的矩阵，即光流矢量矩阵OF

【专利技术属性】
技术研发人员：孙锬锋，汤历欧，李世杰，王若辰，许可，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：