一种基于双流卷积神经网络的车道偏离预警方法技术

本发明专利技术公开了一种基于双流卷积神经网络的车道偏离预警方法，该方法包括以下步骤：将一段摄像头采集的包含车道信息的视频分成多个等长不重叠的分段，对每个分段分别进行稀疏采样；将每个分段采样得到的静态帧图像和光流图像分别输入到空间流卷积神经网络和时间流卷积神经网络进行特征提取；将各个分段提取的空间特征和时间特征分别进行特征融合；将融合后的时间特征和空间特征进行特征集成；将集成特征输入分类器，得到分类结果；根据分类结果判断车道偏离情况并进行车道偏离预警。相比其他车道偏离预警方法，该方法只需要根据车道视频信息而不需要结合车辆信息就可以实现车道偏离判断；该方法所需要输入的信息少，并且简化了车道偏离判断过程。化了车道偏离判断过程。化了车道偏离判断过程。

【技术实现步骤摘要】
一种基于双流卷积神经网络的车道偏离预警方法


[0001]本专利技术属于自动驾驶车辆领域，特别是涉及一种基于双流卷积神经网络的车道偏离预警方法。

技术介绍

[0002]近年来，随着汽车保有量快速增长，交通事故发生频率也不断增加。其中，驾驶人疲劳、疏忽等主观因素造成的车道偏离是引发交通事故的一个重要原因。针对高速行车中的车道偏离问题，车道偏离预警系统以报警的方式提醒驾驶人及时修正驾驶行为，减少或避免交通事故的发生，提高了汽车安全性。
[0003]传统车道偏离预警方法根据摄像头采集的车道图像对路面上的车道线进行识别，结合车辆位置、航向角、车速和加速度等车辆信息对车道偏离预警条件进行判断。传统的车道偏离预警方法将车道线识别和车道偏离预警条件判断分开进行，车道偏离判断流程复杂，并且需要采集的信息较多。
[0004]经过检索，中国专利技术专利CN202210106158.1中公开了一种车道偏离预警方法﹑装置、车辆和介质。该方法需要获取车辆行驶的车道信息和车辆状态信息；根据所述车道信息，确定车道偏离预警条件；根据所述车道信息和所述车辆状态信息，确定车辆是否满足所述车道偏离预警条件；若满足，则发出车道偏离预警。该方法在判断车道偏离时需要结合车道信息和车辆信息，
[0005]而本专利技术提出的方法只需要获取车道视频信息，不需要结合车辆信息就可以实现车道偏离判断，从而简化了车道偏离判断流程。与上述专利不同。

技术实现思路

[0006]本专利技术公开了一种基于双流卷积神经网络的车道偏离预警方法。r/>[0007]本专利技术的目的是利用双流卷积神经网络对视频中时间特征和空间特征的提取能力简化车道偏离判断的过程，为自动驾驶车辆提供一种基于双流卷积神经网络的车道偏离预警方法，以在车辆发生车道偏离时系统以报警的方式提醒驾驶人及时修正驾驶行为，减少或避免发生交通事故，提高汽车的安全性。
[0008]本专利技术公开了一种只需要采集车道视频信息就可以实现车道偏离判断的方法。在视频中，不仅可以提取出单帧静态图像，还可以提取出反映视频相邻帧之间时间特征的光流图像。视频中单帧图像包含车道线的空间结构特征，相邻视频帧之间的光流图像可以反映视频的时间特征，即车道线位置的变化，视频中车道线位置的变化从侧面反映了车辆相对于车道线的位置变化，所以本专利技术用视频中的时间特征代替车辆信息实现了车道偏离判断。
[0009]为了实现对视频中的空间特征和时间特征的提取，本专利技术使用双流卷积神经网络。双流卷积神经网络效仿人体视觉处理过程，在处理视频静态图像中的环境空间信息的基础上，对视频帧序列中的时序信息进行理解。单独的视频帧图像作为表述空间信息的载
体，输入到一个空间流卷积神经网络提取图像中目标的空间特征；相邻视频帧之间的光流信息作为时序信息的载体，输入到一个时间流卷积神经网络用来理解目标的时序特征；时间流卷积神经网络和空间流卷积神经网络均由深度卷积神经网络构成，共同组成了双流卷积神经网络。
[0010]本专利技术利用双流卷积神经网络对视频的时间特征和空间特征的提取能力实现基于双流卷积神经网络的车道偏离预警方法。首先，以摄像头采集的视频作为输入，对视频进行分段及采样后，分别在空间流卷积神经网络和时间流卷积神经网络中提取视频中的空间特征和时间特征；其次，对各分段的空间特征或时间特征进行特征融合；然后，将融合后的时间特征和空间特征进行特征集成，并将集成特征作为模型最终的提取特征；最后，将车道偏离判断视为一个分类任务，将集成特征输入分类器得到车道偏离判断结果。本专利技术提出的方法仅使用车道视频信息就实现了车道偏离判断，不需要结合车辆信息，该方法简化了车道偏离判断流程。
[0011]本专利技术使用可以同时提取视频空间特征和时间特征的双流卷积神经网络，双流卷积神经网络使用2D卷积神经网络实现了视频中时间特征和空间特征的提取，相比使用3D卷积神经网络同时提取视频中的时间特征和空间特征，双流卷积神经网络参数量少，计算效率高。
[0012]本专利技术提出了一种基于双流卷积神经网络的车道偏离预警方法，包括以下步骤：
[0013](1)将车载摄像头采集的包含车道信息的一段视频分成K个等长不重叠的分段{S1，S2，
…
S
K
}，对于每一段视频我们可以从中提取出单帧静态图像以及相邻帧之间光流图像，对每个分段中的静态图像和光流图像分别进行稀疏采样；
[0014](2)将各个分段{S1，S2，
…
S
K
}采样得到的静态帧图像依次输入双流卷积神经网络中的空间流卷积神经网络提取图像中车道线的空间特征；将各个分段{S1，S2，
…
S
K
}采样得到的光流图像依次输入双流卷积神经网络中的时间流卷积神经网络提取视频相邻帧之间的时间特征；
[0015](3)将各个分段提取的空间特征进行特征融合得到融合空间特征，将各个分段提取的时间特征进行特征融合得到融合时间特征；
[0016](4)将融合后的时间特征和空间特征进行特征集成；
[0017](5)将集成特征输入分类器，得到分类结果；
[0018](6)根据分类结果判断车道偏离情况并进行车道偏离预警。
[0019]步骤(1)中每个分段随机采样1帧静态图像，每个分段随机采样m个连续帧的水平和垂直光流图像并堆叠形成2m个堆叠光流图像。光流是一种简单实用的表达图像序列运动信息的方式，被广泛用于提取行为运动特征。它是2D向量场，其中每个向量都是位移向量，表示点从第一帧到第二帧的运动。
[0020]步骤(2)所述空间流卷积神经网络和时间流卷积神经网络均是采用ResNet50作为主干网络的卷积神经网络，具体网络结构如图2a、图2b所示；虽然空间流卷积神经网络和时间流卷积神经网络所采用的主干网络相同，但是由于它们的输入不同，所以可以提取视频中的不同特征。单帧静态图像输入空间流卷积神经网络可以提取图像中车道线的空间特征；相邻视频帧之间的光流图像输入时间流卷积神经网络可以提取视频相邻帧之间的时间特征，即提取视频中车道线的运动信息；其中，各分段共享网络的权重参数。
[0021]步骤(4)中对于各个分段在空间流卷积神经网络提取的空间特征或各个分段在时间流卷积神经网络提取的时间特征可以采用均值、最大值和方差三种方案进行特征融合。
[0022]步骤(5)所述特征集成是指对各分段融合后的空间特征和时间特征进行加权求和，得到最终的输出特征。
[0023]步骤(6)中该方法将车道偏离判断视为一个分类问题，一共有三个类别，即车辆向车道左侧偏离，车辆向车道右侧偏离和车辆不偏离车道。其中，分类结果由Softmax函数实现。
[0024]步骤(7)中所述车道偏离预警，针对车辆偏向于左侧车道和右侧车道，预警可以以语音提示或指示灯闪烁等形式进行车道偏离预警，提醒驾驶人及时修正驾驶行为。
[0025]本专利技术有益技术效果：
[0026]由上述技术方案可知，本专利技术所提出的车道偏离预警方法只需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流卷积神经网络的车道偏离预警方法，其特征在于，包括以下步骤：(1)将车载摄像头采集的包含车道信息的一段视频分成K个等长不重叠的分段{S1，S2，
…
S
K
}，对于每一段视频我们可以从中提取出单帧静态图像以及相邻帧之间光流图像，对每个分段中的静态图像和光流图像分别进行稀疏采样；(2)将各个分段{S1，S2，
…
S
K
}采样得到的静态帧图像依次输入双流卷积神经网络中的空间流卷积神经网络提取图像中车道线的空间特征；将各个分段{S1，S2，
…
S
K
}采样得到的光流图像依次输入双流卷积神经网络中的时间流卷积神经网络提取视频相邻帧之间的时间特征；(3)将各个分段提取的空间特征进行特征融合得到融合空间特征，将各个分段提取的时间特征进行特征融合得到融合时间特征；(4)将融合后的时间特征和空间特征进行特征集成；(5)将集成特征输入分类器，得到分类结果；(6)根据分类结果判断车道偏离情况并进行车道偏离预警。2.根据权利要求1所述的一种基于双流卷积神经网络的车道偏离预警方法，其特征在于：在对视频的每个分段分别进行稀疏采样时，每个分段需要采样单帧静态图像作为空间流卷积神经网络的输入，同时，每个分段还需要采样相邻帧的水平和垂直光流并堆叠形成堆叠光...

【专利技术属性】
技术研发人员：胡宏宇，张争光，王琦，高振海，
申请(专利权)人：吉林大学，
类型：发明
国别省市：