一种基于视频流神经网络的异常驾驶行为识别方法及相关装置，包括：从获取的输入视频流中以不同的采样率分别提取第一视频帧序列和第二视频帧序列；将第一视频帧序列和第二视频帧序列分别进行卷积特征的提取；针对不同的时空尺度，将从第一视频帧序列和第二视频帧序列中提取的特征分别进行融合；对融合结果进行分类，输出输入视频流的分类信息。通过采用上述技术方案，避免特征丢失，提升异常驾驶行为的准确率；同时，降低识别方法对成像环境的要求。求。求。
【技术实现步骤摘要】
基于视频流神经网络的异常驾驶行为识别方法及相关装置
[0001]本专利技术涉及计算机视觉与模式识别
，尤其涉及一种基于视频流神经网络的异常驾驶行为识别方法及相关装置。
技术介绍
[0002]异常驾驶行为的识别在智能交通系统中发挥着重要作用，可以及时发现异常的驾驶行为，起到自动识别、及时预警以及降低事故发生率的效果，可广泛应用于智能交通、交通控制、智慧城市等场景，从安全性到交通控制的各种潜在性应用，近年来引起了大众广泛的研究关注。
[0003]目前对异常驾驶行为常用的识别是基于双流法的卷积神经网络识别方法，该方法使用了两个网络分支，一个分支是获取输入视频流的单帧视频图像的卷积神经网络，主要用于获取图像中对象的空间特征；另一个分支是获取输入视频流的密集光流序列的光流卷积神经网络，主要用于识别输入视频流的时序特征；之后将两个分支的时序特征和空间特征进行融合，进而识别出异常驾驶行为。
[0004]该方法应用到具体场景时，存在如下的问题：一是当人体的位置发生较大变化时，仅用单帧图像定位人体，定位误差较大；二是在将输入视频流转换为密集光流序列时，驾驶人员的驾驶行为容易被掩盖，无法获取驾驶人员的驾驶行为细节。并且驾驶车辆的过程中，车辆在不断地抖动并且车窗外的景象是迅速变化的，生成的密集光流图会掩盖驾驶人员的细微动作，导致在光流图中无法体现驾驶人员的驾驶行为；三是仅做一次特征融合，易于导致特征信息的大量丢失。
技术实现思路
[0005]针对现有技术存在的不足，本申请的目的在于提供基于视频流神经网络的异常驾驶行为识别方法及相关装置，避免不同深度特征的丢失，提升异常驾驶行为的准确率；同时，降低识别方法对成像环境的要求。
[0006]为实现上述目的，本专利技术提供了如下技术方案：
[0007]第一方面，提供一种基于视频流神经网络的异常驾驶行为识别方法，包括：
[0008]从获取的输入视频流中以不同的采样率分别提取第一视频帧序列和第二视频帧序列；
[0009]将所述第一视频帧序列和所述第二视频帧序列分别进行卷积特征的提取；
[0010]针对不同的时空尺度，将从所述第一视频帧序列和所述第二视频帧序列中提取的特征分别进行融合；
[0011]对融合结果进行分类，输出所述输入视频流的分类信息。
[0012]本专利技术进一步设置为：所述第一视频帧序列的帧数小于所述第二视频帧序列的帧数。
[0013]本专利技术进一步设置为：所述将所述第一视频帧序列和第二视频帧序列分别进行卷
积特征的提取之前，具体步骤包括：
[0014]将所述第一视频帧序列和所述第二视频帧序列两者之中每一帧处理为宽高为相一致的图像。
[0015]本专利技术进一步设置为：所述将所述第一视频帧序列和第二视频帧序列分别进行卷积特征的提取，包括：
[0016]获得所述第一视频帧序列和所述第二视频帧序列分别输入至第一卷积分支和第二卷积分支之中；
[0017]在所述第一卷积分支之中，依次利用3D卷积块和多个第一卷积残差块进行卷积操作提取空间特征；
[0018]在所述第二卷积分支之中，依次利用3D卷积块和多个第二卷积残差块进行卷积操作提取时序特征；
[0019]获取空间特征和时序特征，所述时序特征融合至与其同一尺度的所述空间特征之中得到融合后的时空特征；
[0020]获得融合后的时空特征，以作为所述第一卷积分支后续卷积操作的特征。
[0021]本专利技术进一步设置为：所述第一卷积分支的帧率大于所述第二卷积分支的帧率。
[0022]本专利技术进一步设置为：所述获得融合后的时空特征，以作为所述第一卷积分支后续卷积操作的特征之后，具体步骤包括：
[0023]获取从最后一个的所述第一卷积残差块输出的时空特征，和获得从最后一个的所述第二卷积残差块输出的时序特征，将时空特征和时序特征进行融合操作，以作为输入至分类模块的特征。
[0024]本专利技术进一步设置为：在所述第一卷积分支之中，依次利用3D卷积块和多个第一卷积残差块进行卷积操作提取空间特征，包括：
[0025]所述3D卷积块包括卷积层和最大化池层，其中卷积层采用1*7*7的卷积核，用于对卷积特征降维，以提交至最大池化层进行下采样。
[0026]本专利技术进一步设置为：所述第一卷积残差块和所述第二卷积残差块均以3D
‑
ResNet为基础，采用分离卷积替换了原始的3D卷积核3*3*3，分离卷积是把3D卷积核拆分成1*3*3和3*1*1的卷积核。
[0027]本专利技术进一步设置为：所述第一卷积残差块和所述第二卷积残差块两者均重复多次步长为1的卷积操作，直至最后一次重复时，配置步长为2的卷积操作，以缩减图像的尺寸。
[0028]本专利技术进一步设置为：所述对融合结果进行分类，输出所述输入视频流的分类信息之后，包括：
[0029]获得所述输入视频流的分类信息，提交至损失优化模块进行分类损失的计算以及优化。
[0030]本专利技术进一步设置为：获取以所述输入视频流为基础形成的数据集，将所述数据集包括有训练集、验证集和测试集三个部分，所述训练集用于训练网络模型，所述验证集是用于验证网络模型的性能状况，所述测试集则用于评估网络模型的泛化能力。
[0031]第二方面，提供一种基于视频流神经网络的异常驾驶行为识别装置，包括：
[0032]视频流采样模块，用于从获取的输入视频流中以不同的采样率分别提取第一视频
帧序列和第二视频帧序列；
[0033]特征提取模块，用于将所述第一视频帧序列和第二视频帧序列分别进行卷积特征的提取；
[0034]特征融合模块，用于针对不同的时空尺度，将从第一视频帧序列和第二视频帧序列中提取的特征分别进行融合；
[0035]分类模块，用于对融合结果进行分类，输出所述输入视频流的分类信息。
[0036]本专利技术进一步设置为：还包括损失优化模块，用于获得所述输入视频流的分类信息，提交至损失优化模块进行分类损失的计算以及优化。
[0037]本专利技术进一步设置为：其包括处理芯片和存储介质，一个或多个程序被存储在所述存储介质中并被配置为由所述处理芯片执行，所述一个或多个程序用于驱动所述处理芯片构造用于执行如权利要求1
‑
11任意一项所述的异常驾驶行为识别方法。
[0038]第三方面，提供一种可读计算机介质，包括一个或多个应用程序中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序被配置为用于执行根据权利要求1
‑
11任意一项所述的异常驾驶行为识别方法。
[0039]与现有技术相比，本专利技术具备如下优点：
[0040]1.本申请从输入视频流中以不同的采样率进行采样，采样不同数量的多帧视频图像，分别输入到第一卷积分支和第二卷积分支中，避免以单帧视频图片中人物的位置来确定整个输入视频流中人物的位置，使得人物本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于视频流神经网络的异常驾驶行为识别方法，其特征在于，包括：从获取的输入视频流中以不同的采样率分别提取第一视频帧序列和第二视频帧序列；将所述第一视频帧序列和所述第二视频帧序列分别进行卷积特征的提取；针对不同的时空尺度，将从所述第一视频帧序列和所述第二视频帧序列中提取的特征分别进行融合；对融合结果进行分类，输出所述输入视频流的分类信息。2.根据权利要求1所述的异常驾驶行为识别方法，其特征在于，所述第一视频帧序列的帧数小于所述第二视频帧序列的帧数。3.根据权利要求2所述的异常驾驶行为识别方法，其特征在于，所述将所述第一视频帧序列和第二视频帧序列分别进行卷积特征的提取之前，具体步骤包括：将所述第一视频帧序列和所述第二视频帧序列两者之中每一帧处理为宽高为相一致的图像。4.根据权利要求3所述的异常驾驶行为识别方法，其特征在于，所述将所述第一视频帧序列和第二视频帧序列分别进行卷积特征的提取，包括：获得所述第一视频帧序列和所述第二视频帧序列分别输入至第一卷积分支和第二卷积分支之中；在所述第一卷积分支之中，依次利用3D卷积块和多个第一卷积残差块进行卷积操作提取空间特征；在所述第二卷积分支之中，依次利用3D卷积块和多个第二卷积残差块进行卷积操作提取时序特征；获取空间特征和时序特征，所述时序特征融合至与其同一尺度的所述空间特征之中得到融合后的时空特征；获得融合后的时空特征，以作为所述第一卷积分支后续卷积操作的特征。5.根据权利要求4所述的异常驾驶行为识别方法，其特征在于，所述第一卷积分支的帧率大于所述第二卷积分支的帧率。6.根据权利要求5所述的异常驾驶行为识别方法，其特征在于，所述获得融合后的时空特征，以作为所述第一卷积分支后续卷积操作的特征之后，具体步骤包括：获取从最后一个的所述第一卷积残差块输出的时空特征，和获得从最后一个的所述第二卷积残差块输出的时序特征，将时空特征和时序特征进行融合操作，以作为输入至分类模块的特征。7.根据权利要求6所述的异常驾驶行为识别方法，其特征在于，在所述第一卷积分支之中，依次利用3D卷积块和多个第一卷积残差块进行卷积操作提取空间特征，包括：所述3D卷积块包括卷积层和最大化池层，其中卷积层采用1*7*7的卷积核，用于对卷积特征降维，以提交至最大池化层进行下采样。8.根据权利要求7所述的异常驾驶行为识别方法，其特征在于，所述第一卷积残差块和...
【专利技术属性】
技术研发人员：龚福才，蒋乐，陈科名，刘敏，宋勇，欧阳晔，
申请(专利权)人：亚信科技中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。