一种基于3D卷积神经网络的公交安全驾驶行为识别方法技术

本发明专利技术公开了一种基于3D卷积神经网络的公交安全驾驶行为识别方法，该方法主要包括：采集公交运行时驾驶员视频数据，将视频数据转换成连续视频帧，对帧信息集进行图像预处理得到处理后的人脸信息帧数据集合，在深度残差网络的基础上推导出三个不同的伪3D模块，用P3D块链替换残差单元在最近残差网络的基础上构成了新的架构，分别将原视频帧集合和预处理后的视频帧集合输入3D网络模型得到相应的全局特征以及局部特征，将待检测的驾驶员行为视频U进行预处理后输入训练好的深度神经网络模型中得到分类结果。本发明专利技术使用3D卷积神经网络对安全驾驶的行为特征进行识别，综合利用空间特征与时间特征及多帧图像的关联性提高识别准确率。确率。确率。

【技术实现步骤摘要】
一种基于3D卷积神经网络的公交安全驾驶行为识别方法


[0001]本专利技术涉及计算机视觉和智能公交领域研究领域，具体涉及一种基于3D卷积神经网络的公交安全驾驶行为识别方法。

技术介绍

[0002]随着我国经济的高速发展,国内汽车普及率越来越高，为人们的生产与生活都带来了极大的便利。但同时，汽车所引起的社会问题也随之而来。交通事故不仅给家庭带来了伤害，也给社会带来了巨大的影响和沉重的负担。安全驾驶也越来越受到各领域学者的关注。目前，如何准确检测驾驶员驾驶状态以预防交通事故的发生已经成为当前安全辅助驾驶领域的一个研究热点。
[0003]现有的公交车安全驾驶行为分析能够分析一些基本的行为，但是随着图像背景变得复杂，往往不能很好地区分所识别的物体和图像背景而导致失效，同时未能考虑动作的时序性，在时间维度上分析驾驶员行为以提高分析的准确性，导致误判率偏高。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术通过特征提取技术提取驾驶员脸部特征，获取全局特征与局部特征并通过特征融合技术获得较准确人脸特征；构建3D神经网络模型，同时对2D滤波器等空间信息进行建模，并构建跨帧的时间连接。技术方案如下：
[0005]一种基于3D卷积神经网络的公交安全驾驶行为识别方法，该方法包括以下步骤：
[0006]步骤1，采集公交运行时驾驶员视频数据V，并根据驾驶员的动作类型，对视频数据V分类，记作V＝{V1,V2,...V
a
,...,V
A
}，其中Va为V中第a个动作类型的视频数据集，A为V中危险驾驶动作类型的数量，变量a∈[1,A]；
[0007]定义Video为单个视频信息集，有V1＝{Video1,Video2,
…
,Video
b
,
…
,Video
B
},V2＝{Video1,Video2,
…
,Video
b
,
…
,Video
B
},
…
,V
A
＝
[0008]{Video1,Video2,
…
,Video
b
,
…
,Video
B
},其中Video
b
为{V1,V2,...,V
A
}中第b个视频信息数据，B为{V1,V2,...,V
A
}中Video的数量，变量b∈[1,B]；
[0009]步骤2，定义N为每个Video转换的帧总数量，F为单个帧信息集，定义循环变量j,i分别用以遍历动作类型的视频数据集V以及单个视频信息集Video，即V
j
表示第j个动作类型的视频数据集V，Video
i
表示第i个单个视频信息集Video；
[0010]第一个动作类型的视频数据集V1(j＝1)开始，遍历处理V1内的Video
i
(由i＝1一直到i＝B)，定义变量C以记录Video
i
转换的帧数，当C＝N时表示已获得Video
i
转换的所有帧，即得到N个F帧信息集，表示当前V
j
内的Video已全部处理完毕，若当前V
j
不是最后一个视频数据集(j＝A)则依次处理下一个视频数据集(j＝j+1)。此时，可以得到帧数据集合D＝{D1,D2,
…
,D
a
,
…
,D
A
}，
[0011]D
a
＝{D
a1
,D
a2
,
…
ab
,
…
,D
aB
}，D
ab
＝{F1,F2,
…
,F
n
,
…
,F
N
},其中D
a
表示第a个动作类别帧数据集，D
ab
表示D
a
中第b个视频帧数据集，F
n
表示D
ab
中第n个帧数据信息，即D＝{F1,F2,
…
,
F
(A
×
B
×
N)
}，(A
×
B
×
N)为帧F的总数量；
[0012]步骤3，调用OpenCV中的cvtColor(F
k
,COLOR_BGR2GRAY)函数循环处理帧信息集F
k
(其中k为定义的循环变量，且k≤A
×
B
×
N)将其转换为颜色空间为BGR的灰度帧g＝{g1,g2,
…
,g
k
,
…
,g
A
×
B
×
N
}；
[0013]获得灰度帧g
k
后使用OpenCV自带的默认Haar特征人脸检测模型H对g
k
进行人脸检测，采用固定图像大小，采用不同尺度的滑动窗口
[0014]W＝{W1,W2,
…
,W
ω
‑1,W
ω
,
…
max
}依次滑动整张图像进行检测，其中W
ω
＝xW
ω
‑1，x为搜索窗口的比例系数，赋值1.1；
[0015]在分类的过程中选取当前窗口W
ω
对应的图像区域置入级联筛选分类器Π中，Π由若干强分类器级联形成，即有Π＝{Π1,Π2,
…
,Π
τ
,
…
,Π
max
}；
[0016]此处，先由Π1判别出W
ω
部分是否含有人脸，如果判定含有人脸就会送入下一强分类器Π2进行再检测和分类，直至遇到某一个Π
τ
判定否，或至最后一个强分类Π
max
，此时对下一个滑动窗口分类，直至W
max
分类完成，即以窗口作为整张图片的人脸检测框分类完成；
[0017]对灰度帧g中每一帧重复进行上述操作即可得到预处理后的人脸信息帧数据集合d＝{f1,f2,
…
,f
(A
×
B
×
N)
},其中f为预处理后的人脸信息帧；
[0018]步骤4，在深度残差网络(ResNet)的基础上推导出三个不同的伪3D模块，分别命名为P3D
‑
σ、P3D
‑
α以及P3D
‑
υ，将ResNet中的每个2D残差模块开发成用于编码时空视频信息的3D架构，3D卷积同时对2D滤波器等空间信息进行建模，并构建跨帧的时间连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D卷积神经网络的公交安全驾驶行为识别方法，其特征在于，该方法包括以下步骤：步骤1，采集公交运行时驾驶员视频数据V，并根据驾驶员的动作类型，对视频数据V分类，记作V＝{V1，V2，...V
a
，...，V
A
}，其中Va为V中第a个动作类型的视频数据集，A为V中危险驾驶动作类型的数量，变量a∈[1，A]；定义Video为单个视频信息集，有V1＝{Video1，Video2，...，Video
b
，...，Video
B
}，V2＝{Video1，Video2，...，Video
b
，...，Video
B
}，...，V
A
＝{Video1，Video2，...，Video
b
，...，Video
B
}，其中Video
b
为{V1，V2，...，V
A
}中第b个视频信息数据，B为{V1，V2，...，V
A
}中Video的数量，变量b∈[1，B]；步骤2，定义N为每个Video转换的帧总数量，F为单个帧信息集，定义循环变量j，i分别用以遍历动作类型的视频数据集V以及单个视频信息集Video，即V
j
表示第j个动作类型的视频数据集V，Video
i
表示第i个单个视频信息集Video；第一个动作类型的视频数据集V1(j＝1)开始，遍历处理V1内的Video
i
(由i＝1一直到i＝B)，定义变量C以记录Video
i
转换的帧数，当C＝N时表示已获得Video
i
转换的所有帧，即得到N个F帧信息集，表示当前V
j
内的Video已全部处理完毕，若当前V
j
不是最后一个视频数据集(j＝A)则依次处理下一个视频数据集(j＝j+1)。此时，可以得到帧数据集合D＝{D1，D2，
…
，D
a
，
…
，D
A
}，D
a
＝{D
a1
，D
a2
，
…
D
ab
，
…
，D
aB
}，D
ab
＝{F1，F2，
…
，F
n
，
…
，F
N
}，其中D
a
表示第a个动作类别帧数据集，D
ab
表示D
a
中第b个视频帧数据集，F
n
表示D
ab
中第n个帧数据信息，即D＝{F1，F2，
…
，F
(A
×
B
×
N)
}，(A
×
B
×
N)为帧F的总数量；步骤3，调用OpenCV中的cvtColor(F
k
，COLOR_BGR2GRAY)函数循环处理帧信息集F
k
(其中k为定义的循环变量，且k≤A
×
B
×
N)将其转换为颜色空间为BGR的灰度帧g＝{g1，g2，
…
，g
k
，
…
，g
A
×
B
×
N
}；获得灰度帧g
k
后使用OpenCV自带的默认Haar特征人脸检测模型H对g
k
进行人脸检测，采用固定图像大小，采用不同尺度的滑动窗口W＝{W1，W2，
…
，W
ω

【专利技术属性】
技术研发人员：周金明，孙良良，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：