基于深度学习的驾驶行为分析识别警示系统及其识别方法技术方案

本发明专利技术公开了一种基于深度学习的驾驶行为分析识别警示系统及其识别方法，该系统包括具有生成深度图像功能的相机以及数据分析模块，所述数据分析模块包括具有边缘计算功能的终端设备和用于提醒播报的语音模块，所述相机用于采集驾驶员的三维空间信息，所述终端设备用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。本发明专利技术通过深度图像技术、卷积神经网络的改进、边缘系统的设计，构建数据分析模块，实现了对于驾驶人员与乘车人员的行为进行分析与分类，实时识别驾驶行为并且警示驾驶员，从而解决驾驶人员的疲劳驾驶，危险驾驶问题，减少因为驾驶人员行为不规范导致的交通事故的可能性，最大限度的保障出行安全。

【技术实现步骤摘要】
基于深度学习的驾驶行为分析识别警示系统及其识别方法
本专利技术属于车辆乘驾行为识别领域，具体涉及一种基于深度学习的驾驶行为分析识别警示系统及其识别方法。
技术介绍
随着汽车行业的发展，车祸问题频频发生。如何减少车祸的频率，提高人民的出行安全是需要重点解决的问题。同时，近年来网约车的安全问题频发也受到了社会大众的关注。因此，能随时获得驾驶员的驾驶行为变得尤其重要。随着科技的研究，已有部分技术可以获知驾驶员的驾驶行为，比如通过车辆自身的传感器来获取车辆的驾驶信息上传。但是这种方式往往不够准确，很多情况下，只有在事故发生后进行分析，不能在驾驶过程中为安全乘驾行为提供参考。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，提供一种基于深度学习的驾驶行为分析识别警示系统及其识别方法，其通过对Kinect所采集的深度图像在边缘设备上进行深度学习的方法分类识别，从而实现对驾驶人员与乘车人员进行实时监督提醒。技术方案：为实现上述目的，本专利技术提供一种基于深度学习的驾驶行为分析识别警示系统，包括具有生成深度图像功能的AzureKinect相机以及数据分析模块，所述数据分析模块包括具有边缘计算功能的终端设备JetsonNano和用于提醒播报的语音模块，所述相机用于采集驾驶员的三维空间信息，所述终端设备用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。进一步的，所述相机包括发光器件、光源驱动器、接收镜头、TOF传感芯片、TOF芯片驱动器和TOF主控器，所述光源驱动器控制发光器件发光，使发光器件发出调制光信号；所述接收镜头用于接收调制光信号；所述接收镜头能够接收到调制光照射驾驶员反射回来的回波信号，并将回波信号汇聚在TOF传感芯片上；所述TOF传感芯片接收汇聚的回波信号，并将光信号转换为电信号；所述TOF芯片驱动器接收TOF传感芯片转换的电信号，并将电信号进行处理；所述TOF主控器与光源驱动器和TOF芯片驱动器分别连接，根据光信号发出与接收之间的时间差异，计算出驾驶员所在空间的距离信息。进一步的，所述相机为AzureKinect相机。一种基于深度学习的驾驶行为分析识别警示方法，包括如下步骤：S1：利用相机采集持续生成帧的RGB图像以及深度图像，将得到的图像数据传给数据分析模块；S2：将收集到的图像数据在数据分析模块上进行图像的对齐分割预处理；S3：在数据分析模块上针对预处理完成的图像，利用引入注意力机制的深度卷积神经网络实现驾驶行为的多分类识别；S4：根据识别结果，针对危险驾驶行为进行警示，通过语音模块发出警报提醒。进一步的，所述步骤S2中通过使用基于高斯混合模型算法的图像分割方法对图像进行对齐分割预处理，高斯混合模型算法即为GMM，GMM是指具有如下形式的概率分布模型：其中，αk是系数，φ(y|θk)是高斯分布密度，称为第k个分模型；利用EM算法实现高斯混合模型的应用，其输入是观测数据y1,y2,...,yN以及高斯混合模型，输出是高斯混合模型参数。进一步的，所述步骤S2中对齐分割预处理的具体步骤如下：A1：取模型参数的初始值开始迭代；A2：E步：依据当前模型参数，计算分模型k对观测数据yj的响应度；A3：M步：计算新一轮迭代的模型参数；EM算法就是通过迭代地最大化完整数据的对数似然函数的期望，来最大化不完整数据的对数似然函数。以上三个公式为记算每个高斯的均值，方差，比重三个参数。A4：重复步骤A2和A3，直至收敛。进一步的，所述步骤S3中驾驶行为的多分类识别过程具体为：使用乘驾图像作为输入图像并将其划分为4个通道，分别为R、G、B和Depth，然后分别送入卷积层进行卷积操作，经过卷积操作的通道信息再经过一个激活函数ReLu得到卷积层的输入，将卷积层的输入进行最大池化处理，提取出最明显的特征，最后再经过两个全连接层实现多分类行为识别。进一步的，所述步骤S3中深度卷积神经网络经历过模型训练与评估，其具体的训练与评估过程为：B1：参数初始化。神经网络的收敛结果很大程度取决于参数的初始化，理想的参数初始化方案使得模型训练事半功倍，不好的初始化方案不仅会影响网络收敛效果，甚至会导致梯度弥散或梯度爆炸。选用随机初始化方法，手动设置初始化参数，选择均匀分布与高斯分布的概率分布进行参数初始化。B2：CNN的前向传播。定义参数：卷积核个数、卷积核尺寸、填充padding以及步长stride进行卷积层与激活层的前向传播。定义池化尺寸k以及池化方式Max/Average对输入进行成倍缩小。选用激活函数Sigmoid并定义神经元个数。B3：CNN的反向传播。反向传播旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。B4：进行参数微调。准备训练数据和测试数据，并进行预处理；复用相同层次的参数，新的层参数取随机初始值；调整学习率和步长等参数，增大新层的学习率、减小复用层的学习率；修改最后几层的参数，并增大学习率。这样避免出现过拟合，使模型收敛到理想状态。进一步的，终端设备jetsonnano与Kinect相机相连，接受处理TOF相机采集到的驾驶员的三维空间信息，jetsonnano是一种功能强大的小型计算机，可以运行多个神经网络，从而实现图像分类，物体检测与分割语音处理等操作。该设备提供472GFLOP，用于快速运行现代AI算法，该平台易于使用，可完成所有工作，且运行功率仅为5瓦。所述步骤S3中深度卷积神经网络经历过边缘系统设计，其具体设计过程为：C1：JetsonNanoDeveloperKit的配置。为JetsonNano套件配置相应的内存卡，键鼠，5V2A直流电源等硬件，官网下载系统镜像并进行写入系统镜像。按下电源，绿色指示灯亮起后，进行设置，配置系统完毕。C2：连接JetsonNano与AzureKinect设备，下载libdepthengine.so.1.0后，放置/usr/lib/x86_64-linux-gnu/文件夹中，编译完成开启k4aviewer获取深度视频流。C3：应用已经搭建好的模型，布署在JetsonNano设备上，获取深度视频流并逐帧获取图，应用已有的model进行实时多分类，当判断为危险行为，如打电话发短信等行为时，应用单片机蜂鸣器与LED的应用进行亮灯示警。根据实搭的效果进行原模型的调优，收集更多的训练数据降低过拟合，降低原模型的复杂度，降低特征的数量，不断优化性能。深度图像是具有三维纵深的黑白像素点云图像。Kinect借助自身的红外线发射器，发出激光覆盖整个Kinect的可视范围，激光在散射体表面产生漫反射，红外线摄像头接收漫反射光线，利用光编码技术，对可视范围内的空间进行编码。Kinect对获取的具有三维纵深的编码进行解码运算，获得深度图像数据流。Kinect本文档来自技高网...

【技术保护点】
1.一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：包括具有生成深度图像功能的相机以及数据分析模块，所述数据分析模块包括具有边缘计算功能的终端设备和用于提醒播报的语音模块，所述相机用于采集驾驶员的三维空间信息，所述终端设备用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。/n

【技术特征摘要】
1.一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：包括具有生成深度图像功能的相机以及数据分析模块，所述数据分析模块包括具有边缘计算功能的终端设备和用于提醒播报的语音模块，所述相机用于采集驾驶员的三维空间信息，所述终端设备用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。


2.根据权利要求1所述的一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：所述相机包括发光器件、光源驱动器、接收镜头、TOF传感芯片、TOF芯片驱动器和TOF主控器，所述光源驱动器控制发光器件发光，使发光器件发出调制光信号；所述接收镜头用于接收调制光信号；所述接收镜头能够接收到调制光照射驾驶员反射回来的回波信号，并将回波信号汇聚在TOF传感芯片上；所述TOF传感芯片接收汇聚的回波信号，并将光信号转换为电信号；所述TOF芯片驱动器接收TOF传感芯片转换的电信号，并将电信号进行处理；所述TOF主控器与光源驱动器和TOF芯片驱动器分别连接，根据光信号发出与接收之间的时间差异，计算出驾驶员所在空间的距离信息。


3.根据权利要求1或2所述的一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：所述相机为AzureKinect相机。


4.根据权利要求1所述的一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：所述相机摆放于驾驶室正前上方或侧前上方，用于检测所在位置的三维空间信息，检测的视场范围覆盖驾驶员的头部，躯干以及方向盘位置。


5.一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：包括如下步骤：
S1：利用相机采集持续生成帧的RGB图像以及深度图像，将得到的图像数据传给数据分析模块；
S2：将收集到的图像数据在数据分析模块上进行图像的对齐分割预处理；
S3：在数据分析模块上针对预处理完成的图像，利用引入注意力机制的深度卷积神经网络实现驾驶行为的多分类识别；
S4：根据识别结果，针对危险驾驶行为进行警示，通过语音模块发出警报提醒。


6.根据权利要求5所述的一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：所述步骤S2中通过使用基于高斯混合模型算法的图像分割方法对图像进行对齐分割预处理，高斯混合模型算法即为GMM，GMM是指具有如下形式的概率分布模型：



其中，αk是系数，αk≥0,φ(y|θk)是高斯分布密度，



称为第k个分模型；
利用EM算法实现高斯混合模型的应用，其输入是观测数据y1,y2,...,yN以及高斯混合模型，输出是高斯混合模型参数。


7.根据权利要求6所述的一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：所述步骤S2中对齐分割预处理的具体步骤如下：
A1：取模型参数的初始值开始迭代；
A2：E步：...

【专利技术属性】
技术研发人员：沈澍，杨明，刘小雨，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32