驾驶行为分析方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种驾驶行为分析方法、装置、设备及存储介质，属于图像处理技术领域。所述方法包括：从第一图像中提取出包含方向盘的局部图像，得到第二图像，第一图像是针对驾驶员所处的区域进行拍摄得到的图像；对第二图像进行图像分割处理，以标记出第二图像中的方向盘区域和驾驶员手部区域；将标记出方向盘区域和驾驶员手部区域的第二图像作为行为分析网络模型的输入，通过行为分析网络模型确定驾驶员的驾驶行为。也即是，本公开实施例是通过分析第一图像确定驾驶员的驾驶行为，不受硬件设备和成本的影响。而且，驾驶行为是通过对图像中方向盘区域和驾驶员手部区域进行分析确定的，如此可以对复杂的驾驶行为进行分析和确定。

【技术实现步骤摘要】
驾驶行为分析方法、装置、设备及存储介质
本公开实施例涉及图像处理
，特别涉及一种驾驶行为分析方法、装置、设备及存储介质。
技术介绍
在正常驾驶的情况下，驾驶员的手是一直握住方向盘的。为了保证驾驶安全，驾驶员在驾驶车辆的过程中，需要对驾驶员的驾驶行为进行分析，确定驾驶员的驾驶行为是否为正常驾驶。相关技术中，在方向盘上安装多个传感器(比如：压力传感器)，根据传感器产生的不同信号判断驾驶员的双手是否握住方向盘。也即是，通过检测驾驶员的手是否触碰方向盘，可以确定驾驶过程中驾驶员是否存在手部脱离方向盘的驾驶行为。采用传感器等硬件设备来确定驾驶行为时，容易受硬件设备复杂程度和成本的影响。同时，无法对驾驶员复杂的驾驶行为(比如：拐弯，看手机等)进一步区分，分析结果不够准确。
技术实现思路
本公开实施例提供了一种驾驶行为分析方法、装置、设备及存储介质，可以用于解决相关技术中无法对驾驶员复杂的驾驶行为进行分析，导致分析结果不够准确的问题。所述技术方案如下：一方面，提供了一种驾驶行为分析方法，所述方法包括：从第一图像中提取出包含方向盘的局部图像，得到第二图像，所述第一图像是针对驾驶员所处的区域进行拍摄得到的图像；对所述第二图像进行图像分割处理，以标记出所述第二图像中的方向盘区域和驾驶员手部区域；将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为。可选地，所述对所述第二图像进行图像分割处理，以标记出所述第二图像中的方向盘区域和驾驶员手部区域，包括：将所述第二图像作为图像分割网络模型的输入，通过所述图像分割网络模型确定所述第二图像中每个像素点属于多个类别的概率；基于所述第二图像中每个像素点属于所述多个类别的概率，确定所述第二图像中每个像素点所属的类别；根据所述每个像素点所属的类别，标记出所述第二图像中的方向盘区域和驾驶员手部区域。可选地，所述行为分析网络模型包括特征提取网络子模型和特征融合网络子模型；所述将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为，包括：将标记出方向盘区域和驾驶员手部区域的所述第二图像作为所述特征提取网络子模型的输入，通过所述特征提取网络子模型确定所述第二图像的高阶特征，所述高阶特征用于指示所述驾驶员的手部和所述方向盘之间的相对姿态；将所述第二图像的高阶特征和缓存的N帧历史图像的高阶特征作为所述特征融合网络子模型的输入，通过所述特征融合网络子模型确定所述驾驶员的驾驶行为，所述N帧历史图像与所述第二图像连续，所述N为大于1的整数。可选地，在将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为之前，所述方法还包括：获取多帧第一样本图像以及每帧第一样本图像的高阶特征，所述多帧第一样本图像均为驾驶员驾驶车辆且经过图像分割处理后的图像；将所述多帧第一样本图像作为初始特征提取网络子模型的输入，将所述多帧第一样本图像的高阶特征作为所述初始特征提取网络子模型的输出，对所述初始特征提取网络子模型进行训练，得到所述特征提取网络子模型。可选地，在将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为之前，所述方法还包括：获取连续的多帧第二样本图像的高阶特征以及每帧第二样本图像的样本标签，所述样本标签用于指示相应样本图像中驾驶员的驾驶行为；将所述多帧第二样本图像划分为M组样本图像，每组样本图像包括连续的N+1帧第二样本图像；将所述M组样本图像中每组样本图像的高阶特征作为初始特征融合网络子模型的输入，将相应一组样本图像中最后一帧第二样本图像的样本标签作为所述初始特征融合网络子模型的输出，对所述初始特征融合网络子模型进行训练，得到所述特征融合网络子模型。可选地，所述从第一图像中提取出包含方向盘的局部图像，得到第二图像，包括：从所述第一图像中识别出所述方向盘的位置；基于所述方向盘的位置，从所述第一图像中提取以所述方向盘为中心且向四周扩展目标尺寸后的局部图像，得到所述第二图像。可选地，在所述第一图像中，所述方向盘位于第一对角线的左上方和第二对角线的左下方之间，所述第一对角线穿过车门，且与所述车门保持同一水平线。另一方面，提供了一种驾驶行为分析装置，所述装置包括：图像提取模块，用于从第一图像中提取出包含方向盘的局部图像，得到第二图像，所述第一图像是针对驾驶员所处的区域进行拍摄得到的图像；部件分割模块，用于对所述第二图像进行图像分割处理，以标记出所述第二图像中的方向盘区域和驾驶员手部区域；行为确定模块，用于将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为。可选地，所述部件分割模块，包括：第一确定子模块，用于将所述第二图像作为图像分割网络模型的输入，通过所述图像分割网络模型确定所述第二图像中每个像素点属于多个类别的概率；第二确定子模块，用于基于所述第二图像中每个像素点属于所述多个类别的概率，确定所述第二图像中每个像素点所属的类别；标记子模块，用于根据所述每个像素点所属的类别，标记出所述第二图像中的方向盘区域和驾驶员手部区域。可选地，所述行为分析网络模型包括特征提取网络子模型和特征融合网络子模型；所述行为确定模块，包括：第三确定子模块，用于将标记出方向盘区域和驾驶员手部区域的所述第二图像作为所述特征提取网络子模型的输入，通过所述特征提取网络子模型确定所述第二图像的高阶特征，所述高阶特征用于指示所述驾驶员的手部和所述方向盘之间的相对姿态；第四确定子模块，用于将所述第二图像的高阶特征和缓存的N帧历史图像的高阶特征作为所述特征融合网络子模型的输入，通过所述特征融合网络子模型确定所述驾驶员的驾驶行为，所述N帧历史图像与所述第二图像连续，所述N为大于1的整数。可选地，所述装置还包括：第一获取模块，用于获取多帧第一样本图像以及每帧第一样本图像的高阶特征，所述多帧第一样本图像均为驾驶员驾驶车辆且经过图像分割处理后的图像；第一训练模块，用于将所述多帧第一样本图像作为初始特征提取网络子模型的输入，将所述多帧第一样本图像的高阶特征作为所述初始特征提取网络子模型的输出，对所述初始特征提取网络子模型进行训练，得到所述特征提取网络子模型。可选地，所述装置还包括：第二获取模块，用于获取连续的多帧第二样本图像的高阶特征以及每帧第二样本图像的样本标签，所述样本标签用于指示相应样本图像中驾驶员的驾驶行为；分组模块，用于将所述多帧第二样本图像划分为M组样本图像，每组样本图像包括连续的N+1帧第本文档来自技高网...

【技术保护点】
1.一种驾驶行为分析方法，其特征在于，所述方法包括：/n从第一图像中提取出包含方向盘的局部图像，得到第二图像，所述第一图像是针对驾驶员所处的区域进行拍摄得到的图像；/n对所述第二图像进行图像分割处理，以标记出所述第二图像中的方向盘区域和驾驶员手部区域；/n将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为。/n

【技术特征摘要】
1.一种驾驶行为分析方法，其特征在于，所述方法包括：
从第一图像中提取出包含方向盘的局部图像，得到第二图像，所述第一图像是针对驾驶员所处的区域进行拍摄得到的图像；
对所述第二图像进行图像分割处理，以标记出所述第二图像中的方向盘区域和驾驶员手部区域；
将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为。


2.如权利要求1所述的方法，其特征在于，所述对所述第二图像进行图像分割处理，以标记出所述第二图像中的方向盘区域和驾驶员手部区域，包括：
将所述第二图像作为图像分割网络模型的输入，通过所述图像分割网络模型确定所述第二图像中每个像素点属于多个类别的概率；
基于所述第二图像中每个像素点属于所述多个类别的概率，确定所述第二图像中每个像素点所属的类别；
根据所述每个像素点所属的类别，标记出所述第二图像中的方向盘区域和驾驶员手部区域。


3.如权利要求1所述的方法，其特征在于，所述行为分析网络模型包括特征提取网络子模型和特征融合网络子模型；
所述将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为，包括：
将标记出方向盘区域和驾驶员手部区域后的所述第二图像作为所述特征提取网络子模型的输入，通过所述特征提取网络子模型确定所述第二图像的高阶特征，所述高阶特征用于指示所述驾驶员的手部和所述方向盘之间的相对姿态；
将所述第二图像的高阶特征和缓存的N帧历史图像的高阶特征作为所述特征融合网络子模型的输入，通过所述特征融合网络子模型确定所述驾驶员的驾驶行为，所述N帧历史图像与所述第二图像连续，所述N为大于1的整数。


4.如权利要求3所述的方法，其特征在于，在将标记出方向盘区域和驾驶员手部区域的所述第二图像作为行为分析网络模型的输入，通过所述行为分析网络模型确定所述驾驶员的驾驶行为之前，所述方法还包括：
获取多帧第一样本图像以及每帧第一样本图像的高阶特征，所述多帧第一样本图像均为驾驶员驾驶车辆且经过图像分割处理后的图像；
将所述多帧第一样本图像作为初始特征提取网络子模型的输入，将所述多帧第一样本图像的高阶特征作为所述初始特征提取网络子模型的输出，对所述初始特征提取网络子模型进行训练，得...

【专利技术属性】
技术研发人员：韦立庆，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：上海;31