一种驾驶行为分析方法、系统及电子设备技术方案

本发明专利技术涉及图像处理技术领域，公开了一种驾驶行为分析方法、系统及电子设备，包括：识别预定时间段内目标主体的眨眼事件、闭眼事件和打哈欠事件；根据眨眼频率计算得到第一疲劳度分数；根据每次闭眼事件的闭眼时长计算得到第二疲劳度分数；根据每次打哈欠事件的打哈欠时长计算得到第三疲劳度分数；根据第一疲劳度分数以及对应的权重、第二疲劳度分数以及对应的权重、第三疲劳度分数以及对应的权重计算疲劳度总分数；实现对驾驶行为的分析；本发明专利技术基于深度学习识别，识别出司机的情绪状态、疲劳行为，得出司机的疲劳度总分数和情绪评分，当司机疲劳度总分数、情绪评分超出阈值就会进行报警提醒，实现对司机行车安全的监控。实现对司机行车安全的监控。实现对司机行车安全的监控。

【技术实现步骤摘要】
一种驾驶行为分析方法、系统及电子设备


[0001]本专利技术涉及图像数据分析
，具体为一种驾驶行为分析方法、系统及电子设备。

技术介绍

[0002]随着社会经济的快速发展，交通建设日新月异，这些变化无疑对道路交通安全管理提出了更高的要求；在行车过程中，长时间行车很容易会使驾驶员产生疲劳，从而会造成极大的安全隐患，因此如何提前感知到司机的疲劳情况尤为重要。
[0003]目前传统的方案大多比较单一而且有各种缺陷，比如基于脑电等传统生理信息的检测方法具有最准确的识别效果,但一般采用接触式测量,影响驾驶员的正常工作；另外，还有比较常见的是基于图像的违规动作的检测手段,这种方案也是目前市场上使用比较多的方案，虽然不会影响驾驶员的正常操作,但识别维度比较单一，只能检测司机当前的违规动作，也不能反应司机的长时间的疲劳度和心理状态。

技术实现思路

[0004]本专利技术的目的在于克服现有分析方式效果不好的问题，提供了一种驾驶行为分析方法、系统及电子设备。
[0005]为了实现上述目的，本专利技术提供一种驾驶行为分析方法，包括以下步骤：获取目标主体在驾驶过程中预定时间段内的视频图像，识别所述视频图像中的眨眼事件、闭眼事件和打哈欠事件；
[0006]获取相邻眨眼事件之间的时间间隔，根据相邻眨眼事件之间的时间间隔计算得到该预定时间段内的眨眼频率，根据眨眼频率得到该预定时间段内的第一疲劳度分数；
[0007]获取每次闭眼事件的闭眼时长，根据每次闭眼事件的闭眼时长得到对应的闭眼疲劳度峰值，根据每次闭眼事件的闭眼疲劳度峰值得到对应的闭眼疲劳度分数，根据闭眼疲劳度分数计算得到该预定时间段内的第二疲劳度分数；
[0008]获取每次打哈欠事件的打哈欠时长，根据每次打哈欠事件的打哈欠时长得到对应的哈欠疲劳度峰值，根据每次打哈欠事件的哈欠疲劳度峰值得到对应的哈欠疲劳度分数，根据哈欠疲劳度分数计算得到该预定时间段内的第三疲劳度分数；
[0009]分别获取眨眼事件、闭眼事件和打哈欠事件对应的权重，根据第一疲劳度分数以及对应的权重、第二疲劳度分数以及对应的权重和第三疲劳度分数对应的权重计算疲劳度总分数；实现对驾驶行为的分析。
[0010]作为一种可实施方式，还包括：基于分类器对视频图像中目标主体的面部表情信息进行识别并得到所述面部表情信息对应的不同情绪概率值，基于权重矩阵得到每个情绪概率值对应的权重并根据不同情绪概率值以及对应的权重得到情绪评分；根据所述疲劳度总分数和所述情绪评分得到对应的驾驶状态。
[0011]作为一种可实施方式，获取相邻眨眼事件之间的时间间隔，根据相邻眨眼事件之
间的时间间隔计算得到该预定时间段内的眨眼频率，根据眨眼频率得到该预定时间段内的第一疲劳度分数的步骤包括：
[0012]获取相邻眨眼事件之间的时间间隔为{T1,T2,...,T
N
}，根据相邻眨眼事件之间的时间间隔计算该预定时间段内的眨眼频率f
blink
，计算公式为：式中，N表示眨眼事件的总次数，f
blink
表示眨眼频率，T
i
表示第i次眨眼事件的时间间隔；
[0013]根据眨眼频率f
blink
计算得到对应的第一疲劳度分数S
blink
(f
blink
)，计算公式为：式中，表示疲劳系数，表示两个不同的疲劳常数，[0,f1)、[f1,f2)、[f2,f3)、[f3,+∞)分别表示四个眨眼频率区间。
[0014]作为一种可实施方式，获取每次闭眼事件的闭眼时长，根据每次闭眼事件的闭眼时长得到对应的闭眼疲劳度峰值，根据每次闭眼事件的闭眼疲劳度峰值得到对应的闭眼疲劳度分数，根据闭眼疲劳度分数计算得到该预定时间段内的第二疲劳度分数的步骤包括：
[0015]获取每次闭眼事件的闭眼时长τ
closure
，根据每次闭眼事件的闭眼时长τ
closure
得到对应每次闭眼事件的闭眼疲劳度峰值，其中，所述每次闭眼事件的闭眼时长τ
closure
大于阈值V
th
，计算公式为：
[0016]式中，表示第i个闭眼事件对应的闭眼疲劳度峰值，表示疲劳系数，分别表示两个不同的闭眼疲劳系数，[V
th
,τ1)、[τ1,τ2)、[τ2,τ3)、[τ3,+∞)分别表示四个闭眼时长区间；
[0017]对不同闭眼事件对应的闭眼疲劳度峰值进行衰减计算，得到对应不同闭眼事件的闭眼疲劳度分数，计算公式为：式中表示第i个闭眼事件对应的闭眼疲劳度分数，表示瞬时疲劳度相对于闭眼疲劳度峰值的衰减关系，Θ(t)为阶跃函数；
[0018]计算该预定时间段内未衰减至0的哈欠疲劳度分数的总和，得到该预定时间段内的第二疲劳度分数，计算公式为：式中，S
closure
(t)表示第二疲劳度分数，分别表示第i个闭眼事件的开始时间和闭眼时长、表示第i个闭眼事件对应的闭眼疲劳度分数。
[0019]作为一种可实施方式，获取每次打哈欠事件的打哈欠时长，根据每次打哈欠事件
的打哈欠时长得到对应的哈欠疲劳度峰值，根据每次打哈欠事件的哈欠疲劳度峰值得到对应的哈欠疲劳度分数，根据哈欠疲劳度分数计算得到该预定时间段内的第三疲劳度分数的步骤包括：
[0020]获取每次哈欠事件的哈欠时长τ
yawn
，计算得到不同哈欠事件对应的哈欠疲劳度峰值，计算公式为：
[0021]式中，表示第i个哈欠事件对应的哈欠疲劳度峰值，表示疲劳系数，分别表示两个不同的哈欠疲劳系数；
[0022]对不同打哈欠事件对应的哈欠疲劳度峰值进行衰减计算，得到对应不同打哈欠事件的哈欠疲劳度分数，计算公式为：式中表示第i个打哈欠事件对应的哈欠疲劳度分数，表示瞬时疲劳度相对于哈欠疲劳度峰值的衰减关系，Θ(t)为阶跃函数；
[0023]计算该预定时间段内未衰减至0的哈欠疲劳度分数的总和，得到该预定时间段内的第三疲劳度分数，计算公式为：式中，S
yawn
(t)表示第三疲劳度分数，分别表示第i个哈欠事件的开始时间和打哈欠时长，表示第i个打哈欠事件对应的哈欠疲劳度分数。
[0024]作为一种可实施方式，分别获取眨眼事件、闭眼事件和打哈欠事件对应的权重，根据第一疲劳度分数以及对应的权重、第二疲劳度分数以及对应的权重和第三疲劳度分数对应的权重计算疲劳度总分数的计算公式为：
[0025]疲劳度总分数S＝w
blink
S
blink
+w
closure
S
closure
+w
yawn
S
yawn
，式中，得到的S的范围为大于等于0小于等于100，疲劳度总分数S的分值越高，对应的疲劳度越高，S
blink
和w
blink
分别表示第一疲劳度分数及对应权重，S...

【技术保护点】

【技术特征摘要】
1.一种驾驶行为分析方法，其特征在于，包括以下步骤：获取目标主体在驾驶过程中预定时间段内的视频图像，识别所述视频图像中的眨眼事件、闭眼事件和打哈欠事件；获取相邻眨眼事件之间的时间间隔，根据相邻眨眼事件之间的时间间隔计算得到该预定时间段内的眨眼频率，根据眨眼频率得到该预定时间段内的第一疲劳度分数；获取每次闭眼事件的闭眼时长，根据每次闭眼事件的闭眼时长得到对应的闭眼疲劳度峰值，根据每次闭眼事件的闭眼疲劳度峰值得到对应的闭眼疲劳度分数，根据闭眼疲劳度分数计算得到该预定时间段内的第二疲劳度分数；获取每次打哈欠事件的打哈欠时长，根据每次打哈欠事件的打哈欠时长得到对应的哈欠疲劳度峰值，根据每次打哈欠事件的哈欠疲劳度峰值得到对应的哈欠疲劳度分数，根据哈欠疲劳度分数计算得到该预定时间段内的第三疲劳度分数；分别获取眨眼事件、闭眼事件和打哈欠事件对应的权重，根据第一疲劳度分数以及对应的权重、第二疲劳度分数以及对应的权重、第三疲劳度分数以及对应的权重计算疲劳度总分数；实现对驾驶行为的分析。2.根据权利要求1所述的驾驶行为分析方法，其特征在于，还包括：基于分类器对视频图像中目标主体的面部表情信息进行识别并得到所述面部表情信息对应的不同情绪概率值，基于权重矩阵得到每个情绪概率值对应的权重并根据不同情绪概率值以及对应的权重得到情绪评分；根据所述疲劳度总分数和所述情绪评分得到对应的驾驶状态。3.根据权利要求1所述的驾驶行为分析方法，其特征在于，获取相邻眨眼事件之间的时间间隔，根据相邻眨眼事件之间的时间间隔计算得到该预定时间段内的眨眼频率，根据眨眼频率得到该预定时间段内的第一疲劳度分数的步骤包括：获取相邻眨眼事件之间的时间间隔为{T1,T2,...,T
N
}，根据相邻眨眼事件之间的时间间隔计算该预定时间段内的眨眼频率f
blink
，计算公式为：式中，N表示眨眼事件的总次数，f
blink
表示眨眼频率，T
i
表示第i次眨眼事件的时间间隔；根据眨眼频率f
blink
计算得到对应的第一疲劳度分数S
blink
(f
blink
)，计算公式为：式中，表示疲劳系数，表示两个不同的疲劳常数，[0,f1)、[f1,f2)、[f2,f3)、[f3,+∞)分别表示四个眨眼频率区间。4.根据权利要求1所述的驾驶行为分析方法，其特征在于，获取每次闭眼事件的闭眼时长，根据每次闭眼事件的闭眼时长得到对应的闭眼疲劳度峰值，根据每次闭眼事件的闭眼疲劳度峰值得到对应的闭眼疲劳度分数，根据闭眼疲劳度分数计算得到该预定时间段内的第二疲劳度分数的步骤包括：获取每次闭眼事件的闭眼时长τ
closure
，根据每次闭眼事件的闭眼时长τ
closure
得到对应每次闭眼事件的闭眼疲劳度峰值，其中，所述每次闭眼事件的闭眼时长τ
closure
大于阈值V
th
，计算公式为：
式中，表示第i个闭眼事件对应的闭眼疲劳度峰值，表示疲劳系数，分别表示两个不同的闭眼疲劳系数，[V
th
,τ1)、[τ1,τ2)、[τ2,τ3)、[τ3,+∞)分别表示四个闭眼时长区间；对不同闭眼事件对应的闭眼疲劳度峰值进行衰减计算，得到对应不同闭眼事件的闭眼疲劳度分数，计算公式为：式中表示第i个闭眼事件对应的闭眼疲劳度分数，表示瞬时疲劳度相对于闭眼疲劳度峰值的衰减关系，Θ(t)为阶跃函数；计算该预定时间段内未衰减至0的哈欠疲劳度分数的总和，得到该预定时间段内的第二疲劳度分数，计算公式为：式中，S
closure
(t)表示第二疲劳度分数，分别表示第i个闭眼事件的开始时间和闭眼时长、表示第i个闭眼事件对应的闭眼疲劳度分数。5.根据权利要求1所述的驾驶行为分析方法，其特征在于，获取每次打哈欠事件的打哈欠时长，根据每次打哈欠事件的打哈欠时长得到对应的哈欠疲劳度峰值，根据每次打哈欠事件的哈欠疲劳度峰值得到对应的哈欠疲劳度分数，根据哈欠疲劳度分数计算得到该预定时间段内的第三疲劳度分数...

【专利技术属性】
技术研发人员：邵林俊，耿路，方超，杨宏旭，
申请(专利权)人：八维通科技有限公司，
类型：发明
国别省市：