基于视觉的舱内喝水状态检测算法制造技术

本发明专利技术公开了基于视觉的舱内喝水状态检测算法，包括步骤：采集不同光照条件下不同视角的舱内遗落物品的图像，并对图像进行标注，将标注好的图像分为训练集、测试集和验证集；判断车辆是否启动，拍摄驾驶员得到驾驶员图像；基于人体上肢关键点检测器检测判断驾驶员的状态，若检测到驾驶员单手离开方向盘则基于喝水检测器判断驾驶员是否在喝水，如果驾驶员在喝水则判断图像中是否存在喝水容器；基于精细分类器对喝水容器进行分类，判断为敞口容器或吸管杯；若喝水容器为敞口容器，则基于人脸关键点检测来判断司机头部俯仰角度判断是否影响视线，基于人脸关键点检测来判断司机头部俯仰角度判断是否影响视线。俯仰角度判断是否影响视线。俯仰角度判断是否影响视线。

【技术实现步骤摘要】
基于视觉的舱内喝水状态检测算法


[0001]本专利技术涉及基于视觉的舱内喝水状态检测算法，属于智能座舱


技术介绍

[0002]近几年随着计算机软硬件能力的不断提升，以及人们对驾驶安全的需求提升，舱内监控技术收到了学术界和工业界广泛的关注。喝水状态分析也是其中一项重要的任务，其可以有效保护司机的行车安全。其主要作用是检测舱内司机喝水的状态，并且在影响安全行车时进行报警。
[0003]以往喝水状态检测往往是仅仅检测司机是否喝水，一旦喝水就进行报警，这种方式往往不合乎情理。调查显示，不光喝水状态对行车安全有极大影响，喝水前的准备工作，例如开易拉罐行为，需要双手离开方向盘，才能将易拉罐打开，导致车辆在数秒内处于无法控制状态。如果司机以120公里/小时的车速行驶时，每秒的行进路程达33米左右。假设打开易拉罐用时1.5秒，此时车辆就将行驶50余米，而这些路程都是在无操作时完成的，极度危害公共安全。研究表明，使用吸管喝水时，眼睛依旧能平视前方，这对于行车安全有很大的保障。如果仅仅检测喝水状态，不能保证喝水的准备状态对行车是否造成影响，也不能判断喝水是否影响行车安全。
[0004]为了克服以上问题，利用人体关键点检测方法判断司机是否双手脱离方向盘，如果双手脱离方向盘及时进行报警，后使用喝水检测算法，检测出司机是否在喝水，并使用深度神经网络对水杯进行区分，再根据人脸关键点检测算法，计算人脸俯仰角，针对俯仰角较大的喝水状态进行报警。

技术实现思路

[0005]本专利技术所要解决的技术问题是克服现有技术的缺陷，提供基于视觉的舱内喝水状态检测算法，利用人体关键点检测方法判断司机是否双手脱离方向盘，如果双手脱离方向盘及时进行报警，后使用喝水检测算法，检测出司机是否在喝水，并使用深度神经网络对水杯进行区分，再根据人脸关键点检测算法，计算人脸俯仰角，针对俯仰角较大的喝水状态进行报警。
[0006]为达到上述目的，本专利技术提供基于视觉的舱内喝水状态检测算法，包括以下步骤：1）多次采集不同光照条件下不同视角的舱内遗落物品的图像，并对图像进行标注，将标注好的图像分为训练集、测试集和验证集；2）判断车辆是否启动，拍摄驾驶员得到驾驶员图像；3）基于人体上肢关键点检测器检测判断驾驶员的状态，若检测到驾驶员单手离开方向盘则进入步骤4），否则重复拍摄驾驶员得到驾驶员图像；4）基于喝水检测器判断驾驶员是否在喝水，如果驾驶员在喝水则判断图像中是否存在喝水容器；基于精细分类器对喝水容器进行分类，判断为敞口容器或吸管杯；5）若喝水容器为吸管杯则不报警；若喝水容器为敞口容器，则基于人脸关键点检测来
判断司机头部俯仰角度判断是否影响视线，基于人脸关键点检测来判断司机头部俯仰角度判断是否影响视线。
[0007]优先地，基于人体上肢关键点检测判断驾驶员的状态，若驾驶员的手没有离开方向盘则不报警，若驾驶员双手离开方向盘则进行报警。
[0008]优先地， 步骤1）中，人体上肢关键点检测器的训练包括以下步骤：
①
对驾驶员图像进行标注，标注出人体上肢节点，将驾驶员图像随机划分为人体上肢关键点检测器训练集、人体上肢关键点检测器验证集和人体上肢关键点检测器测试集；
②
设定Hourglass神经网络，将训练集送入Hourglass神经网络进行迭代训练，在验证集上验证；
③
在测试集上测试人体上肢关键点位置，利用回流数据进行网络迭代优化，回流数据包括人体上肢关键点位置误检的测试和人体上肢关键点位置漏检的测试。
[0009]优先地，喝水检测器的训练包括以下步骤：
①
对同视角的舱内遗落物品的图像进行标注，标注喝水状态下的喝水容器位置，喝水容器位置包括左上角坐标和右下角坐标，将同视角的舱内遗落物品的图像随机划分为喝水检测器训练集，喝水检测器验证集以及喝水检测器测试集；
②
设定ResNet检测神经网络，将训练集送入ResNet检测神经网络进行迭代训练，在验证集上验证；
③
在测试集上测试人脸检测是否准确，利用回流数据进行网络迭代优化，回流数据包括人脸检测误检的测试和人脸检测漏检的测试。
[0010]优先地，精细分类器的训练包括以下步骤：
①
对驾驶员图像中检测框结果进行挖取并进行标注，分为敞口容器和吸管杯，将驾驶员图像随机划分为精细分类器训练集、精细分类器验证集以及精细分类器测试集；
②
设定ShuffleNet分类神经网络，将训练集送入ShuffleNet分类神经网络进行迭代训练，在验证集上验证；
③
在测试集上测试杯型分类是否正确，利用回流数据进行网络迭代优化，回流数据包括杯型分类误检的测试和杯型分类漏检的测试。
[0011]优先地，人脸关键点检测器的训练包括以下步骤：
①
对驾驶员图像进行标注，标注人脸68点关键点坐标；
②
设定ResNet回归神经网络，将训练集送入ResNet回归神经网络进行迭代训练，在验证集上验证；
③
在测试集上测试人脸关键点位置是否正确，利用回流数据进行网络迭代优化，回流数据包括人脸关键点位置误检的测试和人脸关键点位置漏检的测试。
[0012]优先地，人体上肢节点包括左手手腕、右手手腕、左手肘、右手肘，左肩部和右肩部。
[0013]优先地，人体上肢关键点检测器训练集占驾驶员图像数量的80%，人体上肢关键点检测器验证集占驾驶员图像数量的10%，人体上肢关键点检测器测试集占驾驶员图像数量的10%。
[0014]优先地，喝水检测器训练集占同视角的舱内遗落物品的图像总量的80%，喝水检测
器验证集占同视角的舱内遗落物品的图像总量的10%，喝水检测器测试集占同视角的舱内遗落物品的图像总量的10%。
[0015]优先地，精细分类器训练集占驾驶员图的80%，精细分类器验证集占驾驶员图的10%，精细分类器测试集占驾驶员图的10%。
[0016]本专利技术所达到的有益效果：本专利技术利用人体关键点检测对司机行车状态进行分析后，利用喝水检测算法对喝水状态进行分析，后利用精细分类算法和人脸关键点检测算法进行分析，只针对对行车安全有影响的状态进行报警。基于我们的方案，喝水检测的精度和驾驶员注意力召回率上均有所提升，促使驾驶员的驾驶车辆时集中注意力，提高了驾驶过程中的安全性。
附图说明
[0017]图1是本专利技术方法的流程图。
具体实施方式
[0018]以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0019]基于视觉的舱内喝水状态检测算法，包括以下步骤：1）多次采集不同光照条件下不同视角的舱内遗落物品的图像，并对图像进行标注，将标注好的图像分为训练集、测试集和验证集；2）判断车辆是否启动，拍摄驾驶员得到驾驶员图像；3）基于人体上肢关键点检测器检测判断驾驶员的状态，若检测到驾驶员单手离开方向盘则进入步骤4），否则重复拍摄驾驶员得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉的舱内喝水状态检测算法，其特征在于，包括以下步骤：1）多次采集不同光照条件下不同视角的舱内遗落物品的图像，并对图像进行标注，将标注好的图像分为训练集、测试集和验证集；2）判断车辆是否启动，拍摄驾驶员得到驾驶员图像；3）基于人体上肢关键点检测器检测判断驾驶员的状态，若检测到驾驶员单手离开方向盘则进入步骤4），否则重复拍摄驾驶员得到驾驶员图像；4）基于喝水检测器判断驾驶员是否在喝水，如果驾驶员在喝水则判断图像中是否存在喝水容器；基于精细分类器对喝水容器进行分类，判断为敞口容器或吸管杯；5）若喝水容器为吸管杯则不报警；若喝水容器为敞口容器，则基于人脸关键点检测来判断司机头部俯仰角度判断是否影响视线，基于人脸关键点检测来判断司机头部俯仰角度判断是否影响视线。2.根据权利要求1所述的基于视觉的舱内喝水状态检测算法，其特征在于，基于人体上肢关键点检测判断驾驶员的状态，若驾驶员的手没有离开方向盘则不报警，若驾驶员双手离开方向盘则进行报警。3.根据权利要求1所述的基于视觉的舱内喝水状态检测算法，其特征在于， 步骤1）中，人体上肢关键点检测器的训练包括以下步骤：
①
对驾驶员图像进行标注，标注出人体上肢节点，将驾驶员图像随机划分为人体上肢关键点检测器训练集、人体上肢关键点检测器验证集和人体上肢关键点检测器测试集；
②
设定Hourglass神经网络，将训练集送入Hourglass神经网络进行迭代训练，在验证集上验证；
③
在测试集上测试人体上肢关键点位置，利用回流数据进行网络迭代优化，回流数据包括人体上肢关键点位置误检的测试和人体上肢关键点位置漏检的测试。4.根据权利要求1所述的基于视觉的舱内喝水状态检测算法，其特征在于，喝水检测器的训练包括以下步骤：
①
对同视角的舱内遗落物品的图像进行标注，标注喝水状态下的喝水容器位置，喝水容器位置包括左上角坐标和右下角坐标，将同视角的舱内遗落物品的图像随机划分为喝水检测器训练集，喝水检测器验证集以及喝水检测器测试集；
②
设定ResNet检测神经网络，将训练集送入ResNet检测神经网络进行迭代训练，在验证集上验证；
③
在测试集上...

【专利技术属性】
技术研发人员：黄宇维，刘国清，杨广，周滔，
申请(专利权)人：南京佑驾科技有限公司，
类型：发明
国别省市：