一种基于计算机视觉和传感器的疲劳度监测系统技术方案

本发明专利技术公开了一种基于计算机视觉和传感器的疲劳度监测系统，包括驾驶员人脸捕捉模块、驾驶员身体捕捉模块、驾驶员身体状态监测模块、核心主控、应答模块、数据共享模块和异常处理模块。本发明专利技术能够很方便的部署到汽车之上，不会对汽车的运行产生直接影响，能够不影响汽车的安全行驶，同时安装方便，经过测试，该方式相比通过汽车运行状态进行疲劳危险驾驶的方式灵敏度提高4倍以上。本发明专利技术的疲劳度检测方式使用了包括司机身体内在状态和外在状态的多项数据进行融合分析，在保证疲劳度监测精度的同时，大大减少了疲劳误判的情况，相比于仅使用计算机视觉或仅使用佩戴传感器的疲劳检测方式，误判率减少40％以上。误判率减少40％以上。误判率减少40％以上。

【技术实现步骤摘要】
一种基于计算机视觉和传感器的疲劳度监测系统


[0001]本专利技术涉及一种基于计算机视觉和传感器的疲劳度监测系统，属于监测系统


技术介绍

[0002]当前现有的司机驾驶疲劳度监测系统中，大多数采用的监测方式较为单一。
[0003]专利公开号为CN103310590A，公开了一种驾驶员疲劳度分析及预警系统及方法，所述 系统包括摄像单元、疲劳度分析单元、报警装置；摄像单元用以获取驾驶员的实时视频 信息；疲劳度分析单元用以接收摄像单元获取的视频信息，以此判断驾驶员是否疲劳； 疲劳度分析单元包括人脸捕捉检测仪、人脸姿态识别装置、活体识别装置、人脸属性分 析装置中的一个或多个；报警装置用以接收疲劳度分析单元发送的报警信令，发出报警 信息。本专利技术能够对驾驶员的疲劳度进行分析，拥有足够高地识别准确度，与现有监控 网络能很好的兼容做到及时地预警，且工作稳定，易于升级和维护，成本低。本专利技术能 够发现驾驶员疲劳驾驶并能及时预警，可有效地避免由疲劳驾驶造成的交通事故。 专利公开号为CN207594736U，公开了公开了一种基于车联网的疲劳驾驶检测提醒系统， 包括：智能车载终端，智能车载终端包括与汽车的数据接口连接的接口模块、与接口模 块连接的采集模块，以及与采集模块连接的通信模块，采集模块用于获取行车数据；脑 电检测模块，其与采集模块连接，且用于检测驾驶员的疲劳度数据；远程服务器，其与 通信模块连接；移动终端，其与远程服务器连接。本技术通过采集模块分别采集行 车数据和驾驶员疲劳度数据，通信模块将数据发送给远程服务器，远程服务器将数据进 行分析并将分析结果传输给移动终端，提醒驾驶员纠正驾驶行为，解决了现有技术针对 驾驶员驾驶行为的监测不够客观、全面的问题。
[0004]如上两篇在先技术一部分只是通过计算机视觉检测司机状态，一部分只是通过检测车辆 运行状态来判断司机疲劳程度，这两种方式检测到的结果置信度均较低。

技术实现思路

[0005]本专利技术所要解决的技术问题是提供一种基于计算机视觉和传感器的疲劳度监测系统，以 解决上述
技术介绍
中提出的问题。
[0006]为解决上述问题，本专利技术所采取的技术方案是：
[0007]一种基于计算机视觉和传感器的疲劳度监测系统，包括驾驶员人脸捕捉模块、驾驶员身 体捕捉模块、驾驶员身体状态监测模块、核心主控、应答模块、数据共享模块和异常处 理模块；
[0008]所述驾驶员人脸捕捉模块、驾驶员身体捕捉模块和驾驶员身体状态监测模块将采集的数 据传输至核心主控，所述核心主控对对获得驾驶员人脸和驾驶员身体状态以及身体状态 数据进行处理和分析；
[0009]所述应答模块根据核心主控计算得到的疲劳度检测结果做出相应的应答反应；
[0010]所述数据共享模块将车内的数据实时的传输到云端进行记录；
[0011]所述异常处理模块，在系统运行出现异常时，进行提醒和自我修复。
[0012]作为本专利技术的进一步改进，所述驾驶员人脸捕捉模块，用于捕捉驾驶员的面部特征，并 通过对驾驶员面部进行关键点检测，获取驾驶员面部器官运动行为，从而进行疲劳度评 估。
[0013]作为本专利技术的进一步改进，所述驾驶员身体捕捉模块，用于采集驾驶员坐姿，通过驾驶 员坐姿变化判断驾驶员疲劳程度。
[0014]作为本专利技术的进一步改进，所述驾驶员身体状态监测模块，通过手环采集心率信息并变 换为电信号。
[0015]作为本专利技术的进一步改进，所述核心主控是以jetson nano为主体的gpu算力设备，负 责数据运算。
[0016]jetson nano是高性能AI边缘终端，gpu指图形处理器。
[0017]作为本专利技术的进一步改进，所述应答模块包括手环和报警装置；所述报警装置为安装在 驾驶舱内的闪光灯、音响和醒神喷雾。
[0018]作为本专利技术的进一步改进，所述驾驶员人脸捕捉模块通过神经网络的方式，通过目标检 测神经网络对人脸数据进行训练，使用训练好的人脸目标检测模型进行人脸的定位。
[0019]作为本专利技术的进一步改进，所述驾驶员人脸捕捉模块和驾驶员身体捕捉模块采用安装在 车辆前挡风玻璃的上端处的红外摄像头和高清摄像头采集司机的头部图像；
[0020]所述红外摄像头和高清摄像头通过无线连接或有线连接核心主控。
[0021]作为本专利技术的进一步改进，所述手环戴在司机手腕上，手环与主控通过蓝牙连接传输数 据。
[0022]采用上述技术方案所产生的有益效果在于：
[0023]本专利技术能够很方便的部署到汽车之上，不会对汽车的运行产生直接影响，能够不影响汽 车的安全行驶，同时安装方便，整套系统只需要在主驾驶位前的位置安装小型摄像头， 将主控设备放置在车内空闲位置即可，同时司机佩戴的手环小巧且佩戴舒适，经过测试， 该方式相比通过汽车运行状态进行疲劳危险驾驶的方式灵敏度提高4倍以上，从司机疲 劳度到危险值到发出预警的间隔时间小于2s。能够在不影响司机正常驾驶汽车的同时， 实时保障驾驶员的安全驾驶。
[0024]本专利技术的疲劳度检测方式使用了包括司机身体内在状态和外在状态的多项数据进行融 合分析，在保证疲劳度监测精度的同时，大大减少了疲劳误判的情况，相比于仅使用计 算机视觉或仅使用佩戴传感器的疲劳检测方式，误判率减少40％以上。
附图说明
[0025]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附 图获得其他的附图。
[0026]图1是本专利技术的工作流程示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对 至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使 用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前 提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申 请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也 意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包 括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0029]除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和 数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分 的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方 法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权 说明书的一部分。在这里示出和讨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉和传感器的疲劳度监测系统，其特征在于：包括驾驶员人脸捕捉模块、驾驶员身体捕捉模块、驾驶员身体状态监测模块、核心主控、应答模块、数据共享模块和异常处理模块；所述驾驶员人脸捕捉模块、驾驶员身体捕捉模块和驾驶员身体状态监测模块将采集的数据传输至核心主控，所述核心主控对对获得驾驶员人脸和驾驶员身体状态以及身体状态数据进行处理和分析；所述应答模块根据核心主控计算得到的疲劳度检测结果做出相应的应答反应；所述数据共享模块将车内的数据实时的传输到云端进行记录；所述异常处理模块，在系统运行出现异常时，进行提醒和自我修复。2.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统，其特征在于：所述驾驶员人脸捕捉模块，用于捕捉驾驶员的面部特征，并通过对驾驶员面部进行关键点检测，获取驾驶员面部器官运动行为，从而进行疲劳度评估。3.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统，其特征在于：所述驾驶员身体捕捉模块，用于采集驾驶员坐姿，通过驾驶员坐姿变化判断驾驶员疲劳程度。4.根据权利要求1所述的一种基于计算机视觉和传感器的疲劳度监测系统，其特征在于：所述驾...

【专利技术属性】
技术研发人员：刘涵，杜卓，赵立铭，孙亚楠，徐泽靖，张震，姚赛，宋保贤，罗中豪，
申请(专利权)人：河北科技大学，
类型：发明
国别省市：