公开了一种疲劳状态检测方法、装置、介质及设备，其中的方法包括：从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列；基于所述器官区域的图像块序列，确定所述目标对象的疲劳状态类型；若所述疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，使所述云端服务器基于图像块序列检测所述目标对象的疲劳等级；接收云端服务器返回的所述目标对象的疲劳等级信息。本公开提供的技术方案有利于提高疲劳状态检测的准确性，从而有利于提高移动设备的行驶安全。另外，本公开提供的技术方案在有利于保护用户隐私的同时，还能降低向云端服务器传输图像的数据量。
【技术实现步骤摘要】
疲劳状态检测方法、装置、介质及电子设备
本公开涉及计算机视觉技术，尤其是涉及一种疲劳状态检测方法、疲劳状态检测装置、存储介质以及电子设备。
技术介绍
在驾驶领域中，由于驾驶员的疲劳驾驶是车辆等移动设备行驶过程中的一个不安全隐患，对移动设备安全行驶的影响较大，因此，对驾驶员进行疲劳状态检测是DMS(DriverMonitorSystem，驾驶员监控系统)中的一项重要内容。相比于传统的基于接触式的疲劳状态检测技术而言，基于计算机视觉的疲劳状态检测技术，由于其具有易用性较强，且实现成本较低等特点，而被广泛应用。基于计算机视觉的疲劳状态检测过程通常为：利用设置于移动设备内的摄像装置针对驾驶员进行拍摄，摄像装置采集到的视频帧被实时的提供给DMS，由DMS对其接收到的视频帧进行处理，以确定驾驶员当前是否处于疲劳状态。如何准确的识别出驾驶员当前所处的疲劳状态，以保证移动设备的安全行驶，是一个值得关注的技术问题。
技术实现思路
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种疲劳状态检测方法、装置、存储介质以及电子设备。根据本公开实施例的一个方面，提供一种疲劳状态检测方法，包括：从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列；根据所述图像块序列，确定所述目标对象的疲劳状态类型；若所述疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，所述云端服务器基于所述图像块序列检测所述目标对象的疲劳等级；接收所述云端服务器返回的所述目标对象的疲劳等级信息。根据本公开实施例的另一个方面，提供一种疲劳状态检测装置，包括：获取序列模块，用于从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列；确定类型模块，用于根据所述获取序列模块获得的图像块序列，确定所述目标对象的疲劳状态类型；判决模块，用于若所述确定类型模块确定出的疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，使所述云端服务器基于所述图像块序列检测所述目标对象的疲劳等级；接收模块，用于接收所述云端服务器返回的所述目标对象的疲劳等级信息。根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。根据本公开实施例的再一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。基于本公开上述实施例提供的一种疲劳状态检测方法和装置，通过在移动设备确定出目标对象的疲劳状态类型符合第一预设类型时，向云端服务器发送图像块序列，使云端服务器可以基于图像块序列向移动设备提供目标对象的疲劳等级，从而实现了端云结合的疲劳状态检测；由于云端服务器的计算资源强于移动设备处的计算资源，因此，云端服务器能够对图像块序列进行更精准的疲劳状态检测，有利于提高疲劳检测的准确性，从而有利于提高移动设备的行驶安全。另外，由于移动设备端向云端服务器发送的信息为仅包含目标对象的器官区域的图像块序列，而非包含有目标对象的整个面部区域的视频帧，因此，在有利于保护用户隐私的同时，还能降低移动设备端向云端服务器传输图像的数据量。下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是本公开的疲劳状态检测的技术方案适应场景一个实施例的示意图；图2为本公开的疲劳状态检测方法一个实施例的流程图；图3为本公开的获得包含有目标对象的相应器官区域的图像块一个实施例的流程图；图4为本公开的确定目标对象的疲劳状态类型一个实施例的流程图；图5为本公开的确定目标对象的疲劳状态类型另一个实施例的流程图；图6为本公开的云端服务器向移动设备返回神经网络的网络参数一个实施例的流程图；图7为本公开的疲劳状态检测装置一个实施例的结构示意图；图8是本申请一示例性实施例提供的电子设备的结构图。具体实施方式下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程本文档来自技高网...
【技术保护点】
1.一种疲劳状态检测方法，包括：/n从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列；/n根据所述图像块序列，确定所述目标对象的疲劳状态类型；/n若所述疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，使所述云端服务器基于所述图像块序列检测所述目标对象的疲劳等级；/n接收所述云端服务器返回的所述目标对象的疲劳等级信息。/n
【技术特征摘要】
1.一种疲劳状态检测方法，包括：
从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列；
根据所述图像块序列，确定所述目标对象的疲劳状态类型；
若所述疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，使所述云端服务器基于所述图像块序列检测所述目标对象的疲劳等级；
接收所述云端服务器返回的所述目标对象的疲劳等级信息。
2.根据权利要求1所述的方法，其中，所述方法还包括：
若所述疲劳状态类型符合第二预设类型，执行所述第二预设类型对应的用于提醒所述目标对象对所述移动设备行驶注意力的操作。
3.根据权利要求1或2所述的方法，其中，所述从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列，包括：
对设置于所述移动设备中的摄像装置采集获得的多个视频帧，分别进行关键点提取处理，获得目标对象的脸部关键点；
对于所述多个视频帧中的任一视频帧，根据该视频帧中的目标对象的脸部关键点中的相应器官关键点，确定目标对象的器官区域，从该视频帧中获取包含有目标对象的相应器官区域的图像块。
4.根据权利要求3所述的方法，其中，所述若所述疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，包括：
若所述疲劳状态类型符合第一预设类型，则向云端服务器发送所述图像块序列和所述多个视频帧中的目标对象的器官关键点；或者
若所述疲劳状态类型符合第一预设类型，则向云端服务器发送所述图像块序列和所述多个视频帧中的目标对象的脸部关键点；
其中，所述器官关键点或者脸部关键点用于，所述云端服务器获得所述移动设备执行脸部关键点提取操作所使用的参数的更新信息。
5.根据权利要求1至4中任一项所述的方法，其中，所述根据所述图像块序列，确定所述目标对象的疲劳状态类型，包括：
根据所述图像块序列，获取所述目标对象分别处于第二预设类型所包含的各疲劳等级的置信度；
根据各疲劳等级的第一阈值、各疑似疲劳等级的第二阈值和所述置信度，确定所述目标对象的疲劳状态类型；
其中，所述疲劳等级的第一阈值用于确定所述目标对象的疲劳等级，...
【专利技术属性】
技术研发人员：杨聪，杨振宇，李威宇，
申请(专利权)人：深圳地平线机器人科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。