疲劳检测方法、装置、系统及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种疲劳检测方法、装置、系统及计算机可读存储介质，涉及图像检测技术领域，该方法包括：获取目标对象在第一预设时长内的连续帧图像；检测各帧图像中的目标对象的多个嘴部关键点；基于嘴部关键点确定目标对象在各帧图像中的嘴部开闭状态；根据第二预设时长以及目标对象在各帧图像中的嘴部开闭状态，记录目标对象在第一预设时长内发生的打哈欠事件的次数；其中，第二预设时长小于第一预设时长，且打哈欠事件为：目标对象的嘴部持续张开时长不低于第二预设时长；基于打哈欠事件的次数，确定目标对象的疲劳程度。本发明专利技术在简便易行的基础上能够有效提升疲劳检测的准确率。

Fatigue detection methods, devices, systems and computer readable storage media

The invention provides a fatigue detection method, a device, a system and a computer readable storage medium, which relates to the technical field of image detection. The method includes acquiring a continuous frame image of the target object within the first preset time, detecting multiple key points of the target object in each frame image, and determining the opening and closing state of the target object in each frame image based on the key points of the mouth. According to the second preset time and the opening and closing state of the mouth of the target object in each frame image, the number of yawning events occurring in the first preset time is recorded; among them, the second preset time is less than the first preset time, and the yawning events are as follows: the mouth of the target object is not less than the second preset time; based on the number of yawning events, it is correct. The fatigue degree of the target object. The invention can effectively improve the accuracy of fatigue detection on the basis of simplicity and practicability.

【技术实现步骤摘要】
疲劳检测方法、装置、系统及计算机可读存储介质
本专利技术涉及图像检测
，尤其是涉及一种疲劳检测方法、装置、系统及计算机可读存储介质。
技术介绍
众所周知，目标对象(诸如，人)的疲劳程度可能会影响到目标对象的行为，因此在一些关键场合下需要尤为关注目标对象的疲劳程度，以避免目标对象因过于疲劳而出现的不佳行为。以典型的驾驶场合为例，如果驾驶员因睡眠不足、驾驶时间过长等原因而疲劳，则会在驾驶过程中产生生理机能和心理机能的失调，从而影响驾驶员的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面因素。诸如，驾驶员处于轻度疲劳时，可能会出现换档不及时和不准确；当驾驶员处于重度疲劳时，往往会下意识操作或出现短时间睡眠现象，严重时会失去对车辆的控制能力。因此，在一些诸如驾驶车辆内等关键场合对目标对象进行疲劳检测尤为重要。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种疲劳检测方法、装置、系统及计算机可读存储介质，在简便易行的基础上能够有效提升疲劳检测的准确率。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种疲劳检测方法，包括：获取目标对象在第一预设时长内的连续帧图像；检测各所述帧图像中的所述目标对象的多个嘴部关键点；基于所述嘴部关键点确定所述目标对象在各所述帧图像中的嘴部开闭状态；根据第二预设时长以及所述目标对象在各所述帧图像中的嘴部开闭状态，记录所述目标对象在所述第一预设时长内发生的打哈欠事件的次数；其中，所述第二预设时长小于所述第一预设时长，且所述打哈欠事件为：所述目标对象的嘴部持续张开时长不低于所述第二预设时长；基于所述打哈欠事件的次数，确定所述目标对象的疲劳程度。进一步，所述检测各所述帧图像中的所述目标对象的多个嘴部关键点的步骤，包括：分别检测各所述帧图像中的所述目标对象的第一嘴部关键点、第二嘴部关键点、第三嘴部关键点和第四嘴部关键点；其中，所述第一嘴部关键点为嘴部的左侧嘴角，所述第二嘴部关键点为嘴部的右侧嘴角，所述第三嘴部关键点为嘴部上唇的内唇缘中心，所述第四嘴部关键点为嘴部下唇的内唇缘中心。进一步，所述基于所述嘴部关键点确定所述目标对象在各所述帧图像中的嘴部开闭状态的步骤，包括：分别计算各所述帧图像中的第一嘴部关键点与第二嘴部关键点之间的左右距离值、第三嘴部关键点和第四嘴部关键点之间的上下距离值；判断各所述帧图像中的上下距离值与左右距离值的比值是否大于预设阈值；将比值大于所述预设阈值的帧图像确定为所述目标对象处于嘴部张开状态，将比值小于所述预设阈值的帧图像确定为所述目标对象处于嘴部闭合状态。进一步，所述根据第二预设时长以及所述目标对象在各所述帧图像中的嘴部开闭状态，记录所述目标对象在所述第一预设时长内发生的打哈欠事件的次数的步骤，包括：将所述连续帧图像中的各所述帧图像按照时间顺序逐一作为当前帧图像，对所述当前帧图像执行预设的检测操作，直至所述连续帧图像均执行所述检测操作后，得到所述目标对象在所述第一预设时长内发生的打哈欠事件的次数；其中，所述预设的检测操作包括如下步骤：根据所述目标对象在所述当前帧图像中的嘴部开闭状态，以及所述目标对象在所述当前帧图像之前的帧图像的嘴部开闭状态，判断所述当前帧图像是否为首次张嘴帧图像或者首次闭嘴帧图像；如果所述当前帧图像为首次张嘴帧图像，记录所述当前帧图像对应的首次张嘴时刻，并开启检测下一帧图像；如果所述当前帧图像为首次闭嘴帧图像，记录所述当前帧图像对应的首次闭嘴时刻，并获取在所述当前帧图像之前最后记录的首次张嘴时刻，并判断所述首次闭嘴时刻与所述首次张嘴时刻之间的差值是否大于所述预设第二时长；如果是，将所述打哈欠事件的次数加一，并开启检测下一帧图像；如果所述当前帧图像为所述连续帧图像中的最后帧图像，且所述目标对象在所述当前帧图像中处于嘴部张开状态，获取在所述当前帧图像之前最后记录的首次张嘴时刻，并判断所述当前帧图像对应的时刻与所述首次张嘴时刻之间的差值是否大于所述预设第二时长；如果是，将所述打哈欠事件的次数加一；如果所述当前帧图像不为所述连续帧图像中的最后帧图像，且不为首次闭嘴帧图像和首次张嘴帧图像，直接开启检测下一帧图像。进一步，所述方法还包括：将确定的打哈欠事件加入至打哈欠列表中，并在所述打哈欠列表中记录所述打哈欠事件对应的首次张嘴时刻和首次闭嘴时刻；如果所述打哈欠列表中还记录有所述第一预设时长之前发生的打哈欠事件，将所述第一预设时长之前发生的打哈欠事件清除；所述得到所述目标对象在所述第一预设时长内发生的打哈欠事件的次数的步骤，包括：统计所述打哈欠列表中记录的所述第一预设时长内的打哈欠事件，将统计次数确定为所述目标对象在所述第一预设时长内发生的打哈欠事件的次数。进一步，所述基于所述打哈欠事件的次数，确定所述目标对象的疲劳程度的步骤，包括：如果所述打哈欠事件的次数低于预设第一数值，确定所述目标对象不疲劳；如果所述打哈欠时间的次数大于或等于所述预设第一数值，且小于所述预设第二数值，确定所述目标对象轻度疲劳；如果所述打哈欠事件的次数大于或等于所述第二数值，确定所述目标对象重度疲劳。进一步，所述预设阈值为0.4。进一步，所述第二预设时长为800毫秒。第二方面，本专利技术实施例还提供一种疲劳检测装置，所述装置包括：帧图像获取模块，用于获取目标对象在第一预设时长内的连续帧图像；关键点检测模块，用于检测各所述帧图像中的所述目标对象的多个嘴部关键点；嘴部状态确定模块，用于基于所述嘴部关键点确定所述目标对象在各所述帧图像中的嘴部开闭状态；打哈欠次数记录模块，用于根据第二预设时长以及所述目标对象在各所述帧图像中的嘴部开闭状态，记录所述目标对象在所述第一预设时长内发生的打哈欠事件的次数；其中，所述第二预设时长小于所述第一预设时长，且所述打哈欠事件为：所述目标对象的嘴部持续张开时长不低于所述第二预设时长；疲劳确定模块，用于基于所述打哈欠事件的次数，确定所述目标对象的疲劳程度。第三方面，本专利技术实施例提供了一种疲劳检测系统，所述系统包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集目标对象的连续帧图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。本专利技术实施例提供了一种疲劳检测方法、装置、系统及计算机可读存储介质，在获取目标对象在第一预设时长内的连续帧图像后，可以根据帧图像中目标对象的嘴部关键点确定目标对象在各帧图像中的嘴部开闭状态，在将目标对象的嘴部持续张开时长不低于所述第二预设时长记为一次打哈欠事件的基础上，根据目标对象在各帧图像中的嘴部开闭状态统计目标对象在第一预设时长内发生的打哈欠事件的次数，进而确定目标对象的疲劳程度。这种方式仅需关注目标对象的嘴部状态，而且通过在连续时长内多次统计打哈欠事件来综合确定目标对象的疲劳程度，简单可行且准确率较高。本专利技术实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本专利技术实施例的上述技术即可得知。为使本专利技术的上述目的、特征和优本文档来自技高网...

【技术保护点】
1.一种疲劳检测方法，其特征在于，包括：获取目标对象在第一预设时长内的连续帧图像；检测各所述帧图像中的所述目标对象的多个嘴部关键点；基于所述嘴部关键点确定所述目标对象在各所述帧图像中的嘴部开闭状态；根据第二预设时长以及所述目标对象在各所述帧图像中的嘴部开闭状态，记录所述目标对象在所述第一预设时长内发生的打哈欠事件的次数；其中，所述第二预设时长小于所述第一预设时长，且所述打哈欠事件为：所述目标对象的嘴部持续张开时长不低于所述第二预设时长；基于所述打哈欠事件的次数，确定所述目标对象的疲劳程度。

【技术特征摘要】
1.一种疲劳检测方法，其特征在于，包括：获取目标对象在第一预设时长内的连续帧图像；检测各所述帧图像中的所述目标对象的多个嘴部关键点；基于所述嘴部关键点确定所述目标对象在各所述帧图像中的嘴部开闭状态；根据第二预设时长以及所述目标对象在各所述帧图像中的嘴部开闭状态，记录所述目标对象在所述第一预设时长内发生的打哈欠事件的次数；其中，所述第二预设时长小于所述第一预设时长，且所述打哈欠事件为：所述目标对象的嘴部持续张开时长不低于所述第二预设时长；基于所述打哈欠事件的次数，确定所述目标对象的疲劳程度。2.根据权利要求1所述的方法，其特征在于，所述检测各所述帧图像中的所述目标对象的多个嘴部关键点的步骤，包括：分别检测各所述帧图像中的所述目标对象的第一嘴部关键点、第二嘴部关键点、第三嘴部关键点和第四嘴部关键点；其中，所述第一嘴部关键点为嘴部的左侧嘴角，所述第二嘴部关键点为嘴部的右侧嘴角，所述第三嘴部关键点为嘴部上唇的内唇缘中心，所述第四嘴部关键点为嘴部下唇的内唇缘中心。3.根据权利要求2所述的方法，其特征在于，所述基于所述嘴部关键点确定所述目标对象在各所述帧图像中的嘴部开闭状态的步骤，包括：分别计算各所述帧图像中的第一嘴部关键点与第二嘴部关键点之间的左右距离值、第三嘴部关键点和第四嘴部关键点之间的上下距离值；判断各所述帧图像中的上下距离值与左右距离值的比值是否大于预设阈值；将比值大于所述预设阈值的帧图像确定为所述目标对象处于嘴部张开状态，将比值小于所述预设阈值的帧图像确定为所述目标对象处于嘴部闭合状态。4.根据权利要求1所述的方法，其特征在于，所述根据第二预设时长以及所述目标对象在各所述帧图像中的嘴部开闭状态，记录所述目标对象在所述第一预设时长内发生的打哈欠事件的次数的步骤，包括：将所述连续帧图像中的各所述帧图像按照时间顺序逐一作为当前帧图像，对所述当前帧图像执行预设的检测操作，直至所述连续帧图像均执行所述检测操作后，得到所述目标对象在所述第一预设时长内发生的打哈欠事件的次数；其中，所述预设的检测操作包括如下步骤：根据所述目标对象在所述当前帧图像中的嘴部开闭状态，以及所述目标对象在所述当前帧图像之前的帧图像的嘴部开闭状态，判断所述当前帧图像是否为首次张嘴帧图像或者首次闭嘴帧图像；如果所述当前帧图像为首次张嘴帧图像，记录所述当前帧图像对应的首次张嘴时刻，并开启检测下一帧图像；如果所述当前帧图像为首次闭嘴帧图像，记录所述当前帧图像对应的首次闭嘴时刻，并获取在所述当前帧图像之前最后记录的首次张嘴时刻，并判断所述首次闭嘴时刻与所述首次张嘴时刻之间的差值是否大于所述预设第二时长；如果是，将所述打哈欠事件的次数加一，并开启检测下一帧图像；如果所述当前帧图像为所述连续帧图像中的最后帧图像，且所述...

【专利技术属性】
技术研发人员：谢建涛，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11