【技术实现步骤摘要】
本申请属于图像检测，尤其涉及一种眨眼检测方法、终端设备及计算机可读存储。
技术介绍
1、认知障碍是脑部退化引起的疾病，症状一开始发展缓慢不显著，故容易被家人忽略。但随着病症的加剧，会深深影响患者和照顾者。及早的诊断能使患者从现有的治疗中获得最大疗效，延缓退化。眼动跟踪分析是常见的分析认知障碍的手段。如低频率的眨眼一般意味着注意力高度集中，高频率的眨眼则意味着注意力分散等。
2、一些实现方式中，可以根据人脸图像检测眼部眨眼状态。如何从人脸图像中准确地检测出眼部关键点，是眨眼检测的核心问题。
技术实现思路
1、本申请实施例提供了一种眨眼检测方法、终端设备及计算机可读存储，可以有效提高人眼关键点的检测精度，从而提高眨眼检测的可靠性。
2、第一方面，本申请实施例提供了一种眨眼检测方法，包括：
3、获取第一图像中眼部的第一关键点和第二图像中眼部的第二关键点，其中，所述第一图像为所述第二图像的前一帧图像；
4、根据所述第一关键点与所述第二关键点之间的位置偏移量，调整所述第二关键点，得到调整后的所述第二关键点；
5、根据所述第一关键点和调整后的所述第二关键点检测眨眼。
6、本申请实施例中，根据前后两帧图像中人眼关键点的位置偏移量，对当前帧图像中人眼关键点位置进行调整，能够得到较为准确地人眼关键点的位置，从而利于提高眨眼检测的可靠性。
7、在第一方面的一种可能的实现方式中，获取第一图像中眼部的第一关键点的步骤包括：
8、对预设的检测模型进行模型训练，得到训练后的检测模型；
9、将所述第一图像输入训练后的所述检测模型，输出所述第一关键点。
10、本申请实施例中，利用训练后的检测模型检测图像中的人眼关键点，不仅能够保证检测精度，还利于提高检测效率。
11、在第一方面的一种可能的实现方式中，所述检测模型包括用于根据输入图像提取第一特征信息的第一模块以及用于根据所述第一特征信息提取第二特征信息的第二模块，其中，所述第一特征信息的维度大于所述第二特征信息的维度；
12、所述对预设的检测模型进行模型训练，得到训练后的检测模型，包括：
13、获取样本图像，其中，所述样本图像中包括根据已标记的人脸关键点连接成的人脸轮廓；
14、将所述样本图像输入所述检测模型，得到所述第一模块输出的第一特征信息；
15、根据所述第一特征信息计算特征的平均值，得到均值特征图；
16、根据所述均值特征图和所述样本图像的人脸轮廓计算第一损失值；
17、根据所述第一损失值更新所述检测模型，得到训练后的检测模型。
18、本申请实施例中，相当于对浅层特征信息的特征进行了均值计算，通过训练以使浅层特征信息的均值特征图与样本图像的人脸轮廓图保持一致，从而使检测模型的浅层特征学习到与人脸轮廓相关的信息，以此提高关键点检测的精度。
19、在第一方面的一种可能的实现方式中，所述检测模型还包括第三模块和检测模块；
20、在将所述样本图像输入所述检测模型，得到所述第一模块输出的第一特征信息之后，所述方法还包括：
21、将所述第一特征信息输入所述第二模块，得到所述第二特征信息；
22、将所述第一特征信息和所述第二特征信息输入所述第三模块，得到第三特征信息；
23、将所述第三特征信息输入所述检测模块，得到训练结果；
24、根据所述训练结果和所述样本图像计算第二损失值；
25、根据所述第二损失值更新所述检测模型，得到训练后的检测模型。
26、随着网络的加深，特征提取的语义更为高阶，但一些有帮助的低阶特征(如人脸轮廓等)容易被忽略。本申请实施例中，相当于将浅层特征与高层特征进行了多尺度特征融合，使得检测模型能够更全面地学习关键点的特征，从而利于提升模型的检测精度。
27、在第一方面的一种可能的实现方式中，在将所述第一特征信息和所述第二特征信息输入所述第三模块，得到第三特征信息之后，所述方法还包括：
28、根据所述第一特征信息生成第一热图；
29、根据所述第二特征信息生成第二热图；
30、根据所述第三特征信息生成第三热图；
31、根据所述第一热图、所述第二热图和所述第三热图进行组合处理，得到第一组合图；
32、根据所述样本图像中的每个人脸关键点生成一张样本热图；
33、根据所述第一组合图和所述样本热图计算第三损失值；
34、根据所述第三损失值更新所述检测模型，得到训练后的检测模型。
35、本申请实施例中，相当于利用每个关键点的热图进行辅助学习，以使检测模块能够学习到每个关键点的特征信息。从而提高检测模型的检测精度。
36、在第一方面的一种可能的实现方式中，所述根据所述第一关键点与所述第二关键点之间的位置偏移量，调整所述第二关键点，得到调整后的所述第二关键点，包括：
37、若满足预设条件，则根据所述第一关键点的位置和所述第二关键点的位置进行加权求和，得到计算结果，其中，所述预设条件包括大于预设阈值的位置偏移量所对应的第二关键点的数量达到预设值；
38、根据所述计算结果调整所述第二关键点的位置，得到调整后的所述第二关键点。
39、本申请实施例中，预设条件相当于包括了阈值和数量两个方面，位置偏移量大于预设阈值，说明关键点位置偏移程度较大，不准确的概率较高；数量达到预设值，说明出现扰动的关键点的数量较多，即关键点不准确的概率较高。综合两个方面，能够更准确地判断关键点的抖动情况，从而提高关键点校正的准确度。
40、在第一方面的一种可能的实现方式中，所述根据所述第一关键点和调整后的所述第二关键点检测眨眼，包括：
41、获取所述第一图像对应的眼部的第一状态；
42、根据所述第二关键点计算眼睛夹角；
43、根据所述眼睛夹角检测所述第二图像对应的眼部的第二状态；
44、根据所述第一状态和所述第二状态进行眨眼检测。
45、本申请实施例中，根据眼睛夹角判断眼部的睁闭状态，检测精度更高。
46、在第一方面的一种可能的实现方式中，所述根据所述第一状态和所述第二状态进行眨眼检测，包括：
47、若所述第一状态与所述第二状态表示眼部不同的睁闭状态，则判断第三状态与所述第二状态是否表示眼部不同的睁闭状态，其中，所述第三状态为第三图像对应的眼部的睁闭状态，所述第三图像为所述第一图像前一帧的图像；
48、若所述第三状态与所述第二状态表示眼部不同的睁闭状态，则判定眨眼。本申请实施例中，通过上述眨眼判断策略，能够较准确地进行眨眼计数，从而利于提高眨眼检测的可靠性。
49、第二方面，本申请实施例提供了一种眨眼检测装置，包括：
50、获取单元，用于获本文档来自技高网...
【技术保护点】
1.一种眨眼检测方法，其特征在于，包括：
2.如权利要求1所述的眨眼检测方法，其特征在于，获取第一图像中眼部的第一关键点的步骤包括：
3.如权利要求2所述的眨眼检测方法，其特征在于，所述检测模型包括用于根据输入图像提取第一特征信息的第一模块以及用于根据所述第一特征信息提取第二特征信息的第二模块，其中，所述第一特征信息的维度大于所述第二特征信息的维度；
4.如权利要求3所述的眨眼检测方法，其特征在于，所述检测模型还包括第三模块和检测模块；
5.如权利要求4所述的眨眼检测方法，其特征在于，在将所述第一特征信息和所述第二特征信息输入所述第三模块，得到第三特征信息之后，所述方法还包括：
6.如权利要求1所述的眨眼检测方法，其特征在于，所述根据所述第一关键点与所述第二关键点之间的位置偏移量，调整所述第二关键点，得到调整后的所述第二关键点，包括：
7.如权利要求1所述的眨眼检测方法，其特征在于，所述根据所述第一关键点和调整后的所述第二关键点检测眨眼，包括：
8.如权利要求7所述的眨眼检测方法，其特征在于，所述
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
...【技术特征摘要】
1.一种眨眼检测方法，其特征在于，包括：
2.如权利要求1所述的眨眼检测方法，其特征在于，获取第一图像中眼部的第一关键点的步骤包括：
3.如权利要求2所述的眨眼检测方法，其特征在于，所述检测模型包括用于根据输入图像提取第一特征信息的第一模块以及用于根据所述第一特征信息提取第二特征信息的第二模块，其中，所述第一特征信息的维度大于所述第二特征信息的维度；
4.如权利要求3所述的眨眼检测方法，其特征在于，所述检测模型还包括第三模块和检测模块；
5.如权利要求4所述的眨眼检测方法，其特征在于，在将所述第一特征信息和所述第二特征信息输入所述第三模块，得到第三特征信息之后，所述方法还包括：
6.如权利要求1所述的眨眼检测方法，其特征在于，所述...
【专利技术属性】
技术研发人员：曾钰胜，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。