【技术实现步骤摘要】
本专利技术涉及人脸关键点检测，特别是涉及人脸关键点的全局和局部检测方法、计算机设备和存储介质。
技术介绍
1、当前自动驾驶的智能车舱技术需要同时检测人脸的全局关键点用于美颜、表情和互动等功能，同时也需要精度非常高的局部关键点用于高精度的局部检测，例如需要高精度的嘴巴区域关键点实现高精度的唇动检测。目前采用的方法是将人脸的局部区域裁剪出来单独进行关键点检测，这样的方法使用更大的输入图像和和更复杂的网络结构，由此导致大量的额外耗时。
技术实现思路
1、基于此，有必要针对现有技术中为了进行高精度的局部关键点检测，需要大量的额外耗时的问题，提供一种人脸关键点的全局和局部检测方法、计算机设备和存储介质。
2、一种人脸关键点的全局和局部检测方法，包括：
3、根据输入的人脸图像，通过卷积神经网络，执行第一阶段任务以检测全局关键点；
4、在冻结所述第一阶段任务的模型权重的情况下，执行第二阶段任务以确定局部关键点，其中，所确定的局部关键点是将在执行所述第一阶段任务期间所获得的图像特征与在执行所述第一阶段任务后所确定的局部区域的边界框进行对齐后所获得的。
5、在一实施例中，所述根据输入的人脸图像，通过卷积神经网络，执行第一阶段任务以检测全局关键点，包括：
6、对所述输入的人脸图像执行多层卷积操作，以获得图像特征；
7、根据所述图像特征，对所述全局关键点进行检测。
8、在一实施例中，所述执行第二阶段任务以确定局部关键点，
9、获取所述多层卷积操作中的至少两层卷积操作所输出的图像特征；
10、对所获取的图像特征进行上采样，使得所获取的图像特征具有相同的分辨率；
11、对具有相同的分辨率的图像特征进行拼接，以获得经拼接的图像特征；
12、通过point-to-box网络，对具有所述全局关键点的所述人脸图像中的所述局部区域加边界框；
13、对所述经拼接的图像特征和所述边界框执行roi align对齐操作，以获得经对齐的所述局部区域；
14、对所述经对齐的所述局部区域执行卷积操作，以确定所述局部区域的所述局部关键点。
15、在一实施例中，所述对所获取的图像特征进行上采样，使得所获取的图像特征具有相同的分辨率，包括：
16、将所述至少两层卷积操作中第一层卷积操作所输出的图像特征的分辨率设定为基准分辨率；
17、根据所述基准分辨率，对所述至少两层卷积操作中后续各层卷积操作所输出的图像特征分别进行上采样，使得所述后续各层卷积操作所输出的图像特征的分辨率与所述基准分辨率相同。
18、在一实施例中，所述通过point-to-box网络，对具有所述全局关键点的所述人脸图像中的所述局部区域加边界框，包括：
19、根据所述全局关键点，定位所述局部区域的局部关键点；
20、通过所述point-to-box网络，根据所定位的局部关键点，对所述局部区域加边界框；
21、按预定比例，对所述边界框进行扩展。
22、在一实施例中，所述预定比例为1.4和/或1.5。
23、在一实施例中，所述执行第二阶段任务以确定局部关键点，还包括：将所确定的局部关键点标绘在所述人脸图像的所述局部区域上。
24、在一实施例中，所述根据输入的人脸图像，通过卷积神经网络，执行第一阶段任务以检测全局关键点，还包括：
25、将所述全局关键点标绘在所述人脸图像上。
26、在一实施例中，所述局部区域是嘴巴区域、眼睛区域或鼻子区域。
27、在一实施例中，所述方法还包括：当所述局部区域是嘴巴区域时，对具有所述局部关键点的所述嘴巴区域添加嘴巴张合程度约束。
28、在一实施例中，所述方法还包括：当所述局部区域是嘴巴区域时，对具有所述局部关键点的所述嘴巴区域添加嘴唇分割约束。
29、在一实施例中，所述卷积神经网络是轻量级卷积神经网络mobilenetv2。
30、一种计算机设备，包括处理器和存储器，所述存储器存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器实施以上实施例的方法。
31、一种非暂时性计算机可读存储介质，存储有计算机指令，当所述计算机指令被处理器执行时，使得所述处理器实施以上实施例的方法。
32、根据本专利技术的人脸关键点的全局和局部检测方法、计算机设备和存储介质，可同时检测人脸图像的全局关键点和局部关键点，在执行第二阶段任务的同时会完全冻结第一阶段任务的模型权重，这样就做到了第一阶段任务和第二阶段任务的完全解耦合，使得第一阶段任务和第二阶段任务精度同时得到保证。
本文档来自技高网...【技术保护点】
1.一种人脸关键点的全局和局部检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据输入的人脸图像，通过卷积神经网络，执行第一阶段任务以检测全局关键点，包括：
3.根据权利要求2所述的方法，其特征在于，所述执行第二阶段任务以确定局部关键点，包括：
4.根据权利要求3所述的方法，其特征在于，所述对所获取的图像特征进行上采样，使得所获取的图像特征具有相同的分辨率，包括：
5.根据权利要求3所述的方法，其特征在于，所述通过Point-to-Box网络，对具有所述全局关键点的所述人脸图像中的所述局部区域加边界框，包括：
6.根据权利要求5所述的方法，其特征在于，所述预定比例为1.4和/或1.5。
7.根据权利要求3所述的方法，其特征在于，所述执行第二阶段任务以确定局部关键点，还包括：将所确定的局部关键点标绘在所述人脸图像的所述局部区域上。
8.根据权利要求2所述的方法，其特征在于，所述根据输入的人脸图像，通过卷积神经网络，执行第一阶段任务以检测全局关键点，还包括：
9
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述局部区域是嘴巴区域时，对具有所述局部关键点的所述嘴巴区域添加嘴巴张合程度约束。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述局部区域是嘴巴区域时，对具有所述局部关键点的所述嘴巴区域添加嘴唇分割约束。
12.根据权利要求1所述的方法，其特征在于，所述卷积神经网络是轻量级卷积神经网络MobileNetV2。
13.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器实施权利要求1至12中任一项所述的方法。
14.一种非暂时性计算机可读存储介质，其特征在于，存储有计算机指令，当所述计算机指令被处理器执行时，使得所述处理器实施权利要求1至12中任一项所述的方法。
...【技术特征摘要】
1.一种人脸关键点的全局和局部检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据输入的人脸图像，通过卷积神经网络，执行第一阶段任务以检测全局关键点，包括：
3.根据权利要求2所述的方法，其特征在于，所述执行第二阶段任务以确定局部关键点，包括：
4.根据权利要求3所述的方法，其特征在于，所述对所获取的图像特征进行上采样，使得所获取的图像特征具有相同的分辨率，包括：
5.根据权利要求3所述的方法，其特征在于，所述通过point-to-box网络，对具有所述全局关键点的所述人脸图像中的所述局部区域加边界框，包括：
6.根据权利要求5所述的方法，其特征在于，所述预定比例为1.4和/或1.5。
7.根据权利要求3所述的方法，其特征在于，所述执行第二阶段任务以确定局部关键点，还包括：将所确定的局部关键点标绘在所述人脸图像的所述局部区域上。
8.根据权利要求2所述的方法，其特征在于，所述根据输入的人脸图像，通过卷积神经网络，执...
【专利技术属性】
技术研发人员：孙浩，
申请(专利权)人：黑芝麻智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。