关键点检测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种关键点检测方法及装置、电子设备和存储介质。所述方法包括：获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。

【技术实现步骤摘要】
关键点检测方法及装置、电子设备和存储介质
本公开涉及计算机视觉领域，尤其涉及一种关键点检测方法及装置、电子设备和存储介质。
技术介绍
人脸关键点检测是诸多人脸相关应用的基础，可以为人脸识别等技术提供位置矫正，也为增强现实、美妆特效等场景提供人脸的语义信息。因此如何检测人脸关键点，成为目前一个亟待解决的问题。相关方法中，会在获取人脸的整脸关键点以后，再基于人脸的整脸关键点，通过单独的模型来获取具有更高精度的人脸器官关键点，从而提升关键点检测的精度。然而，这种分别进行关键点获取的过程不仅繁琐，也容易使得得到的关键点精度较低。
技术实现思路
本公开提出了一种关键点检测方案。根据本公开的一方面，提供了一种关键点检测方法，包括：获取人脸图像；利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。在一种可能的实现方式中，所述至少两个神经网络分支包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支；所述利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，包括：通过所述第一网络分支对所述人脸进行检测，得到第一检测结果，所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，所述第二检测结果包括人脸器官的关键点信息。在一种可能的实现方式中，所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像中提取出与所述人脸器官的检测框信息匹配的人脸器官区域；提取所述人脸器官区域的特征信息；基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。在一种可能的实现方式中，所述第一检测结果还包括所述人脸图像的特征信息；所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像的特征信息中提取出与所述人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；对所述初始特征信息进行深层特征提取，得到所述人脸器官区域的特征信息；基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。在一种可能的实现方式中，所述第一检测结果还包括所述人脸图像的特征信息；所述基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息，包括：将所述人脸器官区域的特征信息与所述人脸图像的特征信息和/或所述人脸的关键点信息进行至少一次融合处理，得到融合特征信息；根据所述融合特征信息，得到所述人脸器官的关键点信息。在一种可能的实现方式中，在所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果之前，还包括：对所述至少一个人脸器官的检测框信息进行增强处理，其中，所述增强处理包括：伸缩变换处理和/或平移变换处理。在一种可能的实现方式中，所述方法还包括：获取所述人脸器官的关键点信息中符合预设精度的人脸器官的关键点；根据所述符合预设精度的人脸器官的关键点，对所述人脸的关键点信息中与所述人脸器官对应位置的人脸的关键点进行替换，得到更新的人脸的关键点信息。在一种可能的实现方式中，所述目标神经网络还包括至少一个第三网络分支，所述至少一个第三网络分支用于根据所述人脸的关键点信息进行人脸状态的检测。在一种可能的实现方式中，所述方法还包括：根据所述人脸关键点信息集合，对所述人脸图像所在的人脸图像帧序列中的人脸进行追踪。在一种可能的实现方式中，所述人脸的关键点信息中人脸的关键点的数量包括68至128个；和/或，所述人脸器官的关键点信息中嘴部的关键点的数量包括40至80个；和/或，所述人脸器官的关键点信息中左眼的关键点的数量包括16至32个；和/或，所述人脸器官的关键点信息中右眼的关键点的数量包括16至32个；和/或，所述人脸器官的关键点信息中左眉毛的关键点的数量包括10至20个；和/或，所述人脸器官的关键点信息中右眉毛的关键点的数量包括10至20个。在一种可能的实现方式中，所述人脸图像包括关键点标注，所述方法还包括：根据所述关键点标注以及所述人脸关键点信息集合，确定所述目标神经网络的误差损失；根据所述误差损失，对所述目标神经网络中的至少两个神经网络分支的参数进行共同更新。根据本公开的一方面，提供了一种关键点检测装置，包括：图像获取模块，用于获取人脸图像；关键点检测模块，用于利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。在一种可能的实现方式中，所述至少两个神经网络分支包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支；所述关键点检测模块用于：通过所述第一网络分支对所述人脸进行检测，得到第一检测结果，所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，所述第二检测结果包括人脸器官的关键点信息。在一种可能的实现方式中，所述关键点检测模块进一步用于：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像中提取出与所述人脸器官的检测框信息匹配的人脸器官区域；提取所述人脸器官区域的特征信息；基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。在一种可能的实现方式中，所述第一检测结果还包括所述人脸图像的特征信息；所述关键点检测模块进一步用于：利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；其中，在所述第二网络分支中的检测过程包括：从所述人脸图像的特征信息中提取出与所述人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；对所述初始特征信息进行深层特征提取，得到所述人脸器官区域的特征信息；本文档来自技高网...

【技术保护点】
1.一种关键点检测方法，其特征在于，包括：/n获取人脸图像；/n利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。/n

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：
获取人脸图像；
利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行处理，得到人脸关键点信息集合，所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息。


2.根据权利要求1所述的方法，其特征在于，所述至少两个神经网络分支包括用于检测人脸的第一网络分支，以及，用于检测人脸器官的至少一个第二网络分支；
所述利用目标神经网络包括的至少两个神经网络分支，对所述人脸图像中人脸以及至少一个人脸器官进行检测，得到人脸关键点信息集合，包括：
通过所述第一网络分支对所述人脸进行检测，得到第一检测结果，所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息；
基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，所述第二检测结果包括人脸器官的关键点信息。


3.根据权利要求2所述的方法，其特征在于，所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：
利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；
其中，在所述第二网络分支中的检测过程包括：
从所述人脸图像中提取出与所述人脸器官的检测框信息匹配的人脸器官区域；
提取所述人脸器官区域的特征信息；
基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。


4.根据权利要求2或3所述的方法，其特征在于，所述第一检测结果还包括所述人脸图像的特征信息；
所述基于所述第一检测结果以及所述至少一个第二网络分支，对所述至少一个人脸器官进行检测，得到第二检测结果，包括：
利用所述至少一个第二网络分支中的任一所述第二网络分支，对所述第二网络分支对应的人脸器官进行检测，得到所述第二网络分支对应的所述人脸器官的第二检测结果；
其中，在所述第二网络分支中的检测过程包括：
从所述人脸图像的特征信息中提取出与所述人脸器官的检测框信息匹配的人脸器官区域的初始特征信息；
对所述初始特征信息进行深层特征提取，得到所述人脸器官区域的特征信息；
基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息。


5.根据权利要求3或4所述的方法，其特征在于，所述第一检测结果还包括所述人脸图像的特征信息；
所述基于所述人脸器官区域的特征信息以及所述第一检测结果，确定所述人脸器官的关键点信息，包括：
将所述人脸器官区域的特征信息与所述人脸图像的特征信息和/或所述人脸的关键点信息进行至少一次融合处理，得到融合特征信息；
根据所述融合特征信息，得到所述人脸器官的关键点信...

【专利技术属性】
技术研发人员：李思颖，陈祖凯，王权，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11