关键点检测方法及装置、电子设备和存储介质制造方法及图纸

技术编号:28037892 阅读:23 留言:0更新日期:2021-04-09 23:20
本公开涉及一种关键点检测方法及装置、电子设备和存储介质。所述方法包括:获取人脸图像;利用目标神经网络包括的至少两个神经网络分支,对人脸图像中人脸以及至少一个人脸器官进行检测,得到人脸关键点信息集合,人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息;其中,至少两个神经网络分支包括用于检测人脸的第一网络分支和用于检测人脸器官的至少一个第二网络分支,第一网络分支输出的第一检测结果包括至少一个人脸器官的检测框信息,至少一个人脸器官的检测框信息作为各第二网络分支的其中一种输入数据,用于确定各第二网络分支对应的人脸器官的检测区域。

【技术实现步骤摘要】
关键点检测方法及装置、电子设备和存储介质
本公开涉及计算机视觉领域,尤其涉及一种关键点检测方法及装置、电子设备和存储介质。
技术介绍
人脸关键点检测是诸多人脸相关应用的基础,可以为人脸识别等技术提供位置矫正,也为增强现实、美妆特效等场景提供人脸的语义信息。因此如何检测人脸关键点,成为目前一个亟待解决的问题。相关方法中,会在获取人脸的整脸关键点以后,再基于人脸的整脸关键点,利用人脸关键点分别从原图中截取多次人脸的器官,然后再将截取出的多个器官分别输入到各自对应的人脸器官关键点检测模型中,这种方式处理不仅时间长效率低,且由于多次截取操作的截取标准(比如截取尺寸,截取精度等)并不统一,故得到的多个人脸器官关键点的位置的精确度也不同,影响后续应用过程人脸关键点的使用效果。
技术实现思路
本公开提出了一种关键点检测方案。根据本公开的一方面,提供了一种关键点检测方法,包括:获取人脸图像;利用目标神经网络包括的至少两个神经网络分支,对所述人脸图像中人脸以及至少一个人脸器官进行检测,得到人脸关键点信息集合,所述人脸关本文档来自技高网...

【技术保护点】
1.一种关键点检测方法,其特征在于,包括:/n获取人脸图像;/n利用目标神经网络包括的至少两个神经网络分支,对所述人脸图像中人脸以及至少一个人脸器官进行检测,得到人脸关键点信息集合,所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息;/n其中,所述至少两个神经网络分支包括用于检测人脸的第一网络分支和用于检测人脸器官的至少一个第二网络分支,所述第一网络分支输出的第一检测结果包括至少一个人脸器官的检测框信息,所述至少一个人脸器官的检测框信息作为各所述第二网络分支的其中一种输入数据,用于确定各所述第二网络分支对应的人脸器官的检测区域。/n

【技术特征摘要】
1.一种关键点检测方法,其特征在于,包括:
获取人脸图像;
利用目标神经网络包括的至少两个神经网络分支,对所述人脸图像中人脸以及至少一个人脸器官进行检测,得到人脸关键点信息集合,所述人脸关键点信息集合包括人脸的关键点信息以及人脸器官的关键点信息;
其中,所述至少两个神经网络分支包括用于检测人脸的第一网络分支和用于检测人脸器官的至少一个第二网络分支,所述第一网络分支输出的第一检测结果包括至少一个人脸器官的检测框信息,所述至少一个人脸器官的检测框信息作为各所述第二网络分支的其中一种输入数据,用于确定各所述第二网络分支对应的人脸器官的检测区域。


2.根据权利要求1所述的方法,其特征在于,所述第二网络分支包括感兴趣区域校准层和特征提取层;
所述利用目标神经网络包括的至少两个神经网络分支,对所述人脸图像中人脸以及至少一个人脸器官进行检测,得到人脸关键点信息集合,包括:
通过所述第一网络分支对所述人脸进行检测,得到第一检测结果,所述第一检测结果包括人脸的关键点信息以及至少一个人脸器官的检测框信息;
通过各所述第二网络分支的感兴趣区域校准层,提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域;
通过各所述第二网络分支的特征提取层,提取与所述至少一个人脸器官对应的检测区域的图像特征,并利用所述检测区域的图像特征得到所述至少一个人脸器官的关键点信息。


3.根据权利要求2所述的方法,其特征在于,所述通过各所述第二网络分支的感兴趣区域校准层,提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域,包括:
根据所述至少一个人脸器官的检测框信息,确定所述至少一个人脸器官在所述人脸图像中的位置坐标;
通过各所述第二网络分支的感兴趣区域校准层,在所述位置坐标的精度下,提取与所述至少一个人脸器官的检测框信息分别匹配的人脸器官的检测区域。


4.根据权利要求2或3所述的方法,其特征在于,所述人脸器官的检测区域包括:从所述人脸图像中提取的与人脸器官区域,和/或,从所述第一网络分支输出的人脸图像的特征信息中提取的人脸器官区域的特征信息。


5.根据权利要求2至3中任意一项所述的方法,其特征在于,在所述通过各所述第二网络分支的感兴趣区域校准层,提取与所述至少...

【专利技术属性】
技术研发人员:陈祖凯李思颖王权钱晨
申请(专利权)人:上海商汤智能科技有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1