System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 人脸检测方法、装置、电子设备、存储介质及芯片系统制造方法及图纸_技高网

人脸检测方法、装置、电子设备、存储介质及芯片系统制造方法及图纸

技术编号:40561328 阅读:9 留言:0更新日期:2024-03-05 19:24
本公开涉及一种人脸检测方法、装置、电子设备、存储介质及芯片系统,该方法包括:通过图像信号处理流水线的部分模块获取待检测图像,通过人脸检测模型识别待检测图像中的人脸区域,得到人脸图像矩形框,确定人脸检测置信度;通过人脸关键点检测模型识别待检测图像中人脸关键点,确定人脸关键点置信度;人脸关键点置信度表征人脸关键点与人脸区域对齐的准确率;人脸关键点检测模型与人脸检测模型级联;根据人脸检测置信度和人脸关键点置信度过滤不包括人脸区域的人脸图像矩形框,通过对人脸关键点进行跟踪来修正过滤后的人脸图像矩形框的位置,得到处理后的人脸图像矩形框;对处理后的人脸图像矩形框进行帧间平滑,得到人脸检测结果。

【技术实现步骤摘要】

本公开涉及图像识别领域,尤其涉及一种人脸检测方法、装置、电子设备、存储介质及芯片系统


技术介绍

1、图像人脸位置感知包含人脸检测和人脸关键点检测,人脸检测是对图像中的人脸区域进行位置定位并输出人脸矩形框和置信度,人脸关键点检测是定位人脸面部包括眉毛、眼睛、鼻子、嘴巴和面部轮廓的位置信息。随着深度学习等人工智能技术的发展,人脸检测和人脸关键点检测技术在硬件算力充足的情况下均得到较大的检测精度提升。但对于算力受限的智能终端设备,实现高精度、高稳定性、低功耗与低时延的人脸检测和人脸关键点检测依旧是一大难题。

2、目前在智能终端设备如智能手机,人脸检测和人脸关键点检测为了获得较高的检测精度,通常出现功耗过高、无法达到实时检测30fps和检测结果出现明显时延等问题;或者为了降低功耗、提升实时性,减小算法复杂度的同时导致模型检测精度下降严重,且依旧存在检测结果时延明显的问题。


技术实现思路

1、为克服相关技术中存在的问题,本公开提供一种人脸检测方法、装置、电子设备、存储介质及芯片系统。

2、根据本公开实施例的第一方面,提供一种人脸检测方法,包括通过图像信号处理流水线的部分模块获取待检测图像;通过人脸检测模型识别所述待检测图像中的人脸区域,得到人脸图像矩形框,确定人脸检测置信度;所述人脸检测置信度表征所述人脸图像矩形框的准确度;通过人脸关键点检测模型识别所述待检测图像中的人脸关键点,确定所述人脸关键点置信度;所述人脸关键点置信度表征所述人脸关键点与所述人脸区域对齐的确定度;所述人脸关键点检测模型与所述人脸检测模型级联;根据所述人脸检测置信度和所述人脸关键点置信度过滤不包括所述人脸区域的人脸图像矩形框,通过对所述人脸关键点进行跟踪来修正过滤后的人脸图像矩形框的位置,得到处理后的人脸图像矩形框;对所述处理后的人脸图像矩形框进行帧间平滑,得到人脸检测结果。

3、可选的,所述通过图像信号处理流水线的部分模块获取待检测图像的步骤包括:通过所述图像信号处理流水线中的raw模块对原始图像进行去噪处理、缩放处理、伽马处理及下采样处理得到所述待检测图像。

4、可选的,所述通过人脸检测模型识别所述待检测图像中的所述人脸区域,得到包含所述人脸区域的人脸图像矩形框的步骤包括:对所述待检测图像,每隔固定帧选择一帧作为所述人脸检测模型的输入图像;通过所述人脸检测模型中预设定的分类阈值,确定所述输入图像中的所述人脸区域及其他区域;所述分类阈值表征所述输入图像中区域属于所述人脸区域的概率;将包含全部所述人脸区域的最小矩形区域作为所述人脸图像矩形框。

5、可选的,所述预设定的分类阈值的取值范围为0-0.55。

6、可选的,所述通过人脸关键点检测模型识别所述待检测图像中的人脸关键点,确定所述人脸关键点置信度的步骤包括:对所述人脸图像矩形框以及未经过所述人脸检测模型识别的所述待检测图像中的每一帧,通过人脸关键点检测模型识别人脸关键点,确定所述人脸关键点置信度。

7、可选的,所述根据所述人脸关键点置信度过滤不包括所述人脸区域的人脸图像矩形框的步骤包括:获取每帧所述人脸图像矩形框对应的人脸关键点置信度;在所述人脸检测置信度和所述人脸关键点置信度均小于预定阈值的情况下,过滤掉对应的所述人脸图像矩形框。

8、可选的,所述人脸关键点检测模型通过如下步骤训练得到:获取样本图像;所述样本图像中包括指定比例的非人脸图像;通过概率性随机偏移扩展矩形框截取所述样本图像中的人脸区域;标记所述样本图像中的人脸区域和人脸关键点,得到标记样本;通过所述标记样本训练得到所述人脸关键点检测模型。

9、可选的,将所述待检测图像写入到网络处理器npu可访问的片上存储器ocm中;通过所述npu从所述ocm读取所述待检测图像作为所述人脸检测模型与所述人脸关键点检测模型的输入图像。

10、根据本公开实施例的第二方面,提供一种人脸检测装置,包括:获取模块,被配置为通过图像信号处理流水线的部分模块获取待检测图像;所述待检测图像中包含人脸图像;识别模块,被配置为通过人脸检测模型识别所述待检测图像中的人脸区域,得到人脸图像矩形框,确定人脸检测置信度;所述人脸检测置信度表征所述人脸图像矩形框的准确度;所述识别模块,还被配置为通过人脸关键点检测模型识别所述待检测图像中的人脸关键点,确定所述人脸关键点置信度;所述人脸关键点置信度表征所述人脸关键点与所述人脸区域对齐的准确率;所述人脸关键点检测模型与所述人脸检测模型级联;处理模块,被配置为根据所述人脸检测置信度和所述人脸关键点置信度过滤不包括所述人脸区域的人脸图像矩形框,通过对所述人脸关键点进行跟踪来修正过滤后的人脸图像矩形框的位置,得到处理后的人脸图像矩形框;平滑模块,被配置为对所述处理后的人脸图像矩形框进行帧间平滑,得到人脸检测结果。

11、根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行所述可执行指令实现前述的人脸检测方法的步骤。

12、根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现本公开第一方面所提供的人脸检测方法的步骤。

13、根据本公开实施例的第五方面,提供一种芯片系统,包括:存储介质,用于存储指令;处理电路,用于执行所述指令,实现第一方面所提供的所述的人脸检测方法。

14、本公开的实施例提供的技术方案可以包括以下有益效果:通过图像信号处理流水线的部分模块获取待检测图像,通过人脸检测模型识别待检测图像中的人脸区域,得到人脸图像矩形框,确定人脸检测置信度;通过人脸关键点检测模型识别待检测图像中的人脸关键点,确定人脸关键点置信度;人脸关键点置信度表征人脸关键点与人脸区域对齐的准确率;人脸关键点检测模型与人脸检测模型级联;根据人脸检测置信度和人脸关键点置信度过滤不包括人脸区域的人脸图像矩形框,通过对人脸关键点进行跟踪来修正过滤后的人脸图像矩形框的位置,得到处理后的人脸图像矩形框;对处理后的人脸图像矩形框进行帧间平滑,得到人脸检测结果。通过对人脸检测和人脸关键点检测进行功能级联,实现了根据人脸关键点检测结果对人脸检测结果进行筛选、修正,保证检测精度和稳定性的同时,能够在算力受限的智能终端设备进行部署,提升了与人脸相关如人脸对焦、人脸识别、人脸美妆等任务的性能,从而提升用户体验。

15、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

本文档来自技高网...

【技术保护点】

1.一种人脸检测方法,其特征在于,包括:

2.根据权利要求1所述方法,其特征在于,所述通过图像信号处理流水线的部分模块获取待检测图像的步骤包括:

3.根据权利要求1所述方法,其特征在于,所述通过人脸检测模型识别所述待检测图像中的所述人脸区域,得到包含所述人脸区域的人脸图像矩形框的步骤包括:

4.根据权利要求3所述方法,其特征在于,所述预设定的分类阈值的取值范围为0-0.55。

5.根据权利要求1所述方法,其特征在于,所述通过人脸关键点检测模型识别所述待检测图像中的人脸关键点,确定所述人脸关键点置信度的步骤包括:

6.根据权利要求1所述方法,其特征在于,所述根据所述人脸检测置信度和所述人脸关键点置信度过滤不包括所述人脸区域的人脸图像矩形框的步骤包括:

7.根据权利要求1所述方法,其特征在于,所述人脸关键点检测模型通过如下步骤训练得到:

8.根据权利要求1-7任意一项所述方法,其特征在于,所述通过图像信号处理流水线的部分模块获取待检测图像的步骤之后包括:

9.一种人脸检测装置,其特征在于,包括:

10.一种电子设备,其特征在于,包括:

11.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1~8中任一项所述方法的步骤。

12.一种芯片系统,其特征在于,包括:

...

【技术特征摘要】

1.一种人脸检测方法,其特征在于,包括:

2.根据权利要求1所述方法,其特征在于,所述通过图像信号处理流水线的部分模块获取待检测图像的步骤包括:

3.根据权利要求1所述方法,其特征在于,所述通过人脸检测模型识别所述待检测图像中的所述人脸区域,得到包含所述人脸区域的人脸图像矩形框的步骤包括:

4.根据权利要求3所述方法,其特征在于,所述预设定的分类阈值的取值范围为0-0.55。

5.根据权利要求1所述方法,其特征在于,所述通过人脸关键点检测模型识别所述待检测图像中的人脸关键点,确定所述人脸关键点置信度的步骤包括:

6.根据权利要求1所述方法,其特征在于,所述根据所述...

【专利技术属性】
技术研发人员:谢富名尹玄武卞飞飞胡显邓巍
申请(专利权)人:上海玄戒技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1