人脸识别方法和装置制造方法及图纸

本申请实施例公开了人脸识别方法和装置，应用于设置有系统级芯片的端设备，所述系统级芯片包括至少一个CPU，至少一个数字信号处理DSP硬件计算单元、至少一个硬件加速器和快速内存，所述系统级芯片运行有硬实时操作系统，该方法的一具体实施方式通过利用系统级芯片中快速内存的快速读取能力实现为人脸识别过程中快速提供所需数据，以及减少人脸识别各个过程中所需相同数据的多次搬运，最大限度地提高并行性，继而在端设备上实现低功耗、快速的人脸识别。

【技术实现步骤摘要】
人脸识别方法和装置
本申请实施例涉及计算机
，具体涉及人脸识别方法和装置。
技术介绍
人脸识别问题是计算机视觉领域的一个关键问题，其涉及计算机视觉中的多个关键技术，包括但不限于以下技术：人脸检测、人脸跟踪、人脸特征提取、人脸特征比对等等。由于人脸识别过程中所涉及的各个关键技术都需要进行大量的计算，目前的人脸识别大都将大部分计算放到云服务器中进行。为此，为了实现人脸识别，往往需要网络连接到云服务器。
技术实现思路
本申请实施例提出了人脸识别方法和装置。第一方面，本申请实施例提供了一种人脸识别方法，应用于设置有系统级芯片的端设备，所述系统级芯片包括至少一个CPU，至少一个(DigitalSignalProcessing，数字信号处理)DSP硬件计算单元、至少一个硬件加速器和快速内存，所述系统级芯片运行有硬实时操作系统，该方法包括：CPU将从所述端设备的内存获取的待识别图像和图像大小调整指令发送给硬件加速器；硬件加速器响应于接收到所述待识别图像和所述图像大小调整指令，将所述待识别图像调整为预设图像大小，以及将调整后的所述待识别图像作为预处理图像经直接存储器访问DMA从所述快速内存存储到所述内存中；CPU发送人脸检测指令给执行人脸检测操作的DSP硬件计算单元；DSP硬件计算单元响应于接收到所述人脸检测指令，从所述快速内存中获取所述预处理图像，检测所述预处理图像中的人脸区域，以及将检测得到的至少一个人脸区域信息经DMA从所述快速内存存储到所述内存中；CPU将人脸图像提取指令发送给执行人脸图像提取操作的DSP硬件计算单元；DSP硬件计算单元响应于接收到所述人脸图像提取指令，从所述快速内存中获取所述预处理图像和所述至少一个人脸区域信息；对于所述至少一个人脸区域信息中的每个人脸区域信息，确定所述预处理图像中该人脸区域信息所指示的区域内存在人脸对象的概率值；以及提取所述预处理图像中各所述人脸区域信息中所指示的区域内对应的存在人脸对象的概率值大于预设概率值阈值的图像；将各所提取的图像作为待识别人脸图像经DMA从所述快速内存存储到内存中且与对应的人脸区域信息对应存储；CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息。在一些实施例中，在将各所提取的图像作为待识别人脸图像经DMA从所述快速内存存储到内存中且与对应的人脸区域信息对应存储之后，所述方法还包括：CPU将人脸特征提取指令发送给执行人脸特征提取操作的DSP硬件计算单元；DSP硬件计算单元响应于接收到所述人脸特征提取指令，从所述快速内存中获取各所述待识别人脸图像，对各所述待识别人脸图像进行人脸特征提取，以及将提取到的人脸特征经DMA从所述快速内存存储到所述内存中且和对应的待识别人脸图像、人脸区域信息对应存储；以及所述CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息，包括：CPU从快速内存中获取各所述人脸特征，以及对于所获取的每个人脸特征，将预先从内存中获取的人脸信息库中与该人脸特征的匹配度最高的人脸特征模板对应的身份信息确定为该人脸特征对应的人脸身份信息，其中，人脸信息库用于表征人脸特征模板与人脸身份信息之间的对应关系。在一些实施例中，所述CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息，包括：CPU将快速内存中存储的各所述待识别人脸图像发送给云服务器，以供所述云服务器对所收到的待识别人脸图像进行识别并反馈对应的人脸身份信息；CPU从所述云服务器接收与快速内存中存储的各所述待识别人脸图像对应的人脸身份信息。在一些实施例中，在提取所述预处理图像中各所述人脸区域信息中所指示的区域内对应的存在人脸对象的概率值大于预设概率值阈值的图像之前，所述方法还包括：DSP硬件计算单元将所确定的各概率值经DMA从所述快速内存存储到所述内存且和对应的人脸区域信息对应存储。在一些实施例中，在CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息之前，所述方法还包括：CPU发送人脸区域标记指令给执行人脸区域标记操作的DSP硬件计算单元；DSP硬件计算单元响应于接收到所述人脸区域标记指令，从所述快速内存获取所述预处理图像和各所述人脸区域信息对应的概率值，以及在所述预处理图像中添加各所述人脸区域信息中对应的概率值大于所述预设概率值阈值的人脸区域信息所指示的区域的边界。在一些实施例中，在CPU将人脸图像提取指令发送给执行人脸图像提取操作的DSP硬件计算单元之前，所述方法还包括：CPU发送人脸跟踪指令给执行人脸跟踪操作的DSP硬件计算单元；DSP硬件计算单元响应于接收到所述人脸跟踪指令，根据从所述快速内存获取的所述预处理图像和所述至少一个人脸区域信息以及从所述内存获取的最近时间预设数目帧跟踪图像和对应的至少一个人脸跟踪信息，其中，人脸跟踪信息包括人脸身份标识和人脸区域信息，确定与所述预处理图像对应的至少一个人脸跟踪信息，以及将所确定的至少一个人脸跟踪信息经DMA从所述快速内存存储到所述内存且和所述预处理图像对应存储。第二方面，本申请实施例提供了一种人脸识别装置，应用于设置有系统级芯片的端设备，所述系统级芯片包括至少一个CPU，至少一个DSP硬件计算单元、至少一个硬件加速器和快速内存，所述系统级芯片运行有硬实时操作系统，该装置包括：第一发送单元，设置于CPU中，被配置成将从所述端设备的内存获取的待识别图像和图像大小调整指令发送给硬件加速器；图像大小调整单元，设置于硬件加速器中，被配置成响应于接收到所述待识别图像和所述图像大小调整指令，将所述待识别图像调整为预设图像大小，以及将调整后的所述待识别图像作为预处理图像经直接存储器访问DMA从所述快速内存存储到所述内存中；第二发送单元，设置于CPU中，被配置成发送人脸检测指令给执行人脸检测操作的DSP硬件计算单元；人脸检测单元，设置于DSP硬件计算单元中，被配置成响应于接收到所述人脸检测指令，从所述快速内存中获取所述预处理图像，检测所述预处理图像中的人脸区域，以及将检测得到的至少一个人脸区域信息经DMA从所述快速内存存储到所述内存中；第三发送单元，设置于CPU中，被配置成将人脸图像提取指令发送给执行人脸图像提取操作的DSP硬件计算单元；人脸图像提取单元，设置于DSP硬件计算单元中，被配置成响应于接收到所述人脸图像提取指令，从所述快速内存中获取所述预处理图像和所述至少一个人脸区域信息；对于所述至少一个人脸区域信息中的每个人脸区域信息，确定所述预处理图像中该人脸区域信息所指示的区域内存在人脸对象的概率值；以及提取所述预处理图像中各所述人脸区域信息中所指示的区域内对应的存在人脸对象的概率值大于预设概率值阈值的图像；将各所提取的图像作为待识别人脸图像经DMA从所述快速内存存储到内存中且与对应的人脸区域信息对应存储；人脸识别单元，设置于CPU中，被配置成对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到本文档来自技高网...

【技术保护点】
1.一种人脸识别方法，应用于设置有系统级芯片的端设备，所述系统级芯片包括至少一个CPU，至少一个数字信号处理DSP硬件计算单元、至少一个硬件加速器和快速内存，所述系统级芯片运行有硬实时操作系统，所述方法包括：/nCPU将从所述端设备的内存获取的待识别图像和图像大小调整指令发送给硬件加速器；/n硬件加速器响应于接收到所述待识别图像和所述图像大小调整指令，将所述待识别图像调整为预设图像大小，以及将调整后的所述待识别图像作为预处理图像经直接存储器访问DMA从所述快速内存存储到所述内存中；/nCPU发送人脸检测指令给执行人脸检测操作的DSP硬件计算单元；/nDSP硬件计算单元响应于接收到所述人脸检测指令，从所述快速内存中获取所述预处理图像，检测所述预处理图像中的人脸区域，以及将检测得到的至少一个人脸区域信息经DMA从所述快速内存存储到所述内存中；/nCPU将人脸图像提取指令发送给执行人脸图像提取操作的DSP硬件计算单元；/nDSP硬件计算单元响应于接收到所述人脸图像提取指令，从所述快速内存中获取所述预处理图像和所述至少一个人脸区域信息；对于所述至少一个人脸区域信息中的每个人脸区域信息，确定所述预处理图像中该人脸区域信息所指示的区域内存在人脸对象的概率值；以及提取所述预处理图像中各所述人脸区域信息中所指示的区域内对应的存在人脸对象的概率值大于预设概率值阈值的图像；将各所提取的图像作为待识别人脸图像经DMA从所述快速内存存储到内存中且与对应的人脸区域信息对应存储；/nCPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息。/n...

【技术特征摘要】
1.一种人脸识别方法，应用于设置有系统级芯片的端设备，所述系统级芯片包括至少一个CPU，至少一个数字信号处理DSP硬件计算单元、至少一个硬件加速器和快速内存，所述系统级芯片运行有硬实时操作系统，所述方法包括：
CPU将从所述端设备的内存获取的待识别图像和图像大小调整指令发送给硬件加速器；
硬件加速器响应于接收到所述待识别图像和所述图像大小调整指令，将所述待识别图像调整为预设图像大小，以及将调整后的所述待识别图像作为预处理图像经直接存储器访问DMA从所述快速内存存储到所述内存中；
CPU发送人脸检测指令给执行人脸检测操作的DSP硬件计算单元；
DSP硬件计算单元响应于接收到所述人脸检测指令，从所述快速内存中获取所述预处理图像，检测所述预处理图像中的人脸区域，以及将检测得到的至少一个人脸区域信息经DMA从所述快速内存存储到所述内存中；
CPU将人脸图像提取指令发送给执行人脸图像提取操作的DSP硬件计算单元；
DSP硬件计算单元响应于接收到所述人脸图像提取指令，从所述快速内存中获取所述预处理图像和所述至少一个人脸区域信息；对于所述至少一个人脸区域信息中的每个人脸区域信息，确定所述预处理图像中该人脸区域信息所指示的区域内存在人脸对象的概率值；以及提取所述预处理图像中各所述人脸区域信息中所指示的区域内对应的存在人脸对象的概率值大于预设概率值阈值的图像；将各所提取的图像作为待识别人脸图像经DMA从所述快速内存存储到内存中且与对应的人脸区域信息对应存储；
CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息。


2.根据权利要求1所述的方法，其中，在将各所提取的图像作为待识别人脸图像经DMA从所述快速内存存储到内存中且与对应的人脸区域信息对应存储之后，所述方法还包括：
CPU将人脸特征提取指令发送给执行人脸特征提取操作的DSP硬件计算单元；
DSP硬件计算单元响应于接收到所述人脸特征提取指令，从所述快速内存中获取各所述待识别人脸图像，对各所述待识别人脸图像进行人脸特征提取，以及将提取到的人脸特征经DMA从所述快速内存存储到所述内存中且和对应的待识别人脸图像、人脸区域信息对应存储；以及
所述CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息，包括：
CPU从快速内存中获取各所述人脸特征，以及对于所获取的每个人脸特征，将预先从内存中获取的人脸信息库中与该人脸特征的匹配度最高的人脸特征模板对应的身份信息确定为该人脸特征对应的人脸身份信息，其中，人脸信息库用于表征人脸特征模板与人脸身份信息之间的对应关系。


3.根据权利要求1所述的方法，其中，所述CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息，包括：
CPU将快速内存中存储的各所述待识别人脸图像发送给云服务器，以供所述云服务器对所收到的待识别人脸图像进行识别并反馈对应的人脸身份信息；
CPU从所述云服务器接收与快速内存中存储的各所述待识别人脸图像对应的人脸身份信息。


4.根据权利要求1所述的方法，其中，在提取所述预处理图像中各所述人脸区域信息中所指示的区域内对应的存在人脸对象的概率值大于预设概率值阈值的图像之前，所述方法还包括：
DSP硬件计算单元将所确定的各概率值经DMA从所述快速内存存储到所述内存且和对应的人脸区域信息对应存储。


5.根据权利要求4所述的方法，其中，在CPU对快速内存中存储的各所述待识别人脸图像进行人脸识别，分别得到与各所述待识别人脸图像对应的人脸身份信息之前，所述方法还包括：
CPU发送人脸区域标记指令给执行人脸区域标记操作的DSP硬件计算单元；
DSP硬件计算单元响应于接收到所述人脸区域标记指令，从所述快速内存获取所述预处理图像和各所述人脸区域信息对应的概率值，以及在所述预处理图像中添加各所述人脸区域信息中对应的概率值大于所述预设概率值阈值的人脸区域信息所指示的区域的边界。


6.根据权利要求1所述的方法，其中，在CPU将人脸图像提取指令发送给执行人脸图像提取操作的DSP硬件计算单元之前，所述方法还包括：
CPU发送人脸跟踪指令给执行人脸跟踪操作的DSP硬件计算单元；
DSP硬件计算单元响应于接收到所述人脸跟踪指令，根据从所述快速内存获取的所述预处理图像和所述至少一个人脸区域信息以及从所述内存获取的最近时间预设数目帧跟踪图像和对应的至少一个人脸跟踪信息，其中，人脸跟踪信息包括人脸身份标识和人脸区域信息，确定与所述预处理图像对应的至少一个人脸跟踪信息，以及将所确定的至少一个人脸跟踪信息经DMA从所述快速内存存储到所述内存且和所述预处理图像对应存储。


7.一种人脸识别装置，应用于设置有系统级芯片的端设备，所述系统级芯片包括至少一个CPU，至少一个数字信号处理DSP硬件计算单元、至少一个硬件加速器和快速内存，所述系统级芯片运行有硬实时操作系统，所述装置包括：
第一发送单元，设置于CPU中，被配置成将从所述端设备的内存获取的待识别图像和图像大小调整指令发送给硬件加速器；
图像大小调整单元，设置于硬件加速器中，被配置成...

【专利技术属性】
技术研发人员：寇浩锋，范彦文，包英泽，
申请(专利权)人：百度时代网络技术北京有限公司，百度美国有限责任公司，
类型：发明
国别省市：北京;11