客户端上执行的人脸识别方法和部署模型的轻量化方法技术

公开了一种客户端上执行的人脸识别方法和部署模型的轻量化方法。人脸识别方法包括：使用人脸检测模型检测拍摄图像中的候选人脸区域图片；使用人脸校验模型对候选人脸区域是否包含人脸进行判断以筛选出经校验的人脸区域图片；使用人脸识别模型对图片进行编码，并将编码后的人脸向量与存储的参考向量进行匹配；基于匹配结果确定人脸对应的用户身份；以及基于用户身份进行信息推荐。方法中使用的模型是在客户端上部署的经训练的轻量化机器学习模型。通过在客户端上部署由多个彼此配合的小型模型协同构成人脸识别流水线，以极小的计算和存储代价实现端侧人脸识别，在保护隐私的同时对用户身份进行快速识别，方便后续的内容推荐和首屏显示操作。推荐和首屏显示操作。推荐和首屏显示操作。

【技术实现步骤摘要】
客户端上执行的人脸识别方法和部署模型的轻量化方法


[0001]本公开涉及机器学习领域，尤其涉及一种客户端上执行的人脸识别方法和部署模型的轻量化方法。

技术介绍

[0002]有屏智能音箱作为家庭智能中心在近年来得到广泛普及。多名家庭成员往往会使用同一台智能音箱的不同功能。例如，老人用智能音箱听歌点歌，孩子用智能音箱玩益智游戏等等。如果能够对当前要进行交互的户身份进行识别，则可以及时为不同的用户显示其常用的APP或是进行合理的内容推荐。现有的人脸识别往往需要在云端进行，反馈缓慢且有个人信息泄露风险。
[0003]为此，需要一种改进的人脸识别方案。

技术实现思路

[0004]本公开要解决的一个技术问题是提供一种客户端上执行的人脸识别方法，以及用于部署在客户端上进行人脸识别的模型轻量化训练方法。通过在客户端上布置多个彼此配合的极其轻量的小型模型协同构成人脸识别流水线，能够以极小的计算和存储代价实现完全由端侧完成的人脸识别，在保护用户隐私的同时对用户身份进行快速准确识别，方便后续的内容推荐和首屏显示操作。
[0005]根据本公开的第一个方面，提供了一种客户端上执行的人脸识别方法，包括：使用人脸检测模型检测拍摄图像中的候选人脸区域图片；使用人脸校验模型对所述候选人脸区域图片中是否包含人脸进行判断以筛选出经校验的人脸区域图片；使用人脸识别模型对得到的人脸区域图片进行编码，并将编码后的人脸向量与存储的参考向量相匹配；基于匹配结果确定人脸对应的用户身份；以及基于所述用户身份进行信息推荐，其中，所述人脸检测模型、所述人脸校验模型和所述人脸识别模型是客户端上部署的经训练的机器学习模型。
[0006]可选地，所述方法还包括：使用人脸配准模型矫正所述经校验的人脸区域图片中的人脸角度，以获取经配准的人脸区域图片，其中，所述人脸配准模型是在客户端上部署的基于人脸关键点矫正所述人脸角度的经训练的机器学习模型。
[0007]可选地，所述方法还包括：基于所述经校验的人脸区域图片在拍摄图片中的位置，使用人脸跟踪模型对持续拍摄图形中的人脸区域进行跟踪，所述人脸跟踪模型是设置在客户端上的经训练的机器学习模型，使用人脸识别模型对得到的人脸区域图片进行编码，并将编码后的人脸向量与端侧存储的参考向量相匹配包括：所述人脸识别模型对所述人脸跟踪模型获取的人脸区域图形进行编码，并将编码后的人脸向量与端侧存储的参考向量相匹配。
[0008]可选地，所述方法还包括：对持续跟踪得到的多幅人脸区域图片进行挑选和/或平滑处理，其中，所述人脸识别模型使用经挑选和/或平滑的人脸区域图片进行所述编码和匹配操作。
[0009]可选地，所述方法还包括：拍摄来自不同用户的多角度人脸图片，用于各自生成针对特定用户的参考向量，并且基于匹配结果确定人脸对应的用户身份包括：在编码后的人脸向量与多个参考向量之一相匹配时，判断所述人脸对应于该参考向量针对的特定用户；以及在编码后的人脸向量与多个参考向量都不匹配时，判断所述人脸对应于未注册用户。
[0010]可选地，使用所述人脸检测模型检测同一张拍摄图形中的多个候选人脸区域图片；所述人脸跟踪模型对持续拍摄图形中的多个人脸区域存在和消失进行跟踪。
[0011]根据本公开的第一个方面，提供了一种用于部署在客户端上进行人脸识别的模型轻量化训练方法，包括：对经训练的原始模型进行剪枝；获取同时满足剪枝目标和标准差约束的候选子网络；通过训练数据集上的快速训练评估所述候选子网络的性能；选取性能最优的候选子网络作为剪枝模型；以及对剪枝模型进行量化调优，得到轻量化模型，所述轻量化模型是用于在第一方面所述的在客户端上部署的经训练的机器学习模型。
[0012]可选地，所述方法还包括：获取所述客户端上用于执行模型推理的计算单元的硬件性能参数；以及基于所述硬件性能参数，对所述剪枝模型进行量化调优。
[0013]可选地，所述方法还包括：修改所述标准差约束并迭代进行候选子网络和最优子网络的获取。
[0014]根据本公开的第三个方面，提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述第一或第二方面所述的方法。
[0015]根据本公开的第四个方面，提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上述第一或第二方面所述的方法。
[0016]由此，本专利技术通过在客户端上布置多个彼此配合的小型模型协同构成人脸识别流水线，能够以极小的计算和存储代价实现完全由端侧完成的人脸识别，在保护用户隐私的同时对用户身份进行快速准确识别，方便后续的内容推荐和首屏显示操作。
附图说明
[0017]通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
[0018]图1示出了根据本专利技术一个实施例的客户端上执行的人脸识别方法的示意性流程图。
[0019]图2示出了本专利技术人脸识别流水线的处理流程例。
[0020]图3示出了根据本专利技术一个实施例的用于部署在客户端上进行人脸识别的模型轻量化训练方法的示意性流程图。
[0021]图4示出了本专利技术一个实施例中使用的模型剪枝方案的例子。
[0022]图5示出了根据本专利技术一实施例可用于实现上述客户端上执行的人脸识别方法和部署模型的轻量化方法的计算设备的结构示意图。
具体实施方式
[0023]下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0024]有屏智能音箱作为家庭智能中心在近年来得到广泛普及。多名家庭成员往往会使用同一台智能音箱的不同功能。例如，老人用智能音箱听歌点歌，孩子用智能音箱玩益智游戏等等。如果能够对当前要进行交互的户身份进行识别，则能够对不同用户的使用习惯进行分类记录，并基于这些历史操作信息，以及用户本身的属性信息(例如，年龄性别等)，来及时为不同的家庭成员显示其常用的APP或是进行合理的内容推荐。
[0025]现有的人脸识别模型能够对人脸进行准确识别，但由于参数量巨大并且需要进行大运算量的推理，因此模型通常被部署在服务器上，并且使用诸如GPU或是其他定制芯片的专门硬件进行计算。在有屏智能音箱的日常使用场景中，虽然可以将智能音箱自带的摄像头可以将拍摄的图像上传至云端进行人脸识别，但会将人脸信息暴露至云端或是传输路径。另外，虽然可以通过加密传输甚至加密计算来保证人脸信息不泄露至外部，但对人脸信息高强度加密需要消耗大量算力和时间，再加上传输路径的延迟，使得云端识别人脸方案变得不可行。
[0026]有鉴于此，本专利技术提供一种客户端上执行的人脸识别方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种客户端上执行的人脸识别方法，包括：使用人脸检测模型检测拍摄图像中的候选人脸区域图片；使用人脸校验模型对所述候选人脸区域图片中是否包含人脸进行判断以筛选出经校验的人脸区域图片；使用人脸识别模型对得到的人脸区域图片进行编码，并将编码后的人脸向量与存储的参考向量进行匹配；基于匹配结果确定人脸对应的用户身份；以及基于所述用户身份进行信息推荐，其中，所述人脸检测模型、所述人脸校验模型和所述人脸识别模型是客户端上部署的经训练的机器学习模型。2.如权利要求1所述的方法，还包括：使用人脸配准模型矫正所述经校验的人脸区域图片中的人脸角度，以获取经配准的人脸区域图片，其中，所述人脸配准模型是在客户端上部署的基于人脸关键点矫正人脸角度的经训练的机器学习模型。3.如权利要求1所述的方法，还包括：基于所述经校验的人脸区域图片在拍摄图片中的位置，使用人脸跟踪模型对持续拍摄图形中的人脸区域进行跟踪，所述人脸跟踪模型是设置在客户端上的经训练的机器学习模型，使用人脸识别模型对得到的人脸区域图片进行编码，并将编码后的人脸向量与端侧存储的参考向量相匹配包括：所述人脸识别模型对所述人脸跟踪模型获取的人脸区域图形进行编码，并将编码后的人脸向量与端侧存储的参考向量相匹配。4.如权利要求3所述的方法，还包括：对持续跟踪得到的多幅人脸区域图片进行挑选和/或平滑处理，其中，所述人脸识别模型使用经挑选和/或平滑的人脸区域图片进行所述编码和匹配操作。5.如权利要求1所述的方法，还包括：拍摄来自不同用户的多角度人脸图片，用于各自生成针对特定用户的参考向量，并且基于...

【专利技术属性】
技术研发人员：黄汉卿，杨攸奕，胡于响，陈浩楠，贺玄煜，
申请(专利权)人：浙江猫精人工智能科技有限公司，
类型：发明
国别省市：