人脸图像采集的方法、装置、设备、及机器可读存储介质制造方法及图纸

本发明专利技术实施例提供了人脸图像采集的方法、装置、设备、及机器可读存储介质。该方法包括：接收当前帧，其中，当前帧是帧序列中的一个帧，帧序列是在没有进行用户交互的情况下通过摄像头持续拍摄的；对当前帧进行人脸检测；如果在当前帧中检测到m个人脸，确定m个人脸中的最大人脸；基于最大人脸来确定当前目标人脸，以便在帧序列结束时从人脸模板库中输出最终目标人脸的图像，其中，最终目标人脸是通过考虑帧序列的各个帧的目标人脸来确定的，人脸模板库用于存储从各个帧中检测到的不同人脸的图像。本发明专利技术实施例能够在不干扰用户并且不需要用户配合的情况下完成人脸图像采集，从而能够提升用户体验。

Face Image Acquisition Method, Device, Equipment and Machine Readable Storage Media

【技术实现步骤摘要】
人脸图像采集的方法、装置、设备、及机器可读存储介质
本专利技术涉及信息处理领域，具体而言，本专利技术涉及人脸图像采集的方法、装置、设备、及机器可读存储介质。
技术介绍
目前，基于人脸图像的各种技术已经广泛应用于公共安全、智能监控、身份认证和金融支付等各个领域。在这些技术中，首要任务是采集到满足要求的人脸图像。通常，为了采集到高质量的人脸图像，不仅需要考虑诸如光照等的环境因素，往往还需要被采集者的配合，比如要求被采集者正面面对摄像头，保持一定的姿态等等。然而，很多现实场景可能难以满足这样的要求，那么如何有效地采集到人脸图像就成为亟待解决的问题之一。
技术实现思路
考虑到现有技术的上述问题，本专利技术实施例提供了人脸图像采集的方法、装置、设备、及机器可读存储介质。一方面，本专利技术实施例提供了一种用于采集人脸图像的方法，包括：接收当前帧，其中，所述当前帧是帧序列中的一个帧，所述帧序列是在没有进行用户交互的情况下通过摄像头持续拍摄的；对所述当前帧进行人脸检测；如果在所述当前帧中检测到m个人脸，确定所述m个人脸中的最大人脸，其中，m为正整数；基于所述最大人脸来确定当前目标人脸，以便在所述帧序列结束时从人脸模板库中输出最终目标人脸的图像，其中，所述最终目标人脸是通过考虑所述帧序列的各个帧的目标人脸来确定的，所述人脸模板库用于存储从所述各个帧中检测到的不同人脸的图像。另一方面，本专利技术实施例提供了一种用于采集人脸图像的装置，包括：接收单元，用于接收当前帧，其中，所述当前帧是帧序列中的一个帧，所述帧序列是在没有进行用户交互的情况下通过摄像头持续拍摄的；检测单元，用于对所述当前帧进行人脸检测；人脸确定单元，用于：如果所述检测单元在所述当前帧中检测到m个人脸，则确定所述m个人脸中的最大人脸，其中，m为正整数；所述人脸确定单元，还用于：基于所述最大人脸来确定当前目标人脸，以便在所述帧序列结束时从人脸模板库中输出最终目标人脸的图像，其中，所述最终目标人脸是通过考虑所述帧序列的各个帧的目标人脸来确定的，所述人脸模板库用于存储从所述各个帧中检测到的不同人脸的图像。另一方面，本专利技术实施例提供了一种计算设备，包括：至少一个处理器；与所述至少一个处理器进行通信的存储器，其上存储有可执行指令，所述可执行指令在被所述至少一个处理器执行时使得所述至少一个处理器实现上述方法。另一方面，本专利技术实施例提供了一种机器可读存储介质，其存储有可执行指令，所述可执行指令在被机器执行时使得所述机器实现上述方法。在本专利技术实施例中，在没有进行用户交互的情况下通过摄像头持续拍摄帧序列，对帧序列中的每一帧进行人脸检测并且确定目标人脸，并且通过考虑各个帧的目标人脸来确定最终目标人脸，这样在帧序列结束时从人脸模板库中输出最终目标人脸对应的图像，由此能够在不干扰用户并且不需要用户配合的情况下完成人脸图像采集，从而能够提升用户体验。此外，通过基于持续拍摄的帧序列来获得最终目标人脸的图像，能够在相对较长的时间内选择质量较好的人脸图像，从而能够改善后续基于人脸图像的应用效果。附图说明下文将以明确易懂的方式，通过对优选实施例的说明并结合附图来对本专利技术的上述技术特征、优点及其实现方式予以进一步说明，其中：图1是根据本专利技术实施例的用于采集人脸图像的方法的示意性流程图。图2A是根据本专利技术实施例的用于维护人脸模板库的实现方式的一个例子的示意图。图2B是根据本专利技术实施例的用于确定当前目标人脸的方式的示意性流程图。图2C-2F是根据本专利技术实施例的用于确定当前目标人脸的场景的例子的示意图。图3是根据本专利技术实施例的用于采集人脸图像的装置的示意性框图。图4是根据本专利技术实施例的用于采集人脸图像的计算设备的硬件结构图。具体实施方式现在将参考示例实施方式讨论本文描述的主题。应当理解的是，讨论这些实施方式仅是为了使得本领域技术人员能够更好地理解并且实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本专利技术的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及可以添加、省略或者组合各个步骤。在基于人脸图像的各种技术中，首要任务是采集到满足要求的人脸图像。为此，通常不仅要考虑环境因素，还需要被采集者的相应配合，比如要求被采集者正面面对摄像头，在一定时间内保持某个姿态等等。比如，在基于人脸的支付技术(也可以称为“刷脸”支付)中，通常有专门的采集阶段，即通过具有摄像头的用于支付的终端呈现专门的交互界面，显示用户在摄像头中的图像，使得用户感知到正在采集人脸图像，并且在合适的时间停止，向用户通知当前采集的人脸图像就是用于比对的人脸图像，之后使用所采集的人脸图像与预留图像进行比对以完成支付过程。在这种场景下，整个采集阶段需要控制在一定的时间内完成。如果采集耗时太久，会导致用户体验变差，而如果采集太快，用户可能还没有准备好，容易导致所采集的图像模糊、姿态差、光照不合适等问题。可见，如何有效地采集人脸图像成为亟需解决的问题之一。对此，本专利技术实施例提供了一种用于采集人脸图像的技术方案。本专利技术实施例的技术方案可以应用于各种基于人脸图像的技术中。比如，可以在“刷脸”支付技术中采用本专利技术实施例的技术方案。“刷脸”支付技术可以应用于各种需要支付的场景中，比如，餐厅、超市、医院、商场等等。具体而言，可以在这些地方的收银台处设置用于支付的终端。该终端可以安装有用于采集图像的摄像头，比如三维摄像头。基于三维摄像头拍摄的图像，还可以计算用户与该摄像头之间的距离，用以辅助进行人脸图像采集。此外，在这种场景下，本专利技术实施例的人脸图像采集过程可以是通过购买事件来触发的，比如，当检测到开始通过该终端对商品进行扫码时，可以启动人脸图像采集过程。当检测到确认支付时，可以结束人脸图像采集过程。整个过程无需与用户进行交互，即无需在终端上呈现专门的交互界面来告知用户需要配合以采集人脸图像，由此不会干扰用户，从而能够提升用户体验。在本专利技术实施例中，可能涉及到人脸跟踪技术。人脸跟踪可以是指在输入的图像帧(为了描述简洁，本文中将“图像帧”简称为“帧”)序列中实时检测是否存在人脸并且确定其运动轨迹和大小变化的过程。多人脸跟踪是针对多个人脸的跟踪过程。下面结合具体例子来描述人脸跟踪技术的一种实现方式。假设在帧1中检测到人脸，则可以为该人脸赋予相应的标识，为了便于描述，在本文中将该标识称为TrackID。接下来，在帧1的下一帧(此处称为帧2)中，在帧1检测到的人脸区域附近，进行更小网络的人脸检测。如果成功检测到人脸，则认为帧2中检测到的人脸与帧1中检测到的人脸是同一人脸，因此在帧2中检测到的人脸也具有相同的TrackID。此时，可以认为在帧2中跟踪到帧1中的人脸。如果在上述人脸区域附近没有检测到人脸，则在帧2中使用更大的网络进行全图重检。此时在帧2中检测到的人脸将被赋予新的TrackID。此时，可以认为在帧2中没有跟踪到帧1中的人脸。对于多个人脸的跟踪，也可以采用类似的原理。在多人脸跟踪技术中，需要进行人脸检测。人脸检测可以通过各种适用的算法来实现，比如基于深度学习和关键点定位的算法。下面将结合本专利技术实施例来详细描述本文档来自技高网...

【技术保护点】
1.一种用于采集人脸图像的方法，其特征在于，包括：接收当前帧，其中，所述当前帧是帧序列中的一个帧，所述帧序列是在没有进行用户交互的情况下通过摄像头持续拍摄的；对所述当前帧进行人脸检测；如果在所述当前帧中检测到m个人脸，确定所述m个人脸中的最大人脸，其中，m为正整数；基于所述最大人脸来确定当前目标人脸，以便在所述帧序列结束时从人脸模板库中输出最终目标人脸的图像，其中，所述最终目标人脸是通过考虑所述帧序列的各个帧的目标人脸来确定的，所述人脸模板库用于存储从所述各个帧中检测到的不同人脸的图像。

【技术特征摘要】
1.一种用于采集人脸图像的方法，其特征在于，包括：接收当前帧，其中，所述当前帧是帧序列中的一个帧，所述帧序列是在没有进行用户交互的情况下通过摄像头持续拍摄的；对所述当前帧进行人脸检测；如果在所述当前帧中检测到m个人脸，确定所述m个人脸中的最大人脸，其中，m为正整数；基于所述最大人脸来确定当前目标人脸，以便在所述帧序列结束时从人脸模板库中输出最终目标人脸的图像，其中，所述最终目标人脸是通过考虑所述帧序列的各个帧的目标人脸来确定的，所述人脸模板库用于存储从所述各个帧中检测到的不同人脸的图像。2.根据权利要求1所述的方法，其特征在于，所述基于最大人脸来确定当前目标人脸，包括：如果所述当前帧是所述帧序列中的第一帧，则将所述最大人脸确定为所述当前目标人脸；如果所述当前帧不是所述帧序列中的第一帧，则基于先前目标人脸和所述最大人脸来确定所述当前目标人脸，其中，所述先前目标人脸是所述当前帧的上一帧的目标人脸。3.根据权利要求2所述的方法，其特征在于，所述基于先前目标人脸和所述最大人脸来确定所述当前目标人脸，包括：如果所述m个人脸不包括所述先前目标人脸，则将所述最大人脸确定为所述当前目标人脸；如果所述m个人脸包括所述先前目标人脸并且所述先前目标人脸是所述最大人脸，则将所述最大人脸确定为所述当前目标人脸；如果所述m个人脸包括所述先前目标人脸并且所述先前目标人脸不是所述最大人脸，则基于所述最大人脸和所述先前目标人脸在所述当前帧中的状态信息来确定所述当前目标人脸。4.根据权利要求3所述的方法，其特征在于，所述基于所述最大人脸和所述先前目标人脸在所述当前帧中的状态信息来确定所述当前目标人脸，包括：如果第一距离大于第二距离，则将所述先前目标人脸确定为所述当前目标人脸，其中，所述第一距离表示所述最大人脸与所述摄像头之间的物理距离，所述第二距离表示所述先前目标人脸与所述摄像头之间的物理距离；如果所述第一距离小于所述第二距离并且第三距离小于预定值，则基于所述最大人脸和所述先前目标人脸各自与所述摄像头的成像区域中心的距离，来确定所述当前目标人脸，其中，所述第三距离表示所述先前目标人脸与所述最大人脸之间的物理距离；如果所述第三距离大于所述预定值，则将所述最大人脸确定为所述当前目标人脸。5.根据权利要求4所述的方法，其特征在于，所述基于所述最大人脸和所述先前目标人脸各自与所述摄像头的成像区域中心的距离，来确定所述当前目标人脸，包括：如果所述最大人脸比所述先前目标人脸更接近所述成像区域中心，则将所述最大人脸确定为所述当前目标人脸；如果所述先前目标人脸比所述最大人脸更接近所述成像区域中心，则将所述先前目标人脸确定为所述当前目标人脸。6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：确定是否利用所述m个人脸在所述当前帧中的m个当前图像更新所述人脸模板库。7.根据权利要求6所述的方法，其特征在于，所述确定是否利用所述m个人脸在所述当前帧中的m个当前图像更新所述人脸模板库，包括：如果所述当前帧是所述帧序列中的第一帧，则将所述m个当前图像存储到所述人脸模板库中；如果所述当前帧不是所述帧序列中的第一帧，则在所述人脸模板库检索是否已经存在与所述m个人脸对应的m个已有图像，并且基于检索结果来确定是否利用所述m个当前图像更新所述人脸模板库。8.根据权利要求7所述的方法，其特征在于，所述基于检索结果来确定是否利用所述m个当前图像更新所述人脸模板库，包括：如果所述m个人脸包括第一人脸并且在所述人脸模板库中已经存在所述第一人脸的已有图像，则将所述第一人脸的当前图像与所述第一人脸的已有图像进行质量比较，并且基于质量比较结果来确定是否更新所述人脸模板库；如果所述m个人脸包括第二人脸但是在所述人脸模板库中不存在所述第二人脸的已有图像，并且在所述人脸模板库中存在所述至少一个特定人脸的已有图像，但是所述m个人脸不包括所述至少一个特定人脸，则将所述第二人脸与所述至少一个特定人脸进行比对，并且基于比对结果来确定是否更新所述人脸模板库；如果所述m个人脸包括第三人脸并且在所述人脸模板库中已经存在所述m个人脸中除了所述第三人脸之外的人脸的已有图像，则将所述第三人脸的当前图像存储到所述人脸模板库中。9.根据权利要求8所述的方法，其特征在于，所述基于质量比较结果来确定是否更新所述人脸模板库，包括：如果所述第一人脸的当前图像的质量优于所述第一人脸的已有图像的质量，则将所述人脸模板库中的所述第一人脸的已有图像替换为所述第一人脸的当前图像；如果所述第一人脸的已有图像的质量优于所述第一人脸的当前图像的质量，则不将所述人脸模板库中的所述第一人脸的已有图像替换为所述第一人脸的当前图像。10.根据权利要求8所述的方法，其特征在于，所述基于比对结果来确定是否更新所述人脸模板库，包括：如果所述第二人脸与所述至少一个特定人脸中的第四人脸比对成功并且所述第二人脸的当前图像的质量优于所述第四人脸的已有图像的质量，则将所述人脸模板库中的所述第四人脸的已有图像替换为所述第二人脸的当前图像；如果所述第二人脸与所述第四人脸比对成功并且所述第四人脸的已有图像的质量优于所述第二人脸的当前图像的质量，则不将所述人脸模板库中的所述第四人脸的已有图像替换为所述第二人脸的当前图像；如果所述第二人脸与所述至少一个特定人脸比对失败，则将所述第二人脸的当前图像存储到所述人脸模板库中。11.一种用于采集人脸图像的装置，其特征在于，包括：接收单元，用于接收当前帧，其中，所述当前帧是帧序列中的一个帧，所述帧序列是在没有进行用户交互的情况下通过摄像头持续拍摄的；检测单元，用于对所述当前帧进行人脸检测；人脸确定单元，用于：如果所述检测单元在所述当前帧中检测到m个人脸，则确定所述m个人脸中的最大人脸，其中，m为正整数...

【专利技术属性】
技术研发人员：郑丹丹，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY