目标人脸图片提取方法、装置及终端设备制造方法及图纸

本申请适用于图像处理技术领域，提供了目标人脸图片提取方法、装置及终端设备，该目标人脸图片提取方法包括：获取包含多个人脸的视频图像，所述视频图像包括多帧图像；对所述多帧图像进行人脸检测，确定各帧图像中目标人脸对应的目标区域；其中，所述目标人脸为所述多个人脸中的一个或多个人脸；基于所述目标人脸在各帧图像中的目标区域，确定所述目标人脸对应的运动轨迹；其中，各帧图像中的目标区域均对应一张人脸图片；基于所述目标人脸在各帧图像中的姿态，在所述运动轨迹对应的多张人脸图片中确定至少一张目标人脸图片。本申请能够抓取质量高且重复率低的人脸图片进行人脸识别，能够提高人脸识别的效率。

Extraction method, device and terminal equipment of face image

【技术实现步骤摘要】
目标人脸图片提取方法、装置及终端设备
本申请属于图像处理
，尤其涉及目标人脸图片提取方法、装置及终端设备。
技术介绍
巡检机器人非常重要的一个功能就是在安防领域进行人员监控，而巡检机器人活动的范围往往是诸如园区或者学校等人流量较大的区域，采用传统的人脸抓取方法需要对每一帧图像都进行人脸检测，然后将提取下来的人脸图片进行人脸识别，而人脸图片数量较多很可能会对云端的计算造成较大的压力。
技术实现思路
为克服相关技术中存在的问题，本申请实施例提供了目标人脸图片提取方法、装置及终端设备。本申请是通过如下技术方案实现的：第一方面，本申请实施例提供了一种目标人脸图片提取方法，包括：获取包含多个人脸的视频图像，所述视频图像包括多帧图像；对所述多帧图像进行人脸检测，确定各帧图像中目标人脸对应的目标区域；其中，所述目标人脸为所述多个人脸中的一个或多个人脸；基于所述目标人脸在各帧图像中的目标区域，确定所述目标人脸对应的运动轨迹；其中，各帧图像中的目标区域分别对应一张人脸图片；基于所述目标人脸在各帧图像中的姿态，在所述运动轨迹对应的多张人脸图片中确定至少一张目标人脸图片。在第一方面的一种可能的实现方式中，所述对所述多帧图像进行人脸检测，确定各帧图像中目标人脸对应的目标区域，包括：将各帧图像分别输入目标区域检测网络；其中，所述目标区域检测网络包括至少两个并行的不同卷积核的检测分支；通过各个所述检测分支分别对每帧图像进行处理，得到各帧图像中目标人脸对应的目标区域。在第一方面的一种可能的实现方式中，所述检测分支包括第一检测分支、第二检测分支和第三检测分支，所述第一检测分支包括一卷积层，所述第二检测分支包括依此连接的一卷积层和一归一化层，所述第三检测分支包括依此连接的一卷积层、一归一化层和一卷积层；所述通过各个所述检测分支分别对每帧图像进行处理，得到各帧图像中目标人脸对应的目标区域，包括：将每帧图像进行第一卷积处理，得到第一卷积处理结果；将所述第一卷积处理结果分别输入所述第一检测分支、所述第二检测分支和所述第三检测分支进行处理；对三个所述检测分支输出的处理结果进行第二卷积处理，得到第二卷积处理结果；基于所述第二卷积处理结果，确定各帧图像中目标人脸对应的目标区域。在第一方面的一种可能的实现方式中，所述基于所述目标人脸在各帧图像中的目标区域，确定所述目标人脸对应的当前运动轨迹，包括：基于各帧图像中的所述目标区域，通过目标跟踪算法确定所述目标人脸在各帧图像中的位置；根据所述目标人脸在各帧图像中的位置，确定所述目标人脸对应的当前运动轨迹。在第一方面的一种可能的实现方式中，所述基于所述目标区域，通过目标跟踪算法确定所述目标人脸在各帧图像中的位置，包括：基于各个人脸在前一帧图像中的目标区域，通过卡尔曼滤波器得到各个人脸在当前帧图像中的预测位置；根据各个人脸在当前帧图像中的目标区域、各个人脸在当前帧图像中的预测位置和各个追踪器的特征，通过匈牙利匹配算法对各个人脸对应的目标区域与追踪器进行级联匹配，获得第一匹配集合、未级联匹配上的目标区域和待匹配的追踪器；其中，每个所述目标区域对应一个追踪器；计算所述未级联匹配上的目标区域和待匹配的追踪器之间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行目标区域与追踪器之间的IOU匹配，得到第二匹配集合；根据所述第一匹配集合和所述第二匹配集合，确定各个人脸在当前帧图像中的位置，并基于此确定所述目标人脸在当前帧图像中的位置。在第一方面的一种可能的实现方式中，所述根据各个人脸在当前帧图像中的目标区域、各个人脸在当前帧图像中的预测位置和各个追踪器的特征，通过匈牙利匹配算法对各个人脸对应的目标区域与追踪器进行级联匹配，获得第一匹配集合、未级联匹配上的目标区域和待匹配的追踪器，包括：计算当前帧图像中各个所述追踪器的特征值和各个所述目标区域的特征值之间的余弦距离；计算每个人脸在当前帧图像的预测位置与该人脸在当前帧图像中的目标区域之间的马氏距离；根据所述余弦距离和所述马氏距离，通过匈牙利算法获得第一匹配集合、未级联匹配上的目标区域和待匹配的追踪器。在第一方面的一种可能的实现方式中，所述计算所述未级联匹配上的目标区域和待匹配的追踪器之间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行目标区域与追踪器之间的IOU匹配，得到第二匹配集合，包括：计算未级联匹配上的目标区域和待匹配的追踪器之间的IOU距离矩阵；基于所述IOU距离矩阵，利用匈牙利算法对所述未级联匹配上的目标区域与待匹配的追踪器进行第二次匹配，得到第二匹配集合。在第一方面的一种可能的实现方式中，所述基于所述目标人脸在各帧图像中的姿态，在所述运动轨迹对应的多张人脸图片中确定至少一张目标人脸图片，包括：在所述运动轨迹的持续时间满足预设时间条件的情况下，通过关键点检测网络，确定所述目标人脸在各帧图像中的预设个数的关键点的位置；基于所述预设个数的关键点中的多个目标关键点，确定所述目标人脸在图像中的姿态；基于所述目标人脸在各帧图像中的姿态，在所述运动轨迹对应的多张人脸图片中确定一张姿态最优的目标人脸图片。第二方面，本申请实施例提供了一种目标人脸图片提取装置，包括：图像获取模块，用于获取包含多个人脸的视频图像，所述视频图像包括多帧图像；人脸检测模块，用于对所述多帧图像进行人脸检测，确定各帧图像中目标人脸对应的目标区域；其中，所述目标人脸为所述多个人脸中的一个或多个人脸；运动轨迹确定模块，用于基于所述目标人脸在各帧图像中的目标区域，确定所述目标人脸对应的运动轨迹；其中，各帧图像中的目标区域分别对应一张人脸图片；人脸图片确定模块，用于基于所述目标人脸在各帧图像中的姿态，在所述运动轨迹对应的多张人脸图片中确定至少一张目标人脸图片。第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的目标人脸图片提取方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的目标人脸图片提取方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的目标人脸图片提取方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。本申请实施例与现有技术相比存在的有益效果是：本申请实施例，获取包含多个人脸的视频图像，对多帧图像进行人脸检测确定各帧图像中目标人脸对应的目标区域，基于目标人脸在各帧图像中的目标区域确定目标人脸对应的运动轨迹，基本文档来自技高网...

【技术保护点】
1.一种目标人脸图片提取方法，其特征在于，包括：/n获取包含多个人脸的视频图像，所述视频图像包括多帧图像；/n对所述多帧图像进行人脸检测，确定各帧图像中目标人脸对应的目标区域；其中，所述目标人脸为所述多个人脸中的一个或多个人脸；/n基于所述目标人脸在各帧图像中的目标区域，确定所述目标人脸对应的运动轨迹；其中，各帧图像中的目标区域均对应一张人脸图片；/n基于所述目标人脸在各帧图像中的姿态，在所述运动轨迹对应的多张人脸图片中确定至少一张目标人脸图片。/n

【技术特征摘要】
1.一种目标人脸图片提取方法，其特征在于，包括：
获取包含多个人脸的视频图像，所述视频图像包括多帧图像；
对所述多帧图像进行人脸检测，确定各帧图像中目标人脸对应的目标区域；其中，所述目标人脸为所述多个人脸中的一个或多个人脸；
基于所述目标人脸在各帧图像中的目标区域，确定所述目标人脸对应的运动轨迹；其中，各帧图像中的目标区域均对应一张人脸图片；
基于所述目标人脸在各帧图像中的姿态，在所述运动轨迹对应的多张人脸图片中确定至少一张目标人脸图片。


2.如权利要求1所述的目标人脸图片提取方法，其特征在于，所述对所述多帧图像进行人脸检测，确定各帧图像中目标人脸对应的目标区域，包括：
将各帧图像分别输入目标区域检测网络；其中，所述目标区域检测网络包括至少两个并行的不同卷积核的检测分支；
通过各个所述检测分支分别对每帧图像进行处理，得到各帧图像中目标人脸对应的目标区域。


3.如权利要求2所述的目标人脸图片提取方法，其特征在于，所述检测分支包括第一检测分支、第二检测分支和第三检测分支，所述第一检测分支包括一卷积层，所述第二检测分支包括依此连接的一卷积层和一归一化层，所述第三检测分支包括依此连接的一卷积层、一归一化层和一卷积层；
所述通过各个所述检测分支分别对每帧图像进行处理，得到各帧图像中目标人脸对应的目标区域，包括：
将每帧图像进行第一卷积处理，得到第一卷积处理结果；
将所述第一卷积处理结果分别输入所述第一检测分支、所述第二检测分支和所述第三检测分支进行处理；
对三个所述检测分支输出的处理结果进行第二卷积处理，得到第二卷积处理结果；
基于所述第二卷积处理结果，确定各帧图像中目标人脸对应的目标区域。


4.如权利要求1所述的目标人脸图片提取方法，其特征在于，所述基于所述目标人脸在各帧图像中的目标区域，确定所述目标人脸对应的当前运动轨迹，包括：
基于各帧图像中的所述目标区域，通过目标跟踪算法确定所述目标人脸在各帧图像中的位置；
根据所述目标人脸在各帧图像中的位置，确定所述目标人脸对应的当前运动轨迹。


5.如权利要求4所述的目标人脸图片提取方法，其特征在于，所述基于所述目标区域，通过目标跟踪算法确定所述目标人脸在各帧图像中的位置，包括：
基于各个人脸在前一帧图像中的目标区域，通过卡尔曼滤波器得到各个人脸在当前帧图像中的预测位置；
根据各个人脸在当前帧图像中的目标区域、各个人脸在当前帧图像中的预测位置和各个追踪器的特征，通过匈牙利匹配算法对各个人脸对应的目标区域与追踪器进行级联匹配，获得第一匹配集合、未级联匹配上的目标区域和待匹配的追踪器；
计算所述未级联匹配上的目标区域和待匹配的追踪器之间的IOU距离矩阵，并基于所述IOU距离矩阵，利用匈牙利算法进行目标区域与追踪器之间的IOU匹配，得到第二匹配集合；
根据所述第一匹配集合和所述第二匹配集合，确定各个人脸在当前...

【专利技术属性】
技术研发人员：刘业鹏，程骏，庞建新，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44