一种基于Map‑Reduce的海量人脸特征比对方法及系统技术方案

本发明专利技术提供一种基于Map‑Reduce的海量人脸特征比对方法及方法，其中方法包括：基于Map‑Reduce模型，设置至少一个二级Map节点，为每个二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的存储空间；利用每个二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；利用二级Reduce节点将比对结果进行汇总。本发明专利技术提供的一种基于Map‑Reduce的海量人脸特征比对方法及系统，一定程度上降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。

A massive facial feature alignment method and system based on Reduce Map

The invention provides a massive facial feature alignment method and method of Map based on Reduce, the method comprises the following steps: Map based on Reduce model, is provided with at least a two Map node, a corresponding storage space allocation for each of the two Map node, will face target personnel feature information in the average distribution of storage to storage the use of different space; each of the two Map node will be face feature information of the target personnel face feature information corresponding to the storage space in the recognition of the comparison, and the results were sent to the two level Reduce node; using two level Reduce node will summarize the results comparison. The invention provides a massive facial feature comparison method and system based on Reduce Map, to a certain extent reduces the load of each Map node, and effectively improves the processing speed of each Map node, which is beneficial to improve the practicability and effectiveness of the whole face detection platform, to meet the various needs of business security.

【技术实现步骤摘要】
一种基于Map-Reduce的海量人脸特征比对方法及系统
本专利技术涉及计算机
，更具体地，涉及一种基于Map-Reduce的海量人脸特征比对方法及系统。
技术介绍
随着智慧城市和天眼工程的建设，居民小区、火车站、政府机关单位、机场等都安装了视频监控系统，基本上做到了视频的全覆盖，极大地提升了这些区域的安保级别。然而，随着视频接入数量的规模增加，平台和安保人员承受的压力也成倍增加，根据不同的业务逻辑需求，需要实时判断出现在监控视频中的每一个人脸是否为目标人员，即进行人脸特征比对。例如，需要实时判断出现在监控视频中的每一个人脸是否属于“白名单”或“黑名单””中的目标人员。现有技术中虽提供了针对海量人脸特征比对的解决方案，但对于海量目标数据的情况，例如，“白名单”或“黑名单””中的目标人员数据量非常庞大的情况下，现有的解决方案效率大打折扣，处理速度遇到瓶颈，无法满足各类安保业务需求。
技术实现思路
本专利技术为了克服现有技术中在存在海量目标数据的情况下，人脸特征比对的处理效率低，难以满足各类安保业务需求的问题，提供一种基于Map-Reduce的海量人脸特征比对方法及系统。一方面，本专利技术提供一种基于Map-Reduce的海量人脸特征比对方法，包括：S1，基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；S2，利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；S3，利用所述二级Reduce节点将所述比对结果进行汇总。优选地，所述步骤S2之前还包括：每个所述二级Map节点初始化加载对应存储空间中目标人员的人脸特征信息。优选地，所述步骤S2之前还包括：获取所述待识别的人脸特征信息，将所述待识别的人脸特征信息发送至每个所述二级Map节点。优选地，所述获取待识别的人脸特征信息进一步包括：将摄像头采集的各帧图像平均分发给至少一个一级Map节点；每个所述一级Map节点分别提取出接收到的各帧图像中的人脸特征信息，并将各自提取出的人脸特征信息分别发送给一级Reduce节点；一级Reduce节点汇总所有所述一级Map节点发送的人脸特征信息，获得所述待识别的人脸特征信息。优选地，所述步骤S1还包括：获取所述目标人员的身份信息，并将所述目标人员的身份信息与所述目标人员的人脸特征信息对应存储至不同的所述存储空间。优选地，根据目标人员的数量设置所述二级Map节点的个数。优选地，根据所述摄像头所处位置的人流量预先设定所述一级Map节点的个数。一方面，本专利技术提供一种基于Map-Reduce的海量人脸特征比对系统，包括分配模块、比对模块和汇总模块，其中：所述分配模块，用于基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；所述比对模块，用于利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；所述汇总模块，用于利用所述二级Reduce节点将所述比对结果进行汇总。一方面，本专利技术提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行所述基于Map-Reduce的海量人脸特征比对方法。一方面，本专利技术提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述基于Map-Reduce的海量人脸特征比对方法。本专利技术提供的一种基于Map-Reduce的海量人脸特征比对方法及系统，针对海量目标人员的情况，基于Map-Reduce模型，通过将目标人员的人脸特征信息平均分配存储至各Map节点对应的存储空间，并使得各Map节点分别加载和比对对应存储空间的目标人员的人脸特征信息，一定程度上减少了各Map节点加载和比对的信息量，降低了各Map节点的负载，并有效提升了各Map节点的处理速度；同时，基于Map-Reduce模型，预先将摄像头采集的各帧图像中的人脸特征信息进行比对，将相同的人脸特征信息进行汇总，从而确定出待识别的人脸特征信息，一定程度上减少了待识别的人脸特征信息的数量，有效避免了各Map节点重复加载和比对相同的人脸特征信息，进一步降低了各Map节点的负载，并有效提升了各Map节点的处理速度，从而有利于提升整体人脸检测平台的实用性和有效性，能够满足各类安保业务的需求。附图说明图1为本专利技术实施例的一种基于Map-Reduce的海量人脸特征比对方法的整体流程示意图；图2为本专利技术实施例的一种基于Map-Reduce的海量人脸特征比对系统的整体结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。图1为本专利技术实施例的一种基于Map-Reduce的海量人脸特征比对方法的整体流程示意图，如图1所示，本专利技术提供一种基于Map-Reduce的海量人脸特征比对方法，包括：S1，基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；S2，利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；S3，利用所述二级Reduce节点将所述比对结果进行汇总。具体地，本实施例提供的海量人脸特征比对方法是基于Map-Reduce模型进行设计的。Map-Reduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。上述Map-Reduce模型提供了并行计算的思想，其主要方式是将计算任务分配给多个Map节点进行并行计算，再由Reduce节点收集计算结果。本实施例中，将Map-Reduce模型应用于海量人脸特征比对，在人脸特征比对的任务中，需要将待识别人员的人脸特征信息和目标人员的人脸特征信息进行比对。当目标人员的数量相较于待识别人员的数量更为庞大时，基于Map-Reduce模型，仅仅将待识别人员的人脸特征信息分配给不同的Map节点进行并行处理是远远不够的，由于目标人员的数量较多，每个Map节点均需要将分配的待识别人员与所有目标人员进行比对，整体处理效率并不能得到有效地提高。有鉴于此，本实施例中，基于Map-Reduce模型，设置至少一个二级Map节点，其中，二级Map本文档来自技高网...

【技术保护点】
一种基于Map‑Reduce的海量人脸特征比对方法，其特征在于，包括：S1，基于Map‑Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；S2，利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；S3，利用所述二级Reduce节点将所述比对结果进行汇总。

【技术特征摘要】
1.一种基于Map-Reduce的海量人脸特征比对方法，其特征在于，包括：S1，基于Map-Reduce模型，设置至少一个二级Map节点，为每个所述二级Map节点分配一个对应的存储空间，将目标人员的人脸特征信息平均分配存储至不同的所述存储空间；S2，利用每个所述二级Map节点，将待识别的人脸特征信息与对应存储空间中目标人员的人脸特征信息进行比对，并将比对结果分别发送给二级Reduce节点；S3，利用所述二级Reduce节点将所述比对结果进行汇总。2.根据权利要求1所述的方法，其特征在于，所述步骤S2之前还包括：每个所述二级Map节点初始化加载对应存储空间中目标人员的人脸特征信息。3.根据权利要求1所述的方法，其特征在于，所述步骤S2之前还包括：获取所述待识别的人脸特征信息，将所述待识别的人脸特征信息发送至每个所述二级Map节点。4.根据权利要求3所述的方法，其特征在于，所述获取待识别的人脸特征信息进一步包括：将摄像头采集的各帧图像平均分发给至少一个一级Map节点；每个所述一级Map节点分别提取出接收到的各帧图像中的人脸特征信息，并将各自提取出的人脸特征信息分别发送给一级Reduce节点；一级Reduce节点汇总所有所述一级Map节点发送的人脸特征信息，获得所述待识别的人脸特征信息。5.根据权利要求1所述的方法，其特征在于，所述步骤S1还包括：获取所述目标人员...

【专利技术属性】
技术研发人员：陈晓雨，买清清，
申请(专利权)人：汉柏科技有限公司，
类型：发明
国别省市：天津,12