人口信息人像比对系统关键性能指标评测方法技术方案

本发明专利技术公开一种人口信息人像比对系统关键性能指标评测方法，定义抽取人像比对数据的参数；根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库；根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；对建模后的不同单位的人像比对算法及引擎分别进行人像比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。

Evaluation method of key performance index for portrait matching system of population information

Key performance indexes of the invention discloses a population information portrait comparison system evaluation method, parameter definition extraction portrait comparison data; according to the definition of the population parameters to extract the data from the library in the first number of ministerial level population composition detection library; component test library population data extraction second number from the ministerial level population Library according to the definition of the parameter, and delete detection of Library in presence of photos from the test library, the library in the photo detection and non portrait partition in test base; portrait matching algorithm and engine of different units to evaluate respectively the test and modeling, modeling index and save the start time, end time modeling modeling and modeling stage value portrait; matching algorithm and engine of different units after modeling respectively portrait comparison, and record the start time, end time comparison And compare the index value produced by the comparison stage, compare and compare the image matching algorithm of different units and the results of engine evaluation, and generate the evaluation report.

【技术实现步骤摘要】
人口信息人像比对系统关键性能指标评测方法
本专利技术涉及人口管理领域，具体而言，涉及一种人口信息人像比对系统关键性能指标评测方法。
技术介绍
为解决虚假身份、多重户口、一人多证、漂白身份等历史遗留问题，公安部部级人口信息人像比对系统将建立超12亿人口规模的人像比对引擎，为公正客观地评价人像比对算法及引擎的可行性和关键技术性能指标，必须建立一套标准的、完整的评测指标体系和相应的评测系统，现行的人像比对评测方法不能满足大规模查重比对优化的业务需求。通过公安部部级人口信息管理系统高效提取评测数据，建立面向大规模查重比对优化的人像比对技术评测指标体系及评测系统，并利用其对比对算法及引擎进行评测，为各比对算法及引擎在实际业务中的应用提供指标依据，为公安部部级人口信息人像比对系统项目的算法选型提供检测平台，为地方人像比对系统的算法选型、升级改造提供技术标准。
技术实现思路
本专利技术提供一种人口信息人像比对系统关键性能指标评测方法，用以克服现有技术中存在的至少一个问题。为达到上述目的，本专利技术提供了一种人口信息人像比对系统关键性能指标评测方法，包括以下步骤：定义抽取人像比对数据的参数；根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。进一步地，每条人口数据包含两张人像照片的间隔设定时间为5年以上。进一步地，所述第一数量为20万，所述第二数量为1亿。进一步地，如果在建模过程中出现异常，则记录异常问题及异常时间，并进行建模重置。进一步地，如果在比对过程中出现异常，则记录异常问题及异常时间，并进行比对重置或建模重置。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一个实施例的人口信息人像比对系统关键性能指标评测方法中的数据抽取流程图；图2为本专利技术一个实施例的人口信息人像比对系统关键性能指标评测方法中的算法评测流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一个实施例的人口信息人像比对系统关键性能指标评测方法中的数据抽取流程图；图2为本专利技术一个实施例的人口信息人像比对系统关键性能指标评测方法中的算法评测流程图。以下结合附图对本专利技术进行详细说明。人口信息人像比对系统关键性能指标评测方法集JavaEE技术之所长，采用B/S构架的软件体系架构。系统以人像识别系列标准为参照，以人像比对算法及引擎关键技术性能指标建设为核心，评测指标、指标权重、指标计算及评分公式经过实际测试、结合标准、经过专家评审讨论给出。充分考虑系统安全性、可靠性，构建高效、灵活、易扩展的人像比对评测平台，实现了评测数据抽取、评测指标方案自定义、建模及比对阶段指标计算、建模及比对阶段指标系统评分、评测结果分析等核心功能。本方法主要分为数据抽取、评测指标定义、人像比对算法及引擎评测、结果计算处理，包括数据库接口授权、人像建模、模板比对、数据处理四部分，数据库接口授权为控制受测单位在评测过程中对数据库的访问权限，通过人为或接口获得数据库连接，以记录受测单位准确的建模开始及结束时间、比对开始及结束时间，建模时间与比对时间是衡量人像比对算法及引擎主要性能的关键指标。人像建模包括人像照片及非人像照片建模，为了衡量人像比对算法及引擎真实的照片建模成功率。模板比对包括模板读取加载内存及完成模板比对时间，主要验证人像比对算法及引擎在大规模数据下的比对策略及比对准确率。数据处理在模板数据、比对结果数据下计算各项指标值、对应的指标评分，为人像比对算法及引擎的指标优劣提供分析、选型依据。评测数据符合实际业务场景，能够真实反应评测指标的关键技术性能，评测数据抽取通过公安部部级人口信息管理系统获取，受测的人像比对算法及引擎主要应用于公安部部级人口信息管理系统的户籍查重清理业务，评测数据按照性别、年龄、民族等条件参数抽取，具有代表性，能够为人像比对算法及引擎的选型提供有力依据。人像算法及引擎的评测在统一的评测环境上、同样的评测数据进行，保证了受测单位的公平公正，评测流程以评测登记开始，创建评测数据库用户，人像建模、人像比对、结果存储到环境重置为循环，在规定的评测周期内完成评测，逾期自动结束评测。大规模评测数据：通过公安部部级人口信息管理系统12亿人口规模的数据中抽取1亿测试库数据、20万探测库数据，组成评测比对数据，将完成20万对1亿的交叉比对，总计20万亿的比对次数。评测数据将按年龄、性别、民族等条件通过比例参数抽取并平均分配到测试数据库服务器上，探测库数据要求照片时间间隔5年以上，抽取的数据经过人像比对多次筛选按照相似度区间进行分类，满足数据规模的同时符合数据质量要求，以验证人像比对算法的性能、准确性等关键技术指标。数据抽取流程：评测数据分六步进行数据抽取，第一步数据统计，统计公安部部级人口信息管理系统各个条件比例下的实际值，根据实际值调整条件参数比例；第二步抽取测试库数据，按照条件参数比例进行抽取；第三步抽取探测库数据，按照条件参数比例进行抽取；第四步处理探测库数据，经过多次人像比对算法进行比对，去除重复及不合规数据；第五步清理测试库数据，插入探测库数据，根据公民身份号码+姓名关联清除相同数据。第六步数据统计，统计抽取后的测试库及探测库条件参数下的实际值。算法评测流程：评测中心可分六步进行算法评测，第一步初始化评测环境及评测数据，提供统一的评测设备及规定的评测周期；第二步评测受理，登记受测单位信息及评测算法信息；第三步受测单位准备评测软件环境部署调试，创建数据库环境；第四步受测单位开始评测，由评测单位记录评测开始时间、建模开始结束时间、比对开始结束时间，受测单位按照标准调用接口、存储数据；第五步评测中心另存备份受测单位数据记录，重置评测环境，进入下一步，评测串行进行；第六步评测中心待所有算法评测完成后，统计计算评测结果，并对结果进行分析评分，出评测报告。本专利技术一个实施例的人口信息人像比对系统关键性能指标评测方法包括以下步骤：定义抽取人像比对数据的参数；根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；根据定义的参数从部级本文档来自技高网...

【技术保护点】
人口信息人像比对系统关键性能指标评测方法，其特征在于，包括以下步骤：定义抽取人像比对数据的参数；根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；对不同单位的人像比对算法及引擎的评测结果进行统计和评分，并生成评测报告。

【技术特征摘要】
1.人口信息人像比对系统关键性能指标评测方法，其特征在于，包括以下步骤：定义抽取人像比对数据的参数；根据定义的参数从部级人口库中抽取第一数量的人口数据组成探测库，其中所抽取的每条人口数据包含间隔设定时间的两张人像照片；根据定义的参数从部级人口库中抽取第二数量的人口数据组成测试库，并从测试库中删除存在的探测库中的照片，将探测库中的照片及非人像照片分区存入测试库；对所要评测的不同单位的人像比对算法及引擎分别进行调试和建模，并保存建模开始时间、建模结束时间及建模阶段产生的建模指标值；对建模后的不同单位的人像比对算法及引擎分别进行模板比对，并记录比对开始时间、比对结束时间及比对阶段产生的比对指标值；对不同单位的人...

【专利技术属性】
技术研发人员：唐玉建，汤滔，郝瑞朝，陈洁，张照星，魏静，李银波，邹继文，陶勇，范英，孟祥翠，乔晓光，杨川川，井伟峰，
申请(专利权)人：公安部户政管理研究中心，航天信息股份有限公司，
类型：发明
国别省市：北京,11