数据同步方法、装置及系统制造方法及图纸

本发明专利技术实施例提出数据同步方法、装置及系统。方法包括：接收携带过滤条件的数据同步请求，根据数据同步请求携带的过滤条件，遍历所有人脸库，得到与该过滤条件匹配的人脸名单信息，所述过滤条件为人脸属性信息，所述人脸名单信息包括人脸特征模型和人脸属性信息；将匹配的人脸名单信息同步到调度服务系统的多个分区中，以使得：多个引擎从分配给本引擎的分区中实时读取人脸名单信息到本地存储空间中，且当接收到人脸抓拍图片时，将该人脸抓拍图片的特征数据与本地存储空间中的各人脸名单信息中的人脸特征模型进行实时比对，其中，调度服务系统的多个分区被分配给多个引擎。本发明专利技术实施例提高了人脸比对效率。实施例提高了人脸比对效率。实施例提高了人脸比对效率。

【技术实现步骤摘要】
数据同步方法、装置及系统


[0001]本专利技术涉及人脸检测及识别
，尤其涉及数据同步方法、装置及系统。

技术介绍

[0002]人脸名单报警是基于人脸抓拍图片与引擎如：GPU(Graphics Processing Unit，图形处理器)中的人员名单信息进行实时比对所得，在实时比对前，需要将关系型数据库(PG)/非关系型数据库(mongodb)中的人员名单信息同步到引擎中。
[0003]引擎中的人员名单信息随数据库中的人员名单信息变化而变化，即对数据库新增人员名单信息，或者修改/删除已存在人员名单信息时，需通知引擎进行数据拉取操作，引擎通过相应的Rest接口获取数据库中新增的人员名单信息或修改/删除操作，并对其中的人员名单信息进行同步操作，引擎需保证操作执行的顺序性。
[0004]这种方式存在三个方面的缺点：
[0005]一、默认整个数据库中的人员名单信息都同步到引擎中，无法按照人员的属性(省份、城市、性别、年龄、民族等)进行过滤，从而导致多余的人员名单信息同步到引擎，进行一些无效的比对。
[0006]二、采用Rest接口进行同步，同步的数据量、性能有限，无法满足海量数据的同步；引擎使用Rest接口从数据库中分批拉取数据，无法保证各批数据之间的有序性，即有可能先拉取的一批数据，最后才到达引擎，需引擎内部进行有序性保证。
[0007]三、当数据库中人员名单信息变化(如：新增、修改、删除)时，先通知引擎进行相应的更新，然后引擎通过相应的接口获取更新操作，存在一定的延时性，不能有效地进行实时比对，影响了用户的体验。

技术实现思路

[0008]本专利技术实施例提出数据同步方法、装置及系统，以提高人脸比对效率。
[0009]本专利技术实施例的技术方案是这样实现的：
[0010]一种数据同步方法，该方法包括：
[0011]接收携带过滤条件的数据同步请求，根据数据同步请求携带的过滤条件，遍历所有人脸库，得到与该过滤条件匹配的人脸名单信息，所述过滤条件为人脸属性信息，所述人脸名单信息包括人脸特征模型和人脸属性信息；
[0012]将匹配的人脸名单信息同步到调度服务系统的多个分区中，以使得：多个引擎从分配给本引擎的分区中实时读取人脸名单信息到本地存储空间中，且当接收到人脸抓拍图片时，将该人脸抓拍图片的特征数据与本地存储空间中的各人脸名单信息中的人脸特征模型进行实时比对，其中，调度服务系统的多个分区被分配给多个引擎。
[0013]所述人脸名单信息具有编码；
[0014]所述将匹配的人脸名单信息同步到调度服务系统的多个分区中包括：
[0015]将匹配的人脸名单信息及其编码同步到调度服务系统的多个分区中。
[0016]所述将匹配的人脸名单信息同步到调度服务系统的多个分区中之后进一步包括：
[0017]接收携带人脸身份标识和人脸名单信息修改内容的修改请求，根据人脸身份标识在人脸库中查找到对应的人脸名单信息，根据所述修改内容对查找到的人脸名单信息进行修改；
[0018]根据查找到的人脸名单信息的编码，在调度服务系统中查找到存放该编码对应的人脸名单信息的分区，在该分区中增加修改记录，该修改记录包括该人脸名单信息的人脸身份标识和所述修改内容，以使得：该分区对应的引擎根据所述人脸身份标识在本地存储空间中查找到对应的人脸名单信息，根据所述修改内容修改查找到的人脸名单信息，所述人脸名单信息的人脸属性信息中包含人脸身份标识。
[0019]所述将匹配的人脸名单信息同步到调度服务系统的多个分区中之后进一步包括：
[0020]接收携带人脸身份标识的删除请求，根据人脸身份标识在人脸库中查找到对应的人脸名单信息，删除查找到的人脸名单信息；
[0021]根据查找到的人脸名单信息的编码，在调度服务系统中查找到存放该编码对应的人脸名单信息的分区，在该分区中增加删除记录，该删除记录包括该人脸名单信息的人脸身份标识，以使得：该分区对应的引擎根据所述人脸身份标识在本地存储空间中查找到对应的人脸名单信息，删除查找到的人脸名单信息，所述人脸名单信息的人脸属性信息中包含人脸身份标识。
[0022]所述接收携带过滤条件的数据同步请求之后、遍历所有人脸库之前进一步包括：为每个人脸库生成唯一的版本标识；
[0023]所述将匹配的人脸名单信息同步到调度服务系统的多个分区中包括：
[0024]将匹配的人脸名单信息和该人脸名单信息所属的人脸库的标识和版本标识同步到调度服务系统的多个分区中；
[0025]所述将匹配的人脸名单信息同步到调度服务系统的多个分区中之后进一步包括：
[0026]接收携带人脸库标识和版本标识的人脸库删除请求，在调度服务系统的所有分区中增加删除记录，该删除记录包括人脸库标识和版本标识，以使得：每个引擎根据该人脸库标识和版本标识在本地存储空间中查找到对应的人脸名单信息，删除查找到的人脸名单信息。
[0027]所述版本标识为版本号，
[0028]所述每个引擎根据该人脸库标识和版本标识在本地存储空间中查找到对应的人脸名单信息，删除查找到的人脸名单信息包括：
[0029]每个引擎根据该删除记录中的人脸库标识，在本地存储空间中查找到对应的人脸名单信息，判断查找到的人脸名单信息的人脸库版本号是否不高于该删除记录中的版本号，若是，则将查找到的人脸名单信息删除。
[0030]所述调度服务系统为kafka系统。
[0031]一种数据同步装置，该装置包括：
[0032]匹配模块，用于接收携带过滤条件的数据同步请求，根据数据同步请求携带的过滤条件，遍历所有人脸库，得到与该过滤条件匹配的人脸名单信息，所述过滤条件为人脸属性信息，所述人脸名单信息包括人脸特征模型和人脸属性信息；
[0033]同步模块，用于将匹配的人脸名单信息同步到调度服务系统的多个分区中，以使
得：多个引擎从分配给本引擎的分区中实时读取人脸名单信息到本地存储空间中，且当接收到人脸抓拍图片时，将该人脸抓拍图片的特征数据与本地存储空间中的各人脸名单信息中的人脸特征模型进行实时比对，其中，调度服务系统的多个分区被分配给多个引擎。
[0034]一种数据同步系统，包括：服务器和至少一个引擎，其中：
[0035]服务器，用于接收携带过滤条件的数据同步请求，根据数据同步请求携带的过滤条件，遍历所有人脸库，得到与该过滤条件匹配的人脸名单信息，将匹配的人脸名单信息同步到调度服务系统的多个分区中，其中，所述过滤条件为人脸属性信息，所述人脸名单信息包括人脸特征模型和人脸属性信息；
[0036]引擎，用于从分配给本引擎的分区中实时读取人脸名单信息到本地存储空间中，且当接收到人脸抓拍图片时，将该人脸抓拍图片的特征数据与本地存储空间中的各人脸名单信息中的人脸特征模型进行实时比对，其中，调度服务系统的多个分区被分配给多个引擎。
[0037]本专利技术实施例根据过滤条件进行人脸库数据同步，从而将人脸比对时完全不需要的人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，该方法包括：接收携带过滤条件的数据同步请求，根据数据同步请求携带的过滤条件，遍历所有人脸库，得到与该过滤条件匹配的人脸名单信息，所述过滤条件为人脸属性信息，所述人脸名单信息包括人脸特征模型和人脸属性信息；将匹配的人脸名单信息同步到调度服务系统的多个分区中，以使得：多个引擎从分配给本引擎的分区中实时读取人脸名单信息到本地存储空间中，且当接收到人脸抓拍图片时，将该人脸抓拍图片的特征数据与本地存储空间中的各人脸名单信息中的人脸特征模型进行实时比对，其中，调度服务系统的多个分区被分配给多个引擎。2.根据权利要求1所述的方法，其特征在于，所述人脸名单信息具有编码；所述将匹配的人脸名单信息同步到调度服务系统的多个分区中包括：将匹配的人脸名单信息及其编码同步到调度服务系统的多个分区中。3.根据权利要求2所述的方法，其特征在于，所述将匹配的人脸名单信息同步到调度服务系统的多个分区中之后进一步包括：接收携带人脸身份标识和人脸名单信息修改内容的修改请求，根据人脸身份标识在人脸库中查找到对应的人脸名单信息，根据所述修改内容对查找到的人脸名单信息进行修改；根据查找到的人脸名单信息的编码，在调度服务系统中查找到存放该编码对应的人脸名单信息的分区，在该分区中增加修改记录，该修改记录包括该人脸名单信息的人脸身份标识和所述修改内容，以使得：该分区对应的引擎根据所述人脸身份标识在本地存储空间中查找到对应的人脸名单信息，根据所述修改内容修改查找到的人脸名单信息，所述人脸名单信息的人脸属性信息中包含人脸身份标识。4.根据权利要求2所述的方法，其特征在于，所述将匹配的人脸名单信息同步到调度服务系统的多个分区中之后进一步包括：接收携带人脸身份标识的删除请求，根据人脸身份标识在人脸库中查找到对应的人脸名单信息，删除查找到的人脸名单信息；根据查找到的人脸名单信息的编码，在调度服务系统中查找到存放该编码对应的人脸名单信息的分区，在该分区中增加删除记录，该删除记录包括该人脸名单信息的人脸身份标识，以使得：该分区对应的引擎根据所述人脸身份标识在本地存储空间中查找到对应的人脸名单信息，删除查找到的人脸名单信息，所述人脸名单信息的人脸属性信息中包含人脸身份标识。5.根据权利要求1所述的方法，其特征在于，所述接收携带过滤条件的数据同步请求之后、遍历所有人脸库之前进一步包括：为每个人脸库生成唯一的版本标识；所述将匹配...

【专利技术属性】
技术研发人员：陈士辉，金月姣，陈益新，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：