【技术实现步骤摘要】
数据归档的方法、装置、电子设备及存储介质
[0001]本申请涉及图像归档
，尤其涉及一种数据归档的方法、装置、电子设备及存储介质。
技术介绍
[0002]随着社会公共安全意识的提升，多数地方都设置有监控系统或抓拍系统，且系统均有相对应的档案库，用于存储系统对抓拍的人脸图像进行归档后的人脸档案。所谓归档是指将海量抓拍的人脸图像归到档案库中已存在的多个人脸档案中，随着监控系统或抓拍系统覆盖范围、接入量的增加，每天需要归档的人脸图像也呈爆炸式增长，庞大的数据量容易导致归档速度慢。
技术实现思路
[0003]针对上述问题，本申请提供了一种有利于提高人像归档速度的数据归档的方法、装置、电子设备及存储介质。
[0004]为实现上述目的，本申请实施例第一方面提供了一种数据归档的方法，该方法包括：
[0005]通过分布式计算引擎调用预设特征工程以读取抓拍的待归档数据和档案库中的档案数据；
[0006]根据所述待归档数据和所述档案数据的数据量确定出所述待归档数据和所述档案数据中的一者进行分区；
【技术保护点】
【技术特征摘要】
1.一种数据归档的方法，其特征在于，所述方法包括：通过分布式计算引擎调用预设特征工程以读取抓拍的待归档数据和档案库中的档案数据；根据所述待归档数据和所述档案数据的数据量确定出所述待归档数据和所述档案数据中的一者进行分区；动态获取目标IP地址，并根据所述目标IP地址获取目标GPU卡信息；将所述目标GPU卡信息发送给异构平台，通过所述异构平台调用所述目标GPU卡在目标分区中对所述待归档数据进行归档。2.根据权利要求1所述的方法，其特征在于，所述根据所述待归档数据和所述档案数据的数据量确定出所述待归档数据和所述档案数据中的一者进行分区，包括：若所述待归档数据的数据量大于所述档案数据的数据量，则采用K均值聚类算法将所述待归档数据聚类成n个簇，并调用分布式计算引擎的第一预设算子对该n个簇进行分区；若所述档案数据的数据量大于所述待归档数据的数据量，则采用K均值聚类算法将所述档案数据聚类成n个簇，并调用分布式计算引擎的第一预设算子对该n个簇进行分区。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：在对所述待归档数据进行分区的情况下，对所述档案数据进行广播；在对所述档案数据进行分区的情况下，对所述待归档数据进行广播。4.根据权利要求3所述的方法，其特征在于，所述通过所述异构平台调用所述目标GPU卡在目标分区中对所述待归档数据进行归档，包括：在对所述待归档数据进行分区的情况下，从广播变量中获取所述档案数据；通过所述异构平台调用所述目标GPU卡，在目标分区中将所述待归档数据与广播变量中获取的所述档案数据进行匹配以归档；在对所述档案数据进行分区的情况下，从广播变量中获取所述待归档数据；通过所述异构平台调用所述目标GPU卡，在目标分区中将广播变量中获取的所述待归档数据与所述档案数据进行匹配以归档。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标IP地址获取目标GPU卡信息，包括：从广播变量中获取分布式计算引擎元组元素，所述元组元素包括配置文件中所有IP地址和GPU卡信息的关联关系；通过所述目标IP地址、所有IP地址和GPU卡...
【专利技术属性】
技术研发人员：陈孟科，谢友平，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。