数据导入方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据导入方法，基于第三方前台，建立与服务端和资源端的连接；接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；根据预设的数据导入规则将所述分解数据录入待导入池；通过所述待导入池将所述分解数据导入到所述服务端。本发明专利技术可以通过第三方前台建立与服务端和资源端的连接，使得数据导入不依赖于服务端的前端来进行，在接收到原始数据后，对原始数据进行分解，根据不同的分解维度可以得到对应的分解数据，从而可以对分解数据在导入过程中进行追踪，从而获取到分解数据的导入情况，在导入失败的情况下，将对应的分解数据进行重新导入即可。数据进行重新导入即可。数据进行重新导入即可。

【技术实现步骤摘要】
数据导入方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据管理领域，尤其涉及一种数据导入方法、装置、电子设备及存储介质。

技术介绍

[0002]随着图像处理技术的发展，需要大量的图像数据来支持各种图像处理的场景，图像数据是通过摄像设备对不同场景进行抓拍得到，比如通过摄像头对人脸、车辆进行抓拍得到对应的图像数据。图像数据一般被存储在摄像头所有者的数据库中，并用于各种基于图像的服务，比如身份识别的落地需要用到身份数据和对应的落地服务，落地服务可以通过服务商的服务端来提供，但在这个过程中，需要将身份数据导入到服务端中来进行。而现有的服务端对于数据的导入支持较为单一，需要在服务端的前端进行导入，利用网关进行导入，导入过程不透明，而身份数据用于身份落地，需要解构成多种类型的静态数据，比如图片、文本和数字等类型，每次导入失败不知道具体的导入情况，只能将全部的身份数据重新进行导入，当导入的数据量过大时，导入失败后由于不知道是哪部分数据出现问题，需要通过服务端的前端重新导入的时间代价大，使得导入效率低。

技术实现思路
r/>[0003]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据导入方法，其特征在于，包括以下步骤：基于第三方前台，建立与服务端和资源端的连接，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务；接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；根据预设的数据导入规则将所述分解数据录入待导入池；通过所述待导入池将所述分解数据导入到所述服务端。2.如权利要求1所述的方法，其特征在于，所述分解维度包括归类维度以及粒度维度，所述按预设的分解维度对所述原始数据进行分解，得到分解数据，包括：根据所述归类维度对所述原始数据进行第一分解，得到归类数据；根据所述粒度维度对所述归类数据进行第二分解，得到分解数据；对所述第一分解与所述第二分解进行记录，得到所述分解数据的分解记录。3.如权利要求2所述的方法，其特征在于，所述方法还包括：将所述分解记录按所述预设的数据导入规则进行处理，得到分解记录表；根据所述分解记录表，对所述分解数据的导入状态进行判断，得到导入结果表，所述导入结果表包括所述分解数据的导入成功信息和导入失败信息；根据所述导入失败信息进行断点续导。4.如权利要求3所述的方法，其特征在于，所述数据导入规则包括导入优先级，所述将所述分解记录按所述预设的数据导入规则进行处理，得到分解记录表，还包括：根据所述分解数据的归类维度，确定所述分解数据的第一优先级；根据所述分解数据的粒度维度，确定所述分解数据的第二优先级；根据所述分解数据的第一优先级与所述分解数据的第二优先级，将所述分解记录进行排序处理，得到所述分解记录表。5.如权利要求4所述的方法，其特征在于，所述根据所述导入失败信息进行断点续导，包括：根据所述导入失败信息以及所述分解记录表，确定需要进行断点续导的待续导数据；根据预先设定的续导策略，确定所述待续导数据的导入优先级；根据所述待续导数据的导入优先级，开辟对应的续导池对所述待续导数据进行导入。6.如权利要求5所述的方法，其特征在于，所述导入失败信息包括基于归类维度的第一导入失败原因以及基于粒度维度的第二导入失败原因，所述根据预先设定的续导策略，确定所述待续导数据的导入优先级，包括：根...

【专利技术属性】
技术研发人员：蒲江，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：