数据导入方法及装置、设备、计算机可读存储介质制造方法及图纸

本申请的实施例揭示了一种数据导入方法及装置、设备、计算机可读存储介质。该方法包括：根据数据文件中的数据记录生成有向图；其中，有向图包括多个数据节点，各个数据节点包含有数据；从多个数据节点中确定第一目标数据节点；其中，第一目标数据节点为入度为1或0且合规的数据节点；将第一目标数据节点导入数据库；若第一目标数据节点导入数据库失败，则将第一目标数据节点的子图录入异常数据清单。本申请方法规避了数据导入时序对人工要求的强依赖，减少重复劳动和数据异常排查耗时，提高一次入库成功率，从而提升数据导入效率。从而提升数据导入效率。从而提升数据导入效率。

【技术实现步骤摘要】
数据导入方法及装置、设备、计算机可读存储介质


[0001]本申请涉及互联网
，具体涉及一种数据导入方法及装置、设备、计算机可读存储介质。

技术介绍

[0002]工作中经常用到批量数据导入导出，如网络能力OpenAPI(Application Programming Interface，应用编程接口)数据、设备批量入网的场景化数据、业务加载的产品设计数据等。批量制作数据工作繁琐，数据质量保障难度大，人工制作数据过程中除了要保证数据的合规还要严格保证数据顺序以保障入库时序正确，对人工制作要求太高，尤其是数据量大的时候，容易出现数据插入位置出错、数据重复插入等，数据顺序核对困难。
[0003]现有技术在批量数据导入时，一般采用文件数据线性导入模式，若一个数据节点出现数据异常，将导致导入程序停住，余下的数据就导入不进去。数据异常点出现的早导入的数据就少，数据异常点出现的晚导入的数据就多一些，在数据合规的情况下，导入数据多少完全取决于数据制作人的数据记录排序质量。数据异常遇到一次就解决一次，每次只能知道当前的异常，不清楚其余异常及关联影响数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据导入方法，其特征在于，所述方法包括：根据数据文件中的数据记录生成有向图；其中，所述有向图包括多个数据节点，各个数据节点包含有数据；从多个数据节点中确定第一目标数据节点；其中，所述第一目标数据节点为入度为1或0且合规的数据节点；将所述第一目标数据节点导入数据库；若所述第一目标数据节点导入数据库失败，则将所述第一目标数据节点的子图录入异常数据清单。2.根据权利要求1所述的方法，其特征在于，在所述从多个数据节点中确定第一目标数据节点之前，所述方法还包括：遍历各个数据节点，并对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果；根据各个数据节点的校验结果对对应的数据节点进行合规性标记。3.根据权利要求2所述的方法，其特征在于，所述对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果，包括：将各个数据节点分别与数据库中所存储的数据节点进行匹配，得到各个数据节点的匹配结果；所述根据各个数据节点的校验结果对对应的数据节点进行合规性标记，包括：若所述匹配结果为匹配，则确定对所述匹配结果对应的数据节点的校验未通过，并对所述匹配结果对应的数据节点进行不合规标记。4.根据权利要求2所述的方法，其特征在于，所述对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果，包括：检测各个数据节点对应的入度或出度的数据节点是否处于所述有向图中，以及检测各个数据节点对应的入度或出度的数据节点是否处于数据库中，得到各个数据节点的检测结果；所述根据各个数据节点的校验结果对对应的数据节点进行合规性标记，包括：若所述检测结果为均未处于，则确定对所述检测结果对应的数据节点的校验未通过，并对所述匹配结果对应的数据节点进行不合规标记。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还...

【专利技术属性】
技术研发人员：喻琦，李凌，石彦彬，张英彬，裴煜，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：