本申请的实施例揭示了一种数据导入方法及装置、设备、计算机可读存储介质。该方法包括：根据数据文件中的数据记录生成有向图；其中，有向图包括多个数据节点，各个数据节点包含有数据；从多个数据节点中确定第一目标数据节点；其中，第一目标数据节点为入度为1或0且合规的数据节点；将第一目标数据节点导入数据库；若第一目标数据节点导入数据库失败，则将第一目标数据节点的子图录入异常数据清单。本申请方法规避了数据导入时序对人工要求的强依赖，减少重复劳动和数据异常排查耗时，提高一次入库成功率，从而提升数据导入效率。从而提升数据导入效率。从而提升数据导入效率。
【技术实现步骤摘要】
数据导入方法及装置、设备、计算机可读存储介质
[0001]本申请涉及互联网
，具体涉及一种数据导入方法及装置、设备、计算机可读存储介质。
技术介绍
[0002]工作中经常用到批量数据导入导出，如网络能力OpenAPI(Application Programming Interface，应用编程接口)数据、设备批量入网的场景化数据、业务加载的产品设计数据等。批量制作数据工作繁琐，数据质量保障难度大，人工制作数据过程中除了要保证数据的合规还要严格保证数据顺序以保障入库时序正确，对人工制作要求太高，尤其是数据量大的时候，容易出现数据插入位置出错、数据重复插入等，数据顺序核对困难。
[0003]现有技术在批量数据导入时，一般采用文件数据线性导入模式，若一个数据节点出现数据异常，将导致导入程序停住，余下的数据就导入不进去。数据异常点出现的早导入的数据就少，数据异常点出现的晚导入的数据就多一些，在数据合规的情况下，导入数据多少完全取决于数据制作人的数据记录排序质量。数据异常遇到一次就解决一次，每次只能知道当前的异常，不清楚其余异常及关联影响数据，往往需要多次反复修改重复导入，导致耗时长，严重浪费重复劳动。
[0004]综上，如何提升数据导入效率是亟待解决的问题。
技术实现思路
[0005]为解决上述技术问题，本申请的实施例分别提供了一种数据导入方法及装置、设备、计算机可读存储介质。将数据记录转换为有向图进行数据检验，导入数据库，从而提升数据导入效率。
[0006]根据本申请实施例的一个方面，提供了一种数据导入方法，所述方法包括：根据数据文件中的数据记录生成有向图；其中，所述有向图包括多个数据节点，各个数据节点包含有数据；从多个数据节点中确定第一目标数据节点；其中，所述第一目标数据节点为入度为1或0且合规的数据节点；将所述第一目标数据节点导入数据库；若所述第一目标数据节点导入数据库失败，则将所述第一目标数据节点的子图录入异常数据清单。
[0007]在另一示例性实施例中，在所述从多个数据节点中确定第一目标数据节点之前，所述方法还包括：遍历各个数据节点，并对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果；根据各个数据节点的校验结果对对应的数据节点进行合规性标记。
[0008]在另一示例性实施例中，所述对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果，包括：将各个数据节点分别与数据库中所存储的数据节点进行匹配，得到各个数据节点的匹配结果；所述根据各个数据节点的校验结果对对应的数据节点进行合规性标记，包括：若所述匹配结果为匹配，则确定对所述匹配结果对应的数据节点的校验未通过，并对所述匹配结果对应的数据节点进行不合规标记。
[0009]在另一示例性实施例中，所述对遍历到的各个数据节点分别进行校验，得到各个
数据节点的校验结果，包括：检测各个数据节点对应的入度或出度的数据节点是否处于所述有向图中，以及检测各个数据节点对应的入度或出度的数据节点是否处于数据库中，得到各个数据节点的检测结果；所述根据各个数据节点的校验结果对对应的数据节点进行合规性标记，包括：若所述检测结果为均未处于，则确定对所述检测结果对应的数据节点的校验未通过，并对所述匹配结果对应的数据节点进行不合规标记。
[0010]在另一示例性实施例中，所述方法还包括：从多个数据节点中确定第二目标数据节点；其中，所述第二目标数据节点为有至少两个入度的数据节点；对所述第二目标数据节点对应的入度进行删除，以使所述第二目标数据节点为只有一个入度的数据节点。
[0011]在另一示例性实施例中，所述根据数据文件中的数据记录生成有向图，包括：对所述数据文件进行解析，得到数据记录；其中，所述数据记录包括数据实体和数据实体之间的关联关系；根据所述数据记录生成所述有向图。
[0012]在另一示例性实施例中，所述子图中含有多个数据节点；在所述第一目标数据节点的子图录入异常数据清单之后，所述方法还包括：遍历所述子图的多个数据节点，确定出受第一目标数据节点异常影响的数据节点；根据所述第一目标数据节点以及所述数据节点生成异常数据分析报告。
[0013]根据本申请实施例的一个方面，提供了一种数据导入装置，所述装置包括：有向图生成模块，配置为根据数据文件中的数据记录生成有向图；其中，所述有向图包括多个数据节点，各个数据节点包含有数据；数据校验模块，配置为从多个数据节点中确定第一目标数据节点；其中，所述第一目标数据节点为入度为1或0且合规的数据节点；数据导入模块，配置为将所述第一目标数据节点导入数据库；若所述第一目标数据节点导入数据库失败，则将所述第一目标数据节点的子图录入异常数据清单。
[0014]在另一示例性实施例中，所述数据导入装置还包括校验模块，配置为遍历各个数据节点，并对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果；根据各个数据节点的校验结果对对应的数据节点进行合规性标记。
[0015]在另一示例性实施例中，所述校验模块还可配置为遍将各个数据节点分别与数据库中所存储的数据节点进行匹配，得到各个数据节点的匹配结果；若匹配结果为匹配，记录该节点数据为重复数据。
[0016]在另一示例性实施例中，所述校验模块还可配置为历各个数据节点，并检测各个数据节点对应的入度或出度的数据节点是否处于有向图中，以及检测各个数据节点对应的入度或出度的数据节点是否处于数据库中，得到各个数据节点的检测结果；若检测结果为均未处于，则确定对检测结果对应的数据节点的校验未通过，并对匹配结果对应的数据节点进行不合规标记。
[0017]在另一示例性实施例中，所述数据导入装置还包括删除模块，配置为从多个数据节点中确定第二目标数据节点；其中，第二目标数据节点为有至少两个入度的数据节点；对第二目标数据节点对应的入度进行删除，以使第二目标数据节点为只有一个入度的数据节点。
[0018]在另一示例性实施例中，所述有向图生成模块还可配置为对数据文件进行解析，得到数据记录；其中，数据记录包括数据实体和数据实体之间的关联关系；有向图包括多个数据节点，各个数据节点包含有数据；根据数据记录生成有向图。
[0019]根据本申请实施例的一个方面，提供了一种数据导入设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述数据导入设备实现如上所述的方法。
[0020]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的方法。
[0021]根据本申请实施例的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的数据导入方法。
[0022]根据本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据导入方法，其特征在于，所述方法包括：根据数据文件中的数据记录生成有向图；其中，所述有向图包括多个数据节点，各个数据节点包含有数据；从多个数据节点中确定第一目标数据节点；其中，所述第一目标数据节点为入度为1或0且合规的数据节点；将所述第一目标数据节点导入数据库；若所述第一目标数据节点导入数据库失败，则将所述第一目标数据节点的子图录入异常数据清单。2.根据权利要求1所述的方法，其特征在于，在所述从多个数据节点中确定第一目标数据节点之前，所述方法还包括：遍历各个数据节点，并对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果；根据各个数据节点的校验结果对对应的数据节点进行合规性标记。3.根据权利要求2所述的方法，其特征在于，所述对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果，包括：将各个数据节点分别与数据库中所存储的数据节点进行匹配，得到各个数据节点的匹配结果；所述根据各个数据节点的校验结果对对应的数据节点进行合规性标记，包括：若所述匹配结果为匹配，则确定对所述匹配结果对应的数据节点的校验未通过，并对所述匹配结果对应的数据节点进行不合规标记。4.根据权利要求2所述的方法，其特征在于，所述对遍历到的各个数据节点分别进行校验，得到各个数据节点的校验结果，包括：检测各个数据节点对应的入度或出度的数据节点是否处于所述有向图中，以及检测各个数据节点对应的入度或出度的数据节点是否处于数据库中，得到各个数据节点的检测结果；所述根据各个数据节点的校验结果对对应的数据节点进行合规性标记，包括：若所述检测结果为均未处于，则确定对所述检测结果对应的数据节点的校验未通过，并对所述匹配结果对应的数据节点进行不合规标记。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还...
【专利技术属性】
技术研发人员：喻琦，李凌，石彦彬，张英彬，裴煜，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。