数据处理方法、装置、介质和计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种数据处理方法、装置、介质和计算设备。该方法包括：从数据仓库中获取待处理数据集；其中，所述待处理数据集包括待处理数据表，所述待处理数据表中包括待处理数据；将所述待处理数据集导入至Neo4j图数据库中，得到包括所述待处理数据的数据文件；其中，所述待处理数据集中的待处理数据表与所述数据文件中的节点对应，所述待处理数据表中的行与所述节点的属性对应；根据所述数据文件中的节点和所述节点的属性，得到所述节点与所述节点的属性之间的连接关系；对所述节点以及所述连接关系进行封装，得到多个insert语句；将各个insert语句导入至关系型数据库。本发明专利技术能够在保留待处理数据的关系的基础上提升数据导出的效率。础上提升数据导出的效率。础上提升数据导出的效率。

【技术实现步骤摘要】
数据处理方法、装置、介质和计算设备


[0001]本专利技术的实施方式涉及数据处理
，更具体地，本专利技术的实施方式涉及一种数据处理方法、装置、介质和计算设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在数据仓库中，数据需要通过清洗、转换、集成而形成一些比较宽的表，且数据量一般都比较大，数据的表现形式也是以表的形式来展现的，如果要找一些数据之间的多层关联关系，需要进行多次的表与表的关联来实现，且无法满足对于多层关联关系的灵活处理。
[0004]目前，图形数据库Neo4j作为主流的图数据库，采用自由邻接特性的图处理结构，可随意添加数据类型并随时修改数据和数据类型，不依赖于数据量和数据深度，随着数据量增大和深度增加不会减弱性能。但是，向图数据库Neo4j中导出数据的过程较为复杂，因此在导出关系较多的节点数据的过程中，数据导出的效率较低，并且在导出过程中容易发生误差，不易操作。

技术实现思路
<br/>[0005]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：从数据仓库中获取待处理数据集；其中，所述待处理数据集包括待处理数据表，所述待处理数据表中包括待处理数据；将所述待处理数据集导入至Neo4j图数据库中，得到包括所述待处理数据的数据文件；其中，所述待处理数据集中的待处理数据表与所述数据文件中的节点对应，所述待处理数据表中的行与所述节点的属性对应；根据所述数据文件中的节点和所述节点的属性，得到所述节点与所述节点的属性之间的连接关系；对所述节点以及所述连接关系进行封装，得到多个insert语句；将各个insert语句导入至关系型数据库。2.根据权利要求1所述的数据处理方法，所述将所述待处理数据集导入至Neo4j图数据库中，得到包括所述待处理数据的数据文件之前，所述方法还包括：获取所待处理数据的当前比特值和所述Neo4j图数据库内存的剩余比特值；当所述当前比特值大于所述剩余比特值时，删除所述Neo4j图数据库内存中所有缓存数据。3.根据权利要求1或2所述的数据处理方法，所述将所述待处理数据集导入至Neo4j图数据库中，得到包括所述待处理数据的数据文件，包括：将各个待处理数据表分别以csv格式存储，得到包括所述待处理数据的csv格式文件；将所述csv格式文件导入至Neo4j图数据库中，得到包括所述待处理数据的数据文件。4.根据权利要求3所述的数据处理方法，所述将各个待处理数据表分别以csv格式存储，得到包括所述待处理数据的csv格式文件，包括：获取各个待处理数据表的表名；创建与所述表名对应的csv格式文件；其中，一个表名对应一个csv格式文件；将所述表名对应的待处理数据表中的待处理数据导入至所述表名对应的csv格式文件，得到包括所述待处理数据的csv格式文件。5.根据权利要求1所述的数据处理方法，所述根据所述数据文件中的节点和所述节点的属性，得到所述节点与所述节点的属性之间的连接关系，包括：获取所述待处理数据集的应用场景信息；根据所述应用场景信息以及所述数据文件中的节点和所述节点的属性，通过cyp...

【专利技术属性】
技术研发人员：梁新利，王严峰，徐木兰，
申请(专利权)人：上海豹云网络信息服务有限公司，
类型：发明
国别省市：