一种数据导出方法及装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据导出方法及装置、电子设备及存储介质，该方法包括：向计算节点发送导出信息；在计算节点向数据节点转发导出信息之后，接收计算节点转发的区间信息；基于区间信息向计算节点发送导出语句；其中，计算节点向数据节点转发导出语句，并接收数据节点基于导出语句导出的区间内叶子节点上所存储的数据；接收计算节点转发的导出结果，基于导出结果确定导出文件。通过本申请，解决了现有技术中分布式数据导出后一致性差、导出过程复杂且导出速率慢的技术问题。且导出速率慢的技术问题。且导出速率慢的技术问题。

【技术实现步骤摘要】
一种数据导出方法及装置、电子设备及存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据导出方法及装置、电子设备及存储介质。

技术介绍

[0002]数据导出是分布式数据库系统数据迁移过程中的重要步骤，数据导出的速度直接决定了分布式数据库系统数据迁移的时间。现有的数据导出方法为将分布式数据库的各个数据节点数据导出后，然后合并为同一个文件。这种数据导出方法把单个数据节点的数据作为一个整体进行导出，只能保证单个数据节点的一致性，不支持跨分片的联合导出，且每个数据节点还要增加监控模块以处理其导出，导致导出速率慢。现有技术中的数据导出方法存在分布式数据导出后一致性差、导出过程复杂且导出速率慢的技术问题。

技术实现思路

[0003]本申请实施例的目的在于提供一种数据导出方法及装置、电子设备及存储介质，解决了现有技术中存在的分布式数据导出后一致性差、导出过程复杂且导出速率慢的技术问题。具体技术方案如下：
[0004]在本申请实施的第一方面，首先提供了一种数据导出方法，所述方法应用于导出工具，包括：向计算节点发送导出信息；在计算节点向数据节点转发导出信息之后，接收计算节点转发的区间信息；基于区间信息向计算节点发送导出语句；其中，计算节点向数据节点转发导出语句，并接收数据节点基于导出语句导出的区间内叶子节点上所存储的数据；接收计算节点转发的导出结果，基于导出结果确定导出文件。
[0005]在本申请实施的第二方面，提供了一种数据导出方法，所述方法应用于计算节点，包括：接收导出工具发送的导出信息，并将导出信息转发至数据节点，其中，导出信息用于表征待导出数据在数据节点的存储位置；
[0006]接收数据节点响应于导出信息发送的区间信息，其中，区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；向导出工具转发区间信息；接收导出工具响应于区间信息生成的导出语句，并向数据节点转发导出语句，其中，导出语句用于导出区间内叶子节点上所存储的数据；接收数据节点反馈的导出结果，并向导出工具转发导出结果，其中，导出结果包括区间内叶子节点上所存储的数据。
[0007]在本申请实施的第三方面，提供了一种数据导出方法，所述方法应用于数据节点，包括：接收计算节点发送的导出信息，其中，导出信息用于表征待导出数据在数据节点上的存储位置；基于导出信息扫描数据节点下的树结构，以确定空闲数据所在区间；向计算节点发送区间信息，其中，区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；接收计算节点转发的导出语句，其中，导出语句由导出工具基于区间信息生成，并发送至计算节点；基于导出语句向计算节点发送导出结果，其中，导出结果包括区间内叶子节点上所存储的数据。
[0008]在本申请实施的第四方面，还提供了一种数据导出装置，所述装置应用于导出工具，包括：第一发送模块，用于向计算节点发送导出信息，其中，导出信息用于表征待导出数据在数据节点上的存储位置；第一接收模块，用于在计算节点向数据节点转发导出信息之后，接收计算节点转发的区间信息，其中，区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；第二发送模块，用于基于区间信息向计算节点发送导出语句；其中，计算节点向数据节点转发导出语句，并接收数据节点基于导出语句导出的区间内叶子节点上所存储的数据；第二接收模块，用于接收计算节点转发的导出结果，基于导出结果确定导出文件，其中，导出结果包括区间内叶子节点上所存储的数据。
[0009]在本申请实施的第五方面，还提供了一种数据导出装置，所述装置应用于计算节点，包括：第一处理模块，用于接收导出工具发送的导出信息，并将导出信息转发至数据节点，其中，导出信息用于表征待导出数据在数据节点的存储位置；第三接收模块，用于接收数据节点响应于导出信息发送的区间信息，其中，区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；转发模块，用于向导出工具转发区间信息；第二处理模块，用于接收导出工具响应于区间信息生成的导出语句，并向数据节点转发导出语句，其中，导出语句用于导出区间内叶子节点上所存储的数据；第三处理模块，用于接收数据节点反馈的导出结果，并向导出工具转发导出结果，其中，导出结果包括区间内叶子节点上所存储的数据。
[0010]在本申请实施的第六方面，还提供了一种数据导出装置，所述装置应用于数据节点，包括：第四接收模块，用于接收计算节点发送的导出信息，其中，导出信息用于表征待导出数据在数据节点上的存储位置；第四处理模块，用于基于导出信息扫描数据节点下的树结构，以确定空闲数据所在区间；第三发送模块，用于向计算节点发送区间信息，其中，区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；第五接收模块，用于接收计算节点转发的导出语句，其中，导出语句由导出工具基于区间信息生成，并发送至计算节点；第四发送模块，用于基于导出语句向计算节点发送导出结果，其中，导出结果包括区间内叶子节点上所存储的数据。
[0011]在本申请实施的第七方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面或第二方面或第三方面所述的数据导出方法。
[0012]在本申请实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面或第三方面所述的数据导出方法。
[0013]本申请实施例提供的数据导出方法及装置、电子设备及存储介质，通过向计算节点发送导出信息；在计算节点向数据节点转发导出信息之后，接收计算节点转发的区间信息；基于区间信息向计算节点发送导出语句；其中，计算节点向数据节点转发导出语句，并接收数据节点基于导出语句导出的区间内叶子节点上所存储的数据；接收计算节点转发的导出结果，基于导出结果确定导出文件；也就是说，基于分布式数据库中的待导出数据所在的位置和未被执行写入操作的节点的区间，确定导出语句并对待导出数据进行导出，正在被执行写入操作的节点待执行操作完毕后进行导出，从而解决了现有技术中分布式数据导
出后一致性差、导出过程复杂且导出速率慢的技术问题。
附图说明
[0014]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0015]图1为本申请实施例中数据导出方法流程图之一；
[0016]图2为本申请实施例中数据导出方法网络模型示意图；
[0017]图3为本申请实施例中数据导出方法流程图之二；
[0018]图4为本申请实施例中数据导出方法流程图之三；
[0019]图5为本申请实施例中数据导出方法数据节点结构示意图；
[0020]图6为本申请实施例中数据导出方法第二示范例流程图之一；
[0021]图7为本申请实施例中数据导出方法第二示范例流程图之二；
[0022]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据导出方法，应用于导出工具，其特征在于，包括：向计算节点发送导出信息，其中，所述导出信息用于表征待导出数据在数据节点上的存储位置；在所述计算节点向数据节点转发所述导出信息之后，接收所述计算节点转发的区间信息，其中，所述区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；基于所述区间信息向所述计算节点发送导出语句；其中，所述计算节点向所述数据节点转发所述导出语句，并接收所述数据节点基于所述导出语句导出的所述区间内叶子节点上所存储的数据；接收所述计算节点转发的导出结果，基于所述导出结果确定导出文件；其中，所述导出结果包括所述区间内叶子节点上所存储的数据。2.根据权利要求1所述的方法，其特征在于，所述向计算节点发送导出信息，包括：生成所述导出信息，并基于所述导出信息与所述计算节点建立链接；向所述计算节点发送所述导出信息。3.根据权利要求1所述的方法，其特征在于，所述区间信息中还包括标识信息，所述标识信息用于标识所述待导出数据是否均已导出。4.一种数据导出方法，应用于计算节点，其特征在于，包括：接收导出工具发送的导出信息，并将所述导出信息转发至数据节点，其中，所述导出信息用于表征待导出数据在所述数据节点的存储位置；接收所述数据节点响应于所述导出信息发送的区间信息，其中，所述区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；向所述导出工具转发所述区间信息；接收所述导出工具响应于所述区间信息生成的导出语句，并向数据节点转发所述导出语句，其中，所述导出语句用于导出所述区间内叶子节点上所存储的数据；接收所述数据节点反馈的导出结果，并向所述导出工具转发所述导出结果，其中，所述导出结果包括所述区间内叶子节点上所存储的数据。5.根据权利要求4所述的方法，其特征在于，所述将所述导出信息转发至数据节点，包括：基于所述导出信息建立与所述数据节点之间的链接；向所述数据节点转发所述导出信息。6.一种数据导出方法，应用于数据节点，其特征在于，包括：接收计算节点发送的导出信息，其中，所述导出信息用于表征待导出数据在数据节点上的存储位置；基于所述导出信息扫描所述数据节点下的树结构，以确定空闲数据所在区间；向所述计算节点发送区间信息，其中，所述区间信息包括用于表征区间内未被执行写入操作的叶子节点的信息；接收所述计算节点转发的导出语句，其中，所述导出语句由导出工具基于所述区间信息生成，并发送至所述计算节点；基于所述导出语句向所述计算节点发送导出结果，其中，所述导出结果包括所述区间内叶子节点上所存储的数据。
7.根据权利要求6所述的方法，其特征在于，所述向所述计算节点发送区间信息，包括：确定所述区间内未被执行写入操作的叶子节点的父节点；在所述父节点对应的叶子节点均未被执行写入操作的情况下，锁定所述父节点以使所述父节点及对应的叶子节点处于只读模式；向所述计算节点发送区间信息。8.根据权利要求7所述的方法，其特征在于，所述区间信息中还包括标识信息，所述标识信息用于标识所述待导出数据是否均已导出。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：在被执行...

【专利技术属性】
技术研发人员：张锋民，
申请(专利权)人：金篆信科有限责任公司，
类型：发明
国别省市：