一种数据处理系统、方法、设备集群及存储介质技术方案

本说明书实施例公开了一种数据处理系统、方法、设备集群及存储介质，其中数据处理系统包括：数据转换模块用于根据用户基于前端页面的操作选项输入的操作信息，为待处理数据确定任务类型；任务分发模块用于根据待处理数据的任务类型和待处理数据所在数据库的类型，将待处理数据分发至对应的数据处理模块；数据处理模块用于对待处理数据进行数据备份或数据恢复；索引模块，存储有待处理数据的原始存储地址和最终存储地址，用于基于数据查询条件，确定待处理数据的存储地址；存储地址包括原始存储地址和最终存储地址。本说明书实施例提供的数据处理系统能够降低数据库工作人员的工作难度，降低数据维护成本。降低数据维护成本。降低数据维护成本。

【技术实现步骤摘要】
一种数据处理系统、方法、设备集群及存储介质


[0001]本申请涉及数据库
，尤其涉及一种数据处理系统、方法、设备集群及存储介质。

技术介绍

[0002]数据库是一种按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织、可共享、统一管理的大量数据的集合。
[0003]数据的备份和恢复是对数据库内的数据常进行的数据操作。不同的数据库采用不同的指令对数据进行备份或恢复操作。Dump命令是一种linux的备份工具程序，可将目录或整个文件系统备份至指定的设备，或备份成一个大文件。关系型数据库通过dump命令进行数据的全量或增量备份，通过dump命令还可以实现数据的回复操作。scp命令是一种用于Linux之间复制文件和目录的指令，文件型数据库通过scp命令进行数据的全量备份或者恢复；S3Browser是亚马逊的对象服务桌面应用程序，支持访问亚马逊S3接口的对象服务服务，应用于Windows平台对象型数据库型通过s3Browser将备份数据下载到本地磁盘,然后通过磁盘进行备份。
[0004]不同的数据库需要采用不同的数据操作指令对数据进行备份或者恢复都需要各自数据库的备份或者恢复指令，操作人员在对不同类型的数据库处理数据时，需要对各种数据库的指令进行深入研究。
[0005]因此，亟需一种数据处理系统，便于普通操作人员操作,降低数据维护成本。

技术实现思路

[0006]本说明书实施例提供一种数据处理系统、方法、设备集群及存储介质，以解决现有技术中普通数据操作人员对数据处理的难度，降低数据维护成本。
[0007]为解决上述技术问题，本说明书实施例是这样实现的：
[0008]本说明书实施例提供的一种数据处理系统，包括：数据转换模块、任务分发模块、数据处理模块和索引模块；
[0009]所述数据转换模块用于根据用户基于前端页面的操作选项输入的操作信息，为待处理数据确定任务类型；所述任务类型包括数据备份任务和数据恢复任务；所述待处理数据为关系型数据、文件型数据、对象型数据或时序型数据中的一种；
[0010]所述任务分发模块用于根据所述待处理数据的任务类型和所述待处理数据所在数据库的类型，将所述待处理数据分发至对应的所述数据处理模块；
[0011]所述数据处理模块用于对所述待处理数据进行数据备份或数据恢复；
[0012]所述索引模块，存储有所述待处理数据的原始存储地址和最终存储地址，用于基于数据查询条件，确定所述待处理数据的存储地址；所述存储地址包括原始存储地址和最终存储地址。
[0013]所述数据处理模块完成对所述待处理数据的备份或者恢复处理后，将所述待处理
数据的最终存储地址发送至所述索引模块。
[0014]可选的，所述查询条件包括第一数据标识，所述索引模块基于所述第一数据标识确定所述待处理数据的原始存储地址和实际存储地址；所述第一数据标识用于唯一标识所述待处理数据。
[0015]可选的，所述系统还包括：可视化模块；所述可视化模块用于获取所述数据处理模块的处理进度，显示所述待处理数据的处理进度以及状态。
[0016]可选的，所述数据处理模块包括：数据切分单元，所述数据切分单元用于将所述待处理数据按照预设容量进行切分，得到多个切分数据块，以便将对所述待处理数据执行数据处理的过程转换为对所述多个切分数据块执行数据处理的过程。
[0017]可选的，所述可视化模块包括进度计算单元，所述计算进度单元用于获取已完成数据处理操作的所述压缩后的切分数据块的数值；计算所述数值与压缩后的切分数据块的个数的比值，将所述比值作为所述数据处理的进度信息，以便确定所述数据处理过程的处理进度。
[0018]可选的，所述可视化模块还包括状态显示单元，所述状态显示单元用于根据所述进度信息，生成用于表示数据处理状态的状态信息，以便确定所述数据处理过程的状态；所述数据处理过程的状态包括未开始和已完成。
[0019]可选的，所述系统还包括第二数据标识模块，所述第二数据标识模块用于将标识添加至所述索引模块中与所述待处理数据相对应；所述标识包括用于表示所述数据为使用频率高于第一设定阈值的热数据，以及用于表示所述数据为使用频率低于第二设定阈值的冷数据。
[0020]本说明书实施例提供的一种数据处理方法，包括：
[0021]获取用户基于前端页面的操作选项输入的操作信息，为待处理数据确定任务类型；所述任务类型包括数据备份任务和数据恢复任务；所述待处理数据为关系型数据、文件型数据、对象型数据或时序型数据中的一种；
[0022]根据所述待处理数据的任务类型和所述待处理数据所在数据库的类型，将所述待处理数据分发至对应的所述数据处理模块；
[0023]对所述待处理数据进行数据备份或数据恢复；
[0024]确定所述待处理数据的原始存储地址，以及执行数据处理后的最终存储地址。
[0025]本说明书实施例提供的一种数据处理设备集群，所述数据处理设备集群包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据处理方法；和/或所述至少一个处理器能够运行上述数据处理系统。
[0026]本说明书实施例还提供一种非易失性计算机可读存储介质，其上存储有程序指令或计算机程序；和/或，一种计算机程序，所述程序指令或计算机程序被处理器执行时，实现上述数据处理系统；或，所述程序指令或计算机程序被处理器执行时，实现上述数据处理方法。
[0027]本说明书一个实施例至少能够达到以下有益效果：
[0028]通过数据转换模块实现基于用户在前端页面的操作信息，确定待处理数据的任务
类型，通过任务分发模块基于待处理数据的任务类型和数据库类型，分配对应的数据处理模块，以使数据处理模块能够对不同类型的数据库的数据进行备份或者恢复处理，而无需知晓各种数据库的操作指令，简化了工作人员的工作流程，降低了数据维护成本。
附图说明
[0029]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本说明书实施例提供的一种数据处理系统的结构示意图；
[0031]图2为本说明书实施例提供另一种数据处理系统的结构框图；
[0032]图3为本说明书实施例提供的前端页面的页面示意图。
[0033]图4为本说明书实施例提供的一种数据处理方法的流程示意图；
[0034]图5为本说明书实施例提供的一种数据处理设备集群的结构示意图。
具体实施方式
[0035]为使本说明书一个或多个实施例的目的、技术方案和优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：数据转换模块、任务分发模块、数据处理模块和索引模块；所述数据转换模块用于根据用户基于前端页面的操作选项输入的操作信息，为待处理数据确定任务类型；所述任务类型包括数据备份任务和数据恢复任务；所述待处理数据为关系型数据、文件型数据、对象型数据或时序型数据中的一种；所述任务分发模块用于根据所述待处理数据的任务类型和所述待处理数据所在数据库的类型，将所述待处理数据分发至对应的所述数据处理模块；所述数据处理模块用于对所述待处理数据进行数据备份或数据恢复；所述索引模块，存储有所述待处理数据的原始存储地址和最终存储地址，用于基于数据查询条件，确定所述待处理数据的存储地址；所述存储地址包括原始存储地址和最终存储地址。2.根据权利要求1所述的数据处理系统，其特征在于，所述数据处理模块完成对所述待处理数据的备份或者恢复处理后，将所述待处理数据的最终存储地址发送至所述索引模块。3.根据权利要求1所述的数据处理系统，其特征在于，所述查询条件包括第一数据标识，所述索引模块；所述第一数据标识用于唯一标识所述待处理数据。4.根据权利要求1所述的数据处理系统，其特征在于，所述系统还包括：可视化模块；所述可视化模块用于获取所述数据处理模块的处理进度，显示所述待处理数据的处理进度以及状态。5.根据权利要求4所述的数据处理系统，其特征在于，所述数据处理模块包括：数据切分单元，所述数据切分单元用于将所述待处理数据按照预设容量进行切分，得到多个切分数据块，以便将对所述待处理数据执行数据处理的过程转换为对所述多个切分数据块执行数据处理的过程。6.根据权利要求4所述的数据处理系统，其特征在于，所述可视化模块包括进度计算单元，所述计算进度单元用于获取已完成数据处理操作的所述压缩后的切分数据块的数值；计算所述数值与压缩后的切分数据块的个数的比值，将所述比值作为所述数据处理的进度信息，以便确定所述数据处理过程的处理进度。7.根据...

【专利技术属性】
技术研发人员：曹志强，胡涵铭，沈彬，侯燕，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：