数据归档方法、系统、电子装置和存储介质制造方法及图纸

本申请涉及一种数据归档方法、系统、电子装置和存储介质，其中，该数据归档方法包括：获取分库分表后的待归档数据，以及该待归档数据的分片元信息；将流式服务插入至该待归档数据，至少根据该分片元信息，以及该流式服务对应的唯一标识符信息对该待归档数据进行流式处理，得到第一同步数据；根据该分片元信息创建分布式数据库，并将该第一同步数据同步至该分布式数据库中进行分布式存储，得到第二同步数据；将该第二同步数据作为数据归档结果。通过本申请，解决了归档数据无法快速查询、维护成本高的问题，实现了数据归档结果的快速存储、查询。查询。查询。

【技术实现步骤摘要】
数据归档方法、系统、电子装置和存储介质


[0001]本申请涉及数据处理领域，特别是涉及数据归档方法、系统、电子装置和存储介质。

技术介绍

[0002]目前普遍使用mysql数据库存储业务数据，随着业务规模扩大，mysql数据库存储海量数据；针对历史数据，经常需要进行归档操作，而在归档操作过程中，由于数据量大，一般采用分库分表的方式进行归档。
[0003]现有技术中，针对数据归档一般通过mysqldump备份历史数据到sql文件、通过其他备份工具备份历史数据、抽取历史数据到数据仓库或者抽取历史数据到其他数据库(比如Tidb)的方式进行，然而上述方式进行数据归档后，无法随时查看、快速查询，维护成本更是高昂。
[0004]针对相关技术中存在归档数据无法快速查询、维护成本高的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种数据归档方法、系统、电子装置和存储介质，以解决相关技术中归档数据无法快速查询、维护成本高的问题。
[0006]第一个方面，在本实施例中提供了一种一种数据归档方法，包括：
[0007]获取分库分表后的待归档数据，以及所述待归档数据的分片元信息；
[0008]将流式服务插入至所述待归档数据，至少根据所述分片元信息，以及所述流式服务对应的唯一标识符信息对所述待归档数据进行流式处理，得到第一同步数据；
[0009]根据所述分片元信息创建分布式数据库，并将所述第一同步数据同步至所述分布式数据库中进行分布式存储，得到第二同步数据；
[0010]将所述第二同步数据作为数据归档结果。
[0011]在其中的一些实施例中，所述至少根据所述分片元信息，以及所述流式服务对应的唯一标识符信息对所述待归档数据进行流式处理，得到第一同步数据，包括：
[0012]根据所述分片元信息获取所述待归档数据的时间字段；
[0013]获取所述流式服务的配置参数，根据所述配置参数获取所述唯一标识符信息；
[0014]至少根据所述分片元信息、所述待归档数据的时间字段和所述唯一标识符信息得到所述第一同步数据。
[0015]在其中的一些实施例中，所述将所述第一同步数据同步至所述分布式数据库中进行分布式存储，得到第二同步数据，包括：
[0016]至少根据所述分片元信息，以及所述分布式数据库的字段信息，将所述第一同步数据同步至所述分布式数据库中，得到第二同步数据。
[0017]在其中的一些实施例中，在所述得到第二同步数据之后，在所述将所述第二同步
数据作为数据归档结果之前，还包括：
[0018]比较所述待归档数据和所述第二同步数据，得到比较结果；在所述比较结果指示所述待归档数据和所述第二同步数据相区别的情况下，至少根据所述分布式数据库的字段信息获取并执行所述分布式数据库的传输状态语句，得到传输状态结果；在所述传输状态结果指示所述分布式数据库为同步状态时，获取预设等待时长，在等待所述预设等待时长之后，得到再次比较结果；
[0019]或者，删除已同步的所述第二同步数据，对所述待归档数据进行流式处理得到第三同步数据，将所述第三同步数据同步至分布式数据库中，得到第四同步数据；比较所述待归档数据和所述第四同步数据，得到再次比较结果；
[0020]在所述比较结果或所述再次比较结果指示所述待归档数据和所述第二同步数据相同的情况下，至少根据所述分片元信息删除所述待归档数据。
[0021]在其中的一些实施例中，在所述将所述第二同步数据作为数据归档结果之后，还包括：
[0022]根据所述分片元信息获取针对所述数据归档结果的回收碎片语句，并执行所述回收碎片语句，回收所述待归档数据的磁盘碎片。
[0023]在其中的一些实施例中，在所述将所述第二同步数据作为数据归档结果之后，还包括：
[0024]获取所述分布式数据库的分布式元信息，至少根据所述分布式元信息查询所述待归档数据对应的所述数据归档结果。
[0025]在其中的一些实施例中，所述分布式数据库为StarRocks数据库，和/或，所述流式服务为maxwell服务。
[0026]第二个方面，在本实施例中提供了一种数据归档系统，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
[0027]所述服务器设备用于执行上述第一个方面所述的数据归档方法；
[0028]所述传输设备用于传输数据归档结果；
[0029]所述终端设备用于显示所述数据归档结果。
[0030]第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的数据归档方法。
[0031]第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的数据归档方法。
[0032]与相关技术相比，在本实施例中提供的数据归档方法、系统、电子装置和存储介质，通过获取分库分表后的待归档数据，以及所述待归档数据的分片元信息；将流式服务插入至所述待归档数据，至少根据所述分片元信息，以及所述流式服务对应的唯一标识符信息对所述待归档数据进行流式处理，得到第一同步数据；根据所述分片元信息创建分布式数据库，并将所述第一同步数据同步至所述分布式数据库中进行分布式存储，得到第二同步数据；将所述第二同步数据作为数据归档结果，解决了归档数据无法快速查询、维护成本高的问题，实现了数据归档结果的快速存储、查询。
[0033]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他
特征、目的和优点更加简明易懂。
附图说明
[0034]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0035]图1为一个实施例中数据归档方法的应用场景图；
[0036]图2为一个实施例中数据归档方法的流程示意图；
[0037]图3为另一个实施例中数据归档方法的流程示意图；
[0038]图4为一个实施例中计算机设备的内部结构图。
具体实施方式
[0039]为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
[0040]除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属
具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据归档方法，其特征在于，包括：获取分库分表后的待归档数据，以及所述待归档数据的分片元信息；将流式服务插入至所述待归档数据，至少根据所述分片元信息，以及所述流式服务对应的唯一标识符信息对所述待归档数据进行流式处理，得到第一同步数据；根据所述分片元信息创建分布式数据库，并将所述第一同步数据同步至所述分布式数据库中进行分布式存储，得到第二同步数据；将所述第二同步数据作为数据归档结果。2.根据权利要求1所述的数据归档方法，其特征在于，所述至少根据所述分片元信息，以及所述流式服务对应的唯一标识符信息对所述待归档数据进行流式处理，得到第一同步数据，包括：根据所述分片元信息获取所述待归档数据的时间字段；获取所述流式服务的配置参数，根据所述配置参数获取所述唯一标识符信息；至少根据所述分片元信息、所述待归档数据的时间字段和所述唯一标识符信息得到所述第一同步数据。3.根据权利要求1所述的数据归档方法，其特征在于，所述将所述第一同步数据同步至所述分布式数据库中进行分布式存储，得到第二同步数据，包括：至少根据所述分片元信息，以及所述分布式数据库的字段信息，将所述第一同步数据同步至所述分布式数据库中，得到第二同步数据。4.根据权利要求1所述的数据归档方法，其特征在于，在所述得到第二同步数据之后，在所述将所述第二同步数据作为数据归档结果之前，还包括：比较所述待归档数据和所述第二同步数据，得到比较结果；在所述比较结果指示所述待归档数据和所述第二同步数据相区别的情况下，至少根据所述分布式数据库的字段信息获取并执行所述分布式数据库的传输状态语句，得到传输状态结果；在所述传输状态结果指示所述分布式数据库为同步状态时，获取预设等待时长，在等待所述预设等待时长之后，得到再次比较结果；...

【专利技术属性】
技术研发人员：顾伟涛，曹彩鹏，朱国庆，周游，刘培锴，陈斐，
申请(专利权)人：杭州浮云网络科技有限公司，
类型：发明
国别省市：