数据处理方法、装置、存储介质及管理服务器制造方法及图纸

本申请公开了一种数据处理方法、装置、存储介质及管理服务器，该方法应用于分布式主备系统中，主备系统包括管理服务器和至少一个主库、多个备库，数据处理方法应用于管理服务器中，数据处理方法包括：根据目标主库的第一数据集的第一数据属性/第二数据集的第二数据属性、目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态、以及，目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离，确定数据备份或者数据恢复的数据传输方式，本申请实施例通过数据传输方式对数据进行备份或恢复，能够提高数据备份和数据恢复过程的效率和正确率，能够更好的保护数据的完整性和数据传输的可靠性。输的可靠性。输的可靠性。

【技术实现步骤摘要】
数据处理方法、装置、存储介质及管理服务器


[0001]本申请涉及数据库
，尤其涉及一种数据处理方法、装置、存储介质及管理服务器。

技术介绍

[0002]实时主备由一个主库以及一个或者多个配置了实时归档的备库组成，其主要目的是保障数据库可用性，提高数据安全性。而主库与备库之间需要进行数据同步，还需要进行数据备份和数据恢复，目前的数据备份过程和数据恢复过程的效率和正确率不够高。

技术实现思路

本申请实施例提供一种数据处理方法、装置、存储介质及管理服务器，能够提高主备系统的数据备份和数据恢复过程的效率和正确率。
[0003]本申请实施例提供了一种数据处理方法，应用于分布式主备系统中，所述主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，所述数据处理方法应用于所述管理服务器中，所述数据处理方法包括：获取与所述主备系统通信连接的目标存储设备的网络位置；获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。
[0004]本申请实施例还提供了一种数据处理装置，应用于分布式主备系统中，所述主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，所述数据处理装置应用于所述管理服务器中，包括获取模块、确定模块与处理模块；所述获取模块用于获取与所述主备系统通信连接的目标存储设备的网络位置；以及，获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；所述确定模块用于根据所述网络位置确定所述目标主库、与所述目标主库通信连
接的至少一个备库分别与所述目标存储设备之间的网络状态；以及，根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；所述处理模块用于根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。
[0005]本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项数据处理方法。
[0006]本申请实施例还提供了一种管理服务器，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的数据处理方法中的步骤。
[0007]本申请提供的数据处理方法、装置、存储介质及管理服务器，根据目标主库的第一数据集的第一数据属性/第二数据集的第二数据属性、目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络状态、以及，目标主库、与目标主库通信连接的至少一个备库分别与目标存储设备之间的网络距离，确定数据备份或者数据恢复的数据传输方式，通过数据传输方式对数据进行备份或恢复，能够提高数据备份和数据恢复过程的效率和正确率，能够更好的保护数据的完整性和数据传输的可靠性。
附图说明
[0008]下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
[0009]图1为本申请实施例提供的数据处理方法的应用场景示意图。
[0010]图2为本申请实施例提供的数据处理方法的流程示意图。
[0011]图3为本申请实施例提供的数据处理装置的结构示意图。
[0012]图4为本申请实施例提供的管理服务器的结构示意图。
具体实施方式
[0013]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0014]本申请实施例提供一种数据处理方法、装置、存储介质及管理服务器。本申请实施例提供的任一种数据处理装置，可以集成在管理服务器中。
[0015]下面对本实施例涉及到的相关词语进行解释，网络传输方式指的是通过计算机网络进行传输，在网络传输方式中，目标传输数据被发送到网络上，通过路由器、交换机等网络设备进行传输，最终到达目标位置。网络传输通常受到网络带宽、延迟和可靠性的限制。在存储器传输方式中，目标主库、与目标主库通信连接的至少一个备库所在的服务器中被
配置为挂载nfs（网络文件系统）存储或者其他存储进行数据的传输。
[0016]存储器传输方式是指将目标数据直接从源存储设备传输到目标存储设备（从目标主库通过nfs直接传输到目标存储设备或者从目标存储设备通过nfs直接传输到目标主库/与目标主库通信连接的至少一个备库）。在存储器传输方式中，目标传输数据被直接写入目标存储设备/目标主库/与目标主库通信连接的至少一个备库的内存或硬盘中，不需要经过网络传输。存储器传输可以更快地传输大量数据，并且不受网络带宽和稳定性的限制。但是，它需要更多的存储空间和时间，因此成本更高。数据传输方式通常用于备份和还原大型数据集，以避免网络拥塞并提高传输速度。
[0017]请参阅图1，图1为本申请实施例所提供的数据处理方法应用的场景示意图，该场景提供了一种分布式主备系统，其中，主备系统包括管理服务器、至少一个主库和多个备库，管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步。通过管理服务器获取与主备系统通信连接的目标存储设备的网络位置，获取目标主库的第一数据集的第一数据属性，或者，目标存储设备中的第二数据集的第二数据属性，并确定网络状态，根据数据属性、网络位置和网络状态确定目标主库将第一数据集备份至目标存储设备中的数据传输方式，或者，确定目标存储设备将第二数据集恢复至目标主库或者恢复至目标主库连接的至少一个备库的数据传输方式。其中，主备系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于分布式主备系统中，所述主备系统包括管理服务器和至少一个主库、多个备库，所述管理服务器分别与每个主库、每个备库通信连接，每个主库与至少一个备库通信连接，每个主库与所连接的至少一个备库之间的数据保持同步，所述数据处理方法应用于所述管理服务器中，所述数据处理方法包括：获取与所述主备系统通信连接的目标存储设备的网络位置；获取目标主库的第一数据集的第一数据属性，或者，所述目标存储设备中的第二数据集的第二数据属性，其中，所述目标主库为至少一个主库中的其中一个主库；根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态；根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离；根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。2.根据权利要求1所述的方法，其特征在于，所述管理服务器中包括传输方式确定模型，所述传输方式确定模型包括传输特征提取模块、融合模块和传输方式确定模块；所述根据所述第一数据属性、所述网络状态和所述网络距离，确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，根据所述第二数据属性、所述网络状态和所述网络距离，确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式的步骤，包括：将所述第一数据属性、所述网络状态和所述网络距离，或者，所述第二数据属性、所述网络状态和所述网络距离，输入至所述传输特征提取模块中进行特征提取处理，以分别得到传输属性特征、传输状态特征、传输距离特征；将所述传输属性特征、所述传输状态特征、所述传输距离特征，输入至所述融合模块进行特征融合处理，以得到传输方式特征；将所述传输方式特征，输入至所述传输方式确定模块中进行传输方式确定处理，以得到数据传输方式；将所述数据传输方式，作为所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式，或者，将所述数据传输方式，作为所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。3.根据权利要求2所述的方法，其特征在于，所述融合模块中包括所述传输属性特征、所述传输状态特征、所述传输距离特征分别对应的属性权重参数、状态权重参数、距离权重参数；所述将所述传输属性特征、所述传输状态特征、所述传输距离特征，输入至所述融合模块进行特征融合处理，以得到传输方式特征的步骤，包括：将所述传输属性特征、所述传输状态特征、所述传输距离特征输入至所述融合模块中；根据所述传输属性特征、所述传输状态特征、所述传输距离特征、所述属性权重参数、所述状态权重参数、所述距离权重参数来进行特征融合处理，以得到传输方式特征。
4.根据权利要求2所述的方法，其特征在于，所述第一数据属性和所述第二数据属性均包括数据量大小、数据类型中的至少一个；所述传输特征提取模块中包括获取数据量大小、数据类型中的至少一个所对应的数据权重参数；将所述第一数据属性，或者，所述第二数据属性，输入至所述传输特征提取模块中进行特征提取处理，以得到传输属性特征，包括：将所述第一数据属性/所述第二数据属性，输入至所述传输特征提取模块中，以根据所述第一数据属性/所述第二数据属性中的数据量大小、数据类型中的至少一个与对应的数据权重参数，来得到传输属性特征。5.根据权利要求1所述的方法，其特征在于，所述网络状态包括网络延迟时间、丢包率、带宽速度中的至少一个，所述网络位置通过所述目标存储设备的IP地址和端口，或者所述目标存储设备的域名表征；所述...

【专利技术属性】
技术研发人员：周高登，陈立军，蒋国纬，陈华正，
申请(专利权)人：武汉吧哒科技股份有限公司，
类型：发明
国别省市：