【技术实现步骤摘要】
数据处理方法、装置、存储介质及管理服务器
[0001]本申请涉及数据库
,尤其涉及一种数据处理方法、装置、存储介质及管理服务器。
技术介绍
[0002]实时主备由一个主库以及一个或者多个配置了实时归档的备库组成,其主要目的是保障数据库可用性,提高数据安全性。而主库与备库之间需要进行数据同步,还需要进行数据备份和数据恢复,目前的数据备份过程和数据恢复过程的效率和正确率不够高。
技术实现思路
本申请实施例提供一种数据处理方法、装置、存储介质及管理服务器,能够提高主备系统的数据备份和数据恢复过程的效率和正确率。
[0003]本申请实施例提供了一种数据处理方法,应用于分布式主备系统中,所述主备系统包括管理服务器和至少一个主库、多个备库,所述管理服务器分别与每个主库、每个备库通信连接,每个主库与至少一个备库通信连接,每个主库与所连接的至少一个备库之间的数据保持同步,所述数据处理方法应用于所述管理服务器中,所述数据处理方法包括:获取与所述主备系统通信连接的目标存储设备的网络位置;获取目标主库的第一数据集的第一数据属性,或者,所述目标存储设备中的第二数据集的第二数据属性,其中,所述目标主库为至少一个主库中的其中一个主库;根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态;根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离;根据所述第一数据属性、所述网络状态和所述网络距离,确定所述目标主库将所述第 ...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于分布式主备系统中,所述主备系统包括管理服务器和至少一个主库、多个备库,所述管理服务器分别与每个主库、每个备库通信连接,每个主库与至少一个备库通信连接,每个主库与所连接的至少一个备库之间的数据保持同步,所述数据处理方法应用于所述管理服务器中,所述数据处理方法包括:获取与所述主备系统通信连接的目标存储设备的网络位置;获取目标主库的第一数据集的第一数据属性,或者,所述目标存储设备中的第二数据集的第二数据属性,其中,所述目标主库为至少一个主库中的其中一个主库;根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库分别与所述目标存储设备之间的网络状态;根据所述网络位置确定所述目标主库、与所述目标主库通信连接的至少一个备库到所述目标存储设备之间的网络距离;根据所述第一数据属性、所述网络状态和所述网络距离,确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式,或者,根据所述第二数据属性、所述网络状态和所述网络距离,确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。2.根据权利要求1所述的方法,其特征在于,所述管理服务器中包括传输方式确定模型,所述传输方式确定模型包括传输特征提取模块、融合模块和传输方式确定模块;所述根据所述第一数据属性、所述网络状态和所述网络距离,确定所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式,或者,根据所述第二数据属性、所述网络状态和所述网络距离,确定所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式的步骤,包括:将所述第一数据属性、所述网络状态和所述网络距离,或者,所述第二数据属性、所述网络状态和所述网络距离,输入至所述传输特征提取模块中进行特征提取处理,以分别得到传输属性特征、传输状态特征、传输距离特征;将所述传输属性特征、所述传输状态特征、所述传输距离特征,输入至所述融合模块进行特征融合处理,以得到传输方式特征;将所述传输方式特征,输入至所述传输方式确定模块中进行传输方式确定处理,以得到数据传输方式;将所述数据传输方式,作为所述目标主库将所述第一数据集备份至所述目标存储设备中的数据传输方式,或者,将所述数据传输方式,作为所述目标存储设备将所述第二数据集恢复至所述目标主库或者恢复至与所述目标主库连接的至少一个备库的数据传输方式。3.根据权利要求2所述的方法,其特征在于,所述融合模块中包括所述传输属性特征、所述传输状态特征、所述传输距离特征分别对应的属性权重参数、状态权重参数、距离权重参数;所述将所述传输属性特征、所述传输状态特征、所述传输距离特征,输入至所述融合模块进行特征融合处理,以得到传输方式特征的步骤,包括:将所述传输属性特征、所述传输状态特征、所述传输距离特征输入至所述融合模块中;根据所述传输属性特征、所述传输状态特征、所述传输距离特征、所述属性权重参数、所述状态权重参数、所述距离权重参数来进行特征融合处理,以得到传输方式特征。
4.根据权利要求2所述的方法,其特征在于,所述第一数据属性和所述第二数据属性均包括数据量大小、数据类型中的至少一个;所述传输特征提取模块中包括获取数据量大小、数据类型中的至少一个所对应的数据权重参数;将所述第一数据属性,或者,所述第二数据属性,输入至所述传输特征提取模块中进行特征提取处理,以得到传输属性特征,包括:将所述第一数据属性/所述第二数据属性,输入至所述传输特征提取模块中,以根据所述第一数据属性/所述第二数据属性中的数据量大小、数据类型中的至少一个与对应的数据权重参数,来得到传输属性特征。5.根据权利要求1所述的方法,其特征在于,所述网络状态包括网络延迟时间、丢包率、带宽速度中的至少一个,所述网络位置通过所述目标存储设备的IP地址和端口,或者所述目标存储设备的域名表征;所述...
【专利技术属性】
技术研发人员:周高登,陈立军,蒋国纬,陈华正,
申请(专利权)人:武汉吧哒科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。