本发明专利技术涉及一种数据迁移方法、装置、计算机设备和存储介质，该方法包括：接收数据迁移指令；其中，数据迁移指令包括：源数据库信息、目标数据库信息、和待迁移数据；获取目标数据库的多源性能数据；从目标数据库的多源性能数据中提取特征数据；将特征数据输入预测模型中，根据特征数据生成多个不同时间尺度的特征数据，并根据多个不同时间尺度的特征数据得到目标数据库的性能预测结果；根据性能预测结果，生成迁移数据的迁移规则，根据迁移规则进行待迁移数据的迁移。上述方法能够提高数据迁移效率。移效率。移效率。
【技术实现步骤摘要】
数据迁移方法、装置、计算机设备和存储介质
[0001]本专利技术涉及数据迁移
，特别是涉及数据迁移方法、装置、计算机设备和存储介质。
技术介绍
[0002]在数据库表的应用过程中，随着记录的数据不断增多，一方面可能使得数据查询速度变慢，另一方面可能造成空间不足，无法存储新数据，所以需要对数据库表中的数据进行迁移。
[0003]然而，传统的历史数据迁移都是由DBA主导，在数据库层面采用一刀切的迁移方式，一次性将时间截点前的历史数据迁移完毕。这样的迁移方式必须停止系统的应用服务才能进行数据的迁移，具有较差的用户体验。同一数据库不同业务数据的保存周期也有一定差异，该迁移方式无法针对该情况进行定制化处理。而且当数据迁移失败时，只能回滚相关提交，然后重新尝试迁移，缺乏相关的应急措施和补偿机制，不利于实际操作。
[0004]综上所述，如何提高数据迁移效率是目前本领域技术人员亟待解决的问题。
技术实现思路
[0005]本申请提供了一种数据迁移方法、装置、计算机设备和存储介质。
[0006]第一方面提供了一种数据迁移方法，包括：
[0007]接收数据迁移指令；其中，所述数据迁移指令包括：源数据库信息、目标数据库信息、和待迁移数据；
[0008]获取目标数据库的多源性能数据；
[0009]从所述目标数据库的多源性能数据中提取特征数据；
[0010]将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果；
[0011]根据所述性能预测结果，生成所述迁移数据的迁移规则，根据所述迁移规则进行待迁移数据的迁移。
[0012]在一些实施例中，所述预测模型包括第一预测单元和第二预测单元；
[0013]所述将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果，包括：
[0014]将所述特征数据输入第一预测单元中，对所述特征数据进行多个时间尺度的离散小波变换，得到各个时间尺度的第一特征矩阵，所述第一预测单元根据所述第一特征矩阵得到所述目标数据库的第一预测结果；
[0015]将所述特征数据输入第二预测单元中，所述第二预测单元对所述特征数据进行多个不同时间尺度的下采样，得到各个时间尺度的第二特征矩阵，所述第二模型根据所述第二特征矩阵得到所述目标数据库的第二预测结果；
[0016]聚合所述第一预测结果和所述第二预测结果，得到所述目标数据库的性能预测结果。
[0017]在一些实施例中，所述第一预测单元包括小波变换模型和XGBoost模型，所述第二预测单元包括CNN模型和GRU模型；
[0018]所述第一预测单元根据所述第一特征矩阵得到所述目标数据库的第一预测结果，包括：
[0019]将所述第一特征矩阵输入所述XGBoost模型，得到所述目标数据库性能数据的第一预测结果；
[0020]所述所述第二模型根据所述第二特征矩阵得到所述目标数据库的第二预测结果，包括：
[0021]将所述第二特征矩阵输入所述CNN模型进行卷积和池化操作，得到多个时间尺度的第一特征向量；
[0022]对所述多个时间尺度的第一特征向量进行序列长度的补充，使得所述第一特征向量具有相同维数；
[0023]将所述第一特征向量输入所述GRU模型，采用所述GRU模型对所述第一特征向量进行时序分析，生成第二特征向量；
[0024]采用预设长度的全连接层及softmax分类器对所述第二特征向量进行分类评分，得到得到所述目标数据库性能数据的第二预测结果。
[0025]在一些实施例中，所述聚合所述第一预测结果和所述第二预测结果，得到所述目标数据库的性能预测结果，包括：
[0026]通过预设长度的全连接层聚合所述第一预测结果和所述第二预测结果，输出层输出最终的数据迁移结果。
[0027]在一些实施例中，所述根据所述性能预测结果，生成所述迁移数据的迁移规则，根据所述迁移规则进行待迁移数据的迁移，包括：
[0028]根据所述目标数据库的性能预测结果和所述待迁移数据迁出所述源数据库的时间轴，确定所述待迁移数据中的当前目标迁移数据；
[0029]根据所述数据迁移指令，从预设的模板数据库中确定出与所述数据迁移指令对应的迁移模板，所述迁移模板为事先编辑好的用于数据迁移的脚本框架；
[0030]将所述源数据库信息、目标数据库信息和迁移对象信息添加到确定出的迁移模板中，以形成迁移脚本程序；
[0031]执行所述迁移脚本程序以实现当前目标迁移数据的迁移。
[0032]在一些实施例中，在所述当前目标迁移数据的迁移过程中，按照预设的时间间隔周期性的生成迁移日志；
[0033]所述执行所述迁移脚本程序以实现当前目标迁移数据的迁移，包括：
[0034]当所述数据迁移任务重启之后，从最后记录的数据位置开始继续从所述原数据库向所述新数据库中迁移所述当前目标迁移数据。
[0035]在一些实施例中，所述第二预测单元还包括Dropout层，所述Dropout层设置在GRU模型与全连接层之间。
[0036]第二方面提供了一种数据迁移装置，包括：
[0037]指令触发单元，用于接收数据迁移指令；其中，所述数据迁移指令包括：源数据库信息、目标数据库信息、和待迁移数据；
[0038]获取单元，用于获取目标数据库的多源性能数据；
[0039]特征提取单元，用于从所述目标数据库的多源性能数据中提取特征数据；
[0040]预测单元，用于将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果；
[0041]迁移单元，用于根据所述性能预测结果，生成所述迁移数据的迁移规则，根据所述迁移规则进行待迁移数据的迁移。
[0042]第三方面提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述数据迁移方法的步骤。
[0043]第四方面提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述数据迁移方法的步骤。
[0044]上述数据迁移方法、装置、计算机设备和存储介质，收数据迁移指令；其中，所述数据迁移指令包括：源数据库信息、目标数据库信息、和待迁移数据；获取目标数据库的多源性能数据；从所述目标数据库的多源性能数据中提取特征数据；将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果；根据所述性能预测结果，生成所述迁移数据的迁移规则，根据所述迁移规则进行待迁本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：接收数据迁移指令；其中，所述数据迁移指令包括：源数据库信息、目标数据库信息、和待迁移数据；获取目标数据库的多源性能数据；从所述目标数据库的多源性能数据中提取特征数据；将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果；根据所述性能预测结果，生成所述迁移数据的迁移规则，根据所述迁移规则进行待迁移数据的迁移。2.根据权利要求1所述的数据迁移方法，其特征在于，所述预测模型包括第一预测单元和第二预测单元；所述将所述特征数据输入预测模型中，根据所述特征数据生成多个不同时间尺度的特征数据，并根据所述多个不同时间尺度的特征数据得到所述目标数据库的性能预测结果，包括：将所述特征数据输入第一预测单元中，对所述特征数据进行多个时间尺度的离散小波变换，得到各个时间尺度的第一特征矩阵，所述第一预测单元根据所述第一特征矩阵得到所述目标数据库的第一预测结果；将所述特征数据输入第二预测单元中，所述第二预测单元对所述特征数据进行多个不同时间尺度的下采样，得到各个时间尺度的第二特征矩阵，所述第二模型根据所述第二特征矩阵得到所述目标数据库的第二预测结果；聚合所述第一预测结果和所述第二预测结果，得到所述目标数据库的性能预测结果。3.根据权利要求2所述的数据迁移方法，其特征在于，所述第一预测单元包括小波变换模型和XGBoost模型，所述第二预测单元包括CNN模型和GRU模型；所述第一预测单元根据所述第一特征矩阵得到所述目标数据库的第一预测结果，包括：将所述第一特征矩阵输入所述XGBoost模型，得到所述目标数据库性能数据的第一预测结果；所述所述第二模型根据所述第二特征矩阵得到所述目标数据库的第二预测结果，包括：将所述第二特征矩阵输入所述CNN模型进行卷积和池化操作，得到多个时间尺度的第一特征向量；对所述多个时间尺度的第一特征向量进行序列长度的补充，使得所述第一特征向量具有相同维数；将所述第一特征向量输入所述GRU模型，采用所述GRU模型对所述第一特征向量进行时序分析，生成第二特征向量；采用预设长度的全连接层及softmax分类器对所述第二特征向量进行分类评分，得到得到所述目标数据库性能数据的第二预测结果。4.根据权利要求2所述的数据迁移方法，其特征在于，所述聚合所述第一预测结果和所述第...
【专利技术属性】
技术研发人员：张继龙，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。