数据迁移的管理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据迁移的管理方法、装置、设备及存储介质。其中，一种数据迁移的管理方法，应用于数据迁移任务的管理平台，在获得数据迁移任务后，确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定时刻属于所述数据迁移任务的最早启动时刻和最晚启动时刻之间的时间段；确定利用专线宽带的服务响应任务；预测所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量，得到第二带宽占用量；当第一带宽占用量和第二带宽占用量的和值符合预定的所述专线宽带对应的流量控制条件时，在指定时刻停止执行所述数据迁移任务。本方案可以减少与数据迁移使用同一专线宽带的服务响应任务的执行异常。

Management methods, devices, equipment and storage media of data migration

【技术实现步骤摘要】
数据迁移的管理方法、装置、设备及存储介质
本专利技术涉及数据迁移
，特别是涉及一种数据迁移的管理方法、装置、设备及存储介质。
技术介绍
为了应对互联网服务的海量数据的特点，可以由存储集群存储数据，并由执行集群执行关于实现互联网服务的服务响应任务。在此基础上，如果执行集群在执行服务响应任务时需要使用存储集群所存储数据，那么，在任务执行之前，需要执行数据迁移任务。其中，所谓的数据迁移任务为：将存储集群所存储的数据迁移到执行集群的任务。但是，专利技术人在实现本专利技术的过程中发现：由于互联网服务的海量数据的特点，因此，在执行数据迁移任务时很可能需要迁移大量数据，从而占用大量带宽。那么，在数据迁移任务和服务响应任务共享同一专线宽带的场景下，容易造成数据迁移任务占用的专线宽带中，没有足够的可用带宽供服务响应任务占用，服务响应任务出现执行异常的问题。
技术实现思路
本专利技术实施例的目的在于提供一种数据迁移的管理方法、装置、设备及存储介质，以实现减少与数据迁移任务使用同一专线宽带的服务响应任务的执行异常的效果。具体技术方案如下：第一方面，本专利技术实施例提供了一种数据迁移的管理方法，应用于数据迁移任务的管理平台，该方法包括：在获得数据迁移任务后，确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定时刻属于所述数据迁移任务的最早启动时刻和最晚启动时刻之间的时间段；确定利用所述专线宽带的服务响应任务；预测所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量，得到第二带宽占用量；当所述第一带宽占用量和所述第二带宽占用量的和值符合预定的所述专线宽带对应的流量控制条件时，在所述指定时刻停止执行所述数据迁移任务。可选的，所述第一带宽占用量和所述第二带宽占用量的和值符合所述专线宽带对应的流量控制条件，包括：所述第一带宽占用量和所述第二带宽占用量的和值，大于所述专线宽带对应的带宽安全阈值。可选的，所述预测所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量，得到第二带宽占用量，包括：基于所述服务响应任务对于所述专线宽带在连续多个第一历史时刻的第一历史带宽占用量，利用预先训练得到的第一时序预测模型，对所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量进行预测，得到第二带宽占用量；其中，任一第一历史时刻在所述指定时刻之前，且相邻第一历史时刻间隔指定时间步长；其中，所述第一时序预测模型为基于第一训练样本集训练得到、用于预测带宽占用量的模型，所述第一训练样本集中包括第一样本序列，所述第一样本序列中包括所述服务响应任务对于所述专用带宽在连续多个第一样本时刻的第一样本带宽占用量，相邻第一样本时刻间隔所述指定时间步长。可选的，所述多个第一样本带宽占用量，采用如下步骤获得：针对每一第一样本时刻，从预存的针对所述服务响应任务的多个历史带宽占用量中，查找占用时刻为该第一样本时刻、且占用所述专线宽带的历史带宽占用量，得到所述多个第一样本带宽占用量。可选的，所述确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量，包括：如果所述数据迁移任务已启动，利用指定接口，采集所述数据迁移任务对所述专线宽带的带宽占用量，作为所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定接口为执行所述数据迁移任务的模块中，用于记录带宽占用量的接口；所述在所述指定时刻停止执行所述数据迁移任务，包括：在所述指定时刻停止针对所述数据迁移任务进行的数据迁移。可选的，所述确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量，包括：如果所述数据迁移任务未启动，基于所述数据迁移任务对于所述待利用专线宽带在连续多个第二历史时刻的第二历史带宽占用量，利用预先训练得到的第二时序预测模型，预测得到所述数据迁移任务在指定时刻的第一带宽占用量；其中，任一第二历史时刻在所述最早启动时刻之前，且相邻第二历史时刻间隔指定时间步长；其中，所述第二时序预测模型为基于第二训练样本集训练得到、用于预测带宽占用量的模型，所述第二训练样本集中包括第二样本序列，所述第二样本序列中包括所述数据迁移任务对于所述待利用专用带宽在连续多个第二样本时刻的第二样本带宽占用量，相邻第二样本时刻间隔指定时间步长；所述在所述指定时刻停止执行所述数据迁移任务，包括：如果所述数据迁移任务在所述指定时刻未启动，在所述指定时刻停止启动所述数据迁移任务；如果所述数据迁移任务在所述指定时刻已启动，在所述指定时刻停止针对所述数据迁移任务进行的数据迁移。第二方面，本专利技术实施例提供了一种数据迁移的管理装置，应用于数据迁移任务的管理平台，该装置包括：第一带宽占用量确定模块，用于在获得数据迁移任务后，确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定时刻属于所述数据迁移任务的最早启动时刻和最晚启动时刻之间的时间段；第二带宽占用量预测模块，用于确定利用所述专线宽带的服务响应任务；预测所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量，得到第二带宽占用量；流量控制模块，用于当所述第一带宽占用量和所述第二带宽占用量的和值符合预定的所述专线宽带对应的流量控制条件时，在所述指定时刻停止执行所述数据迁移任务。可选的，所述第一带宽占用量和所述第二带宽占用量的和值符合所述专线宽带对应的流量控制条件，包括：所述第一带宽占用量和所述第二带宽占用量的和值，大于所述专线宽带对应的带宽安全阈值。可选的，所述第二带宽占用量预测模块，具体用于：基于所述服务响应任务对于所述专线宽带在连续多个第一历史时刻的第一历史带宽占用量，利用预先训练得到的第一时序预测模型，对所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量进行预测，得到第二带宽占用量；其中，任一第一历史时刻在所述指定时刻之前，且相邻第一历史时刻间隔指定时间步长；其中，所述第一时序预测模型为基于第一训练样本集训练得到、用于预测带宽占用量的模型，所述第一训练样本集中包括第一样本序列，所述第一样本序列中包括所述服务响应任务对于所述专用带宽在连续多个第一样本时刻的第一样本带宽占用量，相邻第一样本时刻间隔所述指定时间步长。可选的，所述多个第一样本带宽占用量，采用如下步骤获得：针对每一第一样本时刻，从预存的针对所述服务响应任务的多个历史带宽占用量中，查找占用时刻为该第一样本时刻、且占用所述专线宽带的历史带宽占用量，得到所述多个第一样本带宽占用量。可选的，所述第一带宽占用量确定模块，具体用于：如果所述数据迁移任务已启动，利用指定接口，采集所述数据迁移任务对所述专线宽带的带宽占用量，作为所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定接口为执行所述数据迁移任务的模块中，用于记录带宽占用量的接口；所述流量控制模块，本文档来自技高网...

【技术保护点】
1.一种数据迁移的管理方法，其特征在于，应用于数据迁移任务的管理平台，所述方法包括：/n在获得数据迁移任务后，确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定时刻属于所述数据迁移任务的最早启动时刻和最晚启动时刻之间的时间段；/n确定利用所述专线宽带的服务响应任务；/n预测所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量，得到第二带宽占用量；/n当所述第一带宽占用量和所述第二带宽占用量的和值符合预定的所述专线宽带对应的流量控制条件时，在所述指定时刻停止执行所述数据迁移任务。/n

【技术特征摘要】
1.一种数据迁移的管理方法，其特征在于，应用于数据迁移任务的管理平台，所述方法包括：
在获得数据迁移任务后，确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定时刻属于所述数据迁移任务的最早启动时刻和最晚启动时刻之间的时间段；
确定利用所述专线宽带的服务响应任务；
预测所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量，得到第二带宽占用量；
当所述第一带宽占用量和所述第二带宽占用量的和值符合预定的所述专线宽带对应的流量控制条件时，在所述指定时刻停止执行所述数据迁移任务。


2.根据权利要求1所述的方法，其特征在于，所述第一带宽占用量和所述第二带宽占用量的和值符合所述专线宽带对应的流量控制条件，包括：
所述第一带宽占用量和所述第二带宽占用量的和值，大于所述专线宽带对应的带宽安全阈值。


3.根据权利要求1或2所述的方法，其特征在于，所述预测所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量，得到第二带宽占用量，包括：
基于所述服务响应任务对于所述专线宽带在连续多个第一历史时刻的第一历史带宽占用量，利用预先训练得到的第一时序预测模型，对所述服务响应任务对于所述专线宽带在所述指定时刻的带宽占用量进行预测，得到第二带宽占用量；
其中，任一第一历史时刻在所述指定时刻之前，且相邻第一历史时刻间隔指定时间步长；
其中，所述第一时序预测模型为基于第一训练样本集训练得到、用于预测带宽占用量的模型，所述第一训练样本集中包括第一样本序列，所述第一样本序列中包括所述服务响应任务对于所述专用带宽在连续多个第一样本时刻的第一样本带宽占用量，相邻第一样本时刻间隔所述指定时间步长。


4.根据权利要求3所述的方法，其特征在于，所述多个第一样本带宽占用量，采用如下步骤获得：
针对每一第一样本时刻，从预存的针对所述服务响应任务的多个历史带宽占用量中，查找占用时刻为该第一样本时刻、且占用所述专线宽带的历史带宽占用量，得到所述多个第一样本带宽占用量。


5.根据权利要求1或2所述的方法，其特征在于，所述确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量，包括：
如果所述数据迁移任务已启动，利用指定接口，采集所述数据迁移任务对所述专线宽带的带宽占用量，作为所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量；其中，所述指定接口为执行所述数据迁移任务的模块中，用于记录带宽占用量的接口；
所述在所述指定时刻停止执行所述数据迁移任务，包括：
在所述指定时刻停止针对所述数据迁移任务进行的数据迁移。


6.根据权利要求1或2所述的方法，其特征在于，所述确定所述数据迁移任务对于待利用专线宽带在指定时刻的第一带宽占用量，包括：
如果所述数据迁移任务未启动，基于所述数据迁移任务对于所述待利用专线宽带在连续多个第二历史时刻的第二历史带宽占用量，利用预先训练得到的第二时序预测模型，预测得到所述数据迁移任务在指定时刻的第一带宽占用量；其中，任一第二历史时刻在所述最早启动时刻之前，且相邻第二历史时刻间隔指定时间步长；
其中，所述第二时序预测模型为基于第二训练样本集训练得到、用于预测带宽占用量的模型，所述第二训练样本集中包括第二样本序列，所述第二样本序列中包括所述数据迁移任务对于所述待利用专用带宽在连续多个第二样本时刻的第二样本带宽占用量，相邻第二样本时刻间隔指定时间步长；
所述在所述指定时刻停止执行所述数据迁移任务，包括：
如果所述数据迁移任务在所述指定时刻未启动，在所述指定时刻停止启动所述数据迁移任务；
如果所述数据迁移任务在所述指定时刻已启动，在所述指定时刻停止针对所述数据迁移任务进行的数据迁移。


7.一种数据迁移的管理装置，其特征在于，应用于数据迁移任务的管理平台，所述装置包括：
第一带宽占用量确定模块，用于在获得数据迁移任务后，确定所述...

【专利技术属性】
技术研发人员：陈越晨，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11