数据迁移方法和装置、存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种数据迁移方法和装置、存储介质及电子设备。该方法包括：获取第一组服务器的第一运行参数，第一运行参数为第一组服务器处理一组数据请求所形成的运行参数，一组数据请求用于请求对第一组服务器上存储的数据执行访问操作；在根据第一运行参数确定出需要对第一组服务器执行数据迁移操作的情况下，在第一组服务器上存储的数据中确定待迁移的第一数据集合；将第一数据集合从第一组服务器迁移到第二组服务器，在第一数据集合被迁移到第二组服务器之后，将第一目标数据请求设置为传输到第二组服务器进行处理，第一目标数据请求用于请求对第一数据集合中的数据执行访问操作。采用上述方式，能够平衡第一组服务和第二组服务器的负载。

Data migration method and device, storage medium and electronic equipment

【技术实现步骤摘要】
数据迁移方法和装置、存储介质及电子设备
本专利技术涉及计算机领域，具体而言，涉及一种数据迁移方法和装置、存储介质及电子设备。
技术介绍
目前，在遇到大量客户端请求时，通常采用限流频控方案，用于保护网络服务端的服务接口，避免突发大流量请求冲击系统，进而引起系统雪崩，无法对外继续提供服务，即对客户端的请求数量进行统计，当请求频率超过一定阈值时，则抛弃其他客户端请求，或者返回错误至客户端。主要有以下两种处理方式：一、单机频控。具体实现：服务器进程的内存中实时统计每秒处理的客户端请求数N，并保存配置的每秒最大请求数阈值Max。以任何一秒为例，业务进程每处理一个客户端请求，将N加1；在N小于Max时，进程正常为客户端提供服务；若N等于Max，则接下来的进程暂停服务；直到下一秒到来，N重置为0，进程继续正常提供服务，以此类推。二、如图1所示，为全局频控的示意图。业务进程部署在不同机器上，但每个进程的数据都存储在同一数据库中，需要考虑数据库服务器的压力，同样需要对其进行频控。全局频控阈值Gloabl_Max存储于专门的频控服务器(FcServer)中，在任何的一秒内，每个业务进程频控服务器申请频控量Single_Max，同时Global_Max扣除Single_Max；当Global_Max为0时，业务进程将无法申请频控量，拒绝对外提供服务；下一秒到来时，Global_Max重置为初始值，业务进程可以申请到频控量，继续为客户端提供服务。上述方案中，在单机频控的方式中，当服务器进程的客户端请求数达到最大请求数阈值时，会对接下来的进程暂停服务；在全局频控的方式中，当全局频控阈值为0时，业务进程将无法申请频控量，拒绝对外提供服务。也就是说，相关技术中，在遇到大量客户端请求时，会出现抛弃客户端请求的技术问题。针对相关技术中存在的技术问题，尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据迁移方法和装置、存储介质及电子设备，以至少解决相关技术中，在遇到大量客户端请求时，会出现抛弃客户端请求的技术问题。根据本专利技术实施例的一个方面，提供了一种数据迁移方法，包括：获取第一组服务器的第一运行参数，其中，上述第一运行参数为上述第一组服务器处理一组数据请求所形成的运行参数，上述一组数据请求用于请求对上述第一组服务器上存储的数据执行访问操作；在根据上述第一运行参数确定出需要对上述第一组服务器执行数据迁移操作的情况下，在上述第一组服务器上存储的数据中确定待迁移的第一数据集合；将上述第一数据集合从上述第一组服务器迁移到第二组服务器，其中，在上述第一数据集合被迁移到上述第二组服务器之后，将第一目标数据请求设置为传输到上述第二组服务器进行处理，上述第一目标数据请求用于请求对上述第一数据集合中的数据执行访问操作。根据本专利技术实施例的另一方面，还提供了一种数据迁移装置，包括：第一获取单元，用于获取第一组服务器的第一运行参数，其中，上述第一运行参数为上述第一组服务器处理一组数据请求所形成的运行参数，上述一组数据请求用于请求对上述第一组服务器上存储的数据执行访问操作；第一处理单元，用于在根据上述第一运行参数确定出需要对上述第一组服务器执行数据迁移操作的情况下，在上述第一组服务器上存储的数据中确定待迁移的第一数据集合；第二处理单元，用于将上述第一数据集合从上述第一组服务器迁移到第二组服务器，其中，在上述第一数据集合被迁移到上述第二组服务器之后，将第一目标数据请求设置为传输到上述第二组服务器进行处理，上述第一目标数据请求用于请求对上述第一数据集合中的数据执行访问操作。根据本专利技术实施例的又一方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述数据迁移方法的各种可选实现方式中提供的方法。根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器被设置为通过上述计算机程序执行执行上述数据迁移方法。通过本专利技术，首先，获取第一组服务器的第一运行参数，其中，第一运行参数为上述第一组服务器处理一组数据请求所形成的运行参数，上述一组数据请求用于请求对上述第一组服务器上存储的数据执行访问操作；如果根据第一运行参数确定出需要对第一组服务器进行数据迁移操作，那么，需要在第一组服务器上存储的数据中确定出待迁移的第一数据集合，最后，将这些待迁移的第一数据集合从第一组服务器迁移到第二组服务器，当发出对第一数据集合中的数据进行访问操作的第一目标数据请求时，该第一目标数据请求会通过第二组服务器进行处理。采用上述技术方案，在根据第一运行参数确定出需要对第一组服务器执行数据迁移操作时，表明第一组服务器无法对待迁移的第一数据集合进行相应的数据处理，此时，可以通过数据迁移操作，将这些第一数据集合从第一组服务器迁移到第二组服务器，并通过第二组服务器来继续处理该第一数据集合对应的第一目标数据请求，使得对第一数据集合的访问操作能够继续执行，并不会因为第一组服务器无法处理而中断，达到了在遇到大量客户端请求时，能够不间断的处理户端请求的技术效果，解决了相关技术中在遇到大量客户端请求时，会出现抛弃客户端请求的情况，可用性不足，在高并发场景容易影响用户体验的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是相关技术中一种数据迁移的示意图；图2是根据本专利技术实施例的一种数据迁移方法的应用环境的示意图；图3是根据本专利技术实施例的一种可选的数据迁移方法的流程示意图（一）；图4是根据本专利技术实施例的一种可选的数据迁移方法的流程示意图（二）；图5是根据本专利技术实施例的一种可选的迁移速度的示意图；图6是根据本专利技术实施例的一种可选的数据迁移方法的流程示意图（三）；图7是根据本专利技术实施例的一种可选的数据迁移装置的结构示意图；图8是根据本专利技术实施例的一种可选的电子设备的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括：/n获取第一组服务器的第一运行参数，其中，所述第一运行参数为所述第一组服务器处理一组数据请求所形成的运行参数，所述一组数据请求用于请求对所述第一组服务器上存储的数据执行访问操作；/n在根据所述第一运行参数确定出需要对所述第一组服务器执行数据迁移操作的情况下，在所述第一组服务器上存储的数据中确定待迁移的第一数据集合；/n将所述第一数据集合从所述第一组服务器迁移到第二组服务器，其中，在所述第一数据集合被迁移到所述第二组服务器之后，将第一目标数据请求设置为传输到所述第二组服务器进行处理，所述第一目标数据请求用于请求对所述第一数据集合中的数据执行访问操作。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：
获取第一组服务器的第一运行参数，其中，所述第一运行参数为所述第一组服务器处理一组数据请求所形成的运行参数，所述一组数据请求用于请求对所述第一组服务器上存储的数据执行访问操作；
在根据所述第一运行参数确定出需要对所述第一组服务器执行数据迁移操作的情况下，在所述第一组服务器上存储的数据中确定待迁移的第一数据集合；
将所述第一数据集合从所述第一组服务器迁移到第二组服务器，其中，在所述第一数据集合被迁移到所述第二组服务器之后，将第一目标数据请求设置为传输到所述第二组服务器进行处理，所述第一目标数据请求用于请求对所述第一数据集合中的数据执行访问操作。


2.根据权利要求1所述的方法，其特征在于，在所述第一组服务器上存储的数据中确定待迁移的第一数据集合，包括：
根据所述第一组服务器上存储的数据的访问参数，在所述第一组服务器上存储的数据中确定热点数据集合，其中，所述第一数据集合包括所述热点数据集合，所述热点数据集合的访问参数满足预设的第一迁移条件。


3.根据权利要求2所述的方法，其特征在于，根据所述第一组服务器上存储的数据的访问参数，在所述第一组服务器上存储的数据中确定热点数据集合，包括：
根据所述第一组服务器上存储的数据的访问次数，在所述第一组服务器上存储的数据中确定所述热点数据集合，其中，所述热点数据集合中的数据的访问次数大于预设次数阈值；和/或
根据所述第一组服务器上存储的数据的访问频率，在所述第一组服务器上存储的数据中确定所述热点数据集合，其中，所述热点数据集合中的数据的访问频率大于预设频率阈值。


4.根据权利要求1所述的方法，其特征在于，所述将所述第一数据集合从所述第一组服务器迁移到第二组服务器，包括：
按照动态调整的迁移速度，将所述第一数据集合从所述第一组服务器迁移到所述第二组服务器。


5.根据权利要求4所述的方法，其特征在于，所述按照动态调整的迁移速度，将所述第一数据集合从所述第一组服务器迁移到所述第二组服务器，包括：
在所述迁移速度小于第一预设速度阈值的情况下，按照第一迁移速度，将所述第一数据集合中的数据从所述第一组服务器迁移到所述第二组服务器，其中，所述第一迁移速度从预设的初始速度开始非线性增长；
在所述迁移速度等于或大于所述第一预设速度阈值的情况下，按照第二迁移速度，将所述第一数据集合中的数据从所述第一组服务器迁移到所述第二组服务器，其中，所述第二迁移速度从所述第一预设速度阈值开始线性增长。


6.根据权利要求5所述的方法，其特征在于，所述按照第一迁移速度，将所述第一数据集合中的数据从所述第一组服务器迁移到所述第二组服务器，包括：
按照指数增长的所述第一迁移速度，将所述第一数据集合中的数据从所述第一组服务器迁移到所述第二组服务器。


7.根据权利要求5所述的方法，其特征在于，在所述迁移速度小于第一预设速度阈值的情况下，按照第一迁移速度，将所述第一数据集合中的数据从所述第一组服务器迁移到所述第二组服务器，包括：
在所述迁移速度小于第一预设速度阈值、且所述第一组服务器处理数据请求的成功率大于预设成功率阈值的情况下，按照所述第一迁移速度，将所述第一数据集合中的数据从所述第一组服务器迁移到所述第二组服务器。


8.根据权利要求7所述的方法，其特征在于，所述按照动态调整的迁移速度，将所述第一数据集合从所述第一组服务器迁移到第二组服务器，包括：
在所述迁移速度等于第二预设速度阈值、且所述第一组服务器处理数据请求的成功率大于预设成功率阈值的情况下，...

【专利技术属性】
技术研发人员：谢亚晋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44