数据分配方法、装置、服务器及存储介质制造方法及图纸

本公开关于一种数据分配方法、装置、服务器及存储介质。所述方法包括：获取待分配数据，待分配数据表示用于提供目标服务所需处理的数据；根据预设数量配置相应数量的令牌，预设数量表示用于共同处理所述待分配数据以提供所述目标服务的实例的数量；建立待分配数据与令牌的映射关系；响应于预设数量的实例发送的令牌获取请求，分别向各实例发送令牌；当各实例获得令牌时，响应于各实例发送的携带有令牌的数据获取请求，根据携带的令牌以及映射关系，向各实例分配对应的数据。采用本方法可以避免为每个实例单独配置映射到相应数据的参数所需的繁琐操作。

Data distribution method, device, server and storage medium

【技术实现步骤摘要】
数据分配方法、装置、服务器及存储介质
本公开涉及数据处理
，尤其涉及数据分配方法、装置、服务器及存储介质。
技术介绍
分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统，可以应用于互联网行业的多个服务，例如视频推荐、数据分析等。分布式系统通常包含多个用于处理数据的节点服务器(简称实例)，相关技术中为各实例分配数据的方案如下：给每一个实例配置一个启动参数，每个启动参数映射至待处理数据中的一部分数据，根据各实例的启动参数以及启动参数与数据的映射关系，为各实例分配相应的数据，由各实例分别对相应的数据进行处理。然而，相关技术中由于需要为每个实例单独配置启动参数，导致维护难度大，比如当服务规模较大需要增加添加实例时，需要为所有实例重新配置启动参数，工作量大，难以维护。
技术实现思路
本公开提供一种数据分配方法、装置、服务器和存储介质，以至少解决相关技术中由于需要为每一个实例单独配置启动参数导致维护难度大的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种数据分配方法，包括：获取待分配数据，所述待分配数据表示用于提供目标服务所需处理的数据；根据预设数量配置相应数量的令牌，所述预设数量表示用于共同处理所述待分配数据以提供所述目标服务的实例的数量；建立所述待分配数据与所述令牌的映射关系；响应于所述预设数量的实例发送的令牌获取请求，分别向各所述实例发送令牌；当各所述实例获得令牌时，响应于各所述实例发送的携带有令牌的数据获取请求，根据携带的所述令牌以及所述映射关系，向各所述实例分配对应的数据。可选的，所述建立所述待分配数据与所述令牌的映射关系，包括：对所述待分配数据进行分片，获得预设数量的分片数据；根据所述令牌的数量，对所述预设数量的分片数据进行分组，将同一组数据中的各分片数据映射至同一令牌。可选的，所述根据所述令牌的数量，对所述预设数量的分片数据进行分组，将同一组数据中的各分片数据映射至同一令牌，包括：对各所述分片数据进行连续编号，获得各所述分片数据的序号；将各所述分片数据的序号对所述令牌的数量求余，将相同余数对应的分片数据作为同一组数据并映射至同一令牌。可选的，所述响应于所述预设数量的实例发送的令牌获取请求，分别向各所述实例发送令牌，包括：实时监测各所述实例发送的令牌获取请求，各所述令牌获取请求携带有所述实例的身份标识；当接收到所述令牌获取请求时，根据所述身份标识查找关联的令牌；当根据所述身份标识未查找到关联的令牌时，查找未被分配的可用令牌；当查找到未被分配的可用令牌时，从所述可用令牌中为所述实例分配令牌，并将分配的所述令牌与所述实例的身份标识关联，向所述实例发送分配的所述令牌。可选的，当根据所述身份标识查找到关联的令牌时，向所述实例发送所述关联的令牌。可选的，在所述向所述实例发送令牌之后，还包括：在所述令牌的有效期内，实时监测与所述令牌关联的所述实例发送的令牌获取请求；若在所述令牌的有效期内，未接收到与所述令牌关联的所述实例发送的令牌获取请求，则解除所述令牌与所述实例的关联，将解除关联后的所述令牌作为待重新分配的可用令牌。可选的，在所述将解除关联后的所述令牌作为待重新分配的可用令牌之后，还包括：当接收到未与任何令牌关联的实例发送的令牌获取请求时，向所述实例发送所述待重新分配的可用令牌。根据本公开实施例的第二方面，提供一种数据分配装置，包括：获取模块，被配置为获取待分配数据，所述待分配数据表示用于提供目标服务所需处理的数据；令牌配置模块，被配置为根据预设数量配置相应数量的令牌，所述预设数量表示用于共同处理所述待分配数据以提供所述目标服务的实例的数量；映射模块，被配置为建立所述待分配数据与所述令牌的映射关系；令牌管理模块，被配置为响应于所述预设数量的实例发送的令牌获取请求，分别向各所述实例发送令牌；分配模块，被配置为当各所述实例获得令牌时，响应于各所述实例发送的携带有令牌的数据获取请求，根据携带的所述令牌以及所述映射关系，向各所述实例分配对应的数据。可选的，所述映射模块包括：分片单元，被配置为对所述待分配数据进行分片，获得预设数量的分片数据；映射单元，被配置为根据所述令牌的数量，对所述预设数量的分片数据进行分组，将同一组数据中的各分片数据映射至同一令牌。可选的，所述映射子模块包括：编号子单元，被配置为对各所述分片数据进行连续编号，获得各所述分片数据的序号；映射子单元，被配置为将各所述分片数据的序号对所述令牌的数量求余，将相同余数对应的分片数据作为同一组数据并映射至同一令牌。可选的，所述令牌管理模块包括：第一监测单元，被配置为实时监测各所述实例发送的令牌获取请求，各所述令牌获取请求携带有所述实例的身份标识；查找单元，被配置为当接收到所述令牌获取请求时，根据所述身份标识查找关联的令牌；第一响应单元，被配置为当根据所述身份标识未查找到关联的令牌时，查找未被分配的可用令牌，当查找到未被分配的可用令牌时，从所述可用令牌中为所述实例分配令牌，并将分配的所述令牌与所述实例的身份标识关联，向所述实例发送分配的所述令牌。可选的，所述令牌管理模块还包括：第二响应单元，被配置为当根据所述身份标识查找到关联的令牌时，向所述实例发送所述关联的令牌。可选的，所述令牌管理模块还包括：第二监测单元，被配置为在所述向所述实例发送令牌之后，在所述令牌的有效期内，实时监测与所述令牌关联的所述实例发送的所述令牌获取请求；第三响应单元，被配置为若在所述令牌的有效期内，未接收到与所述令牌关联的所述实例发送的令牌获取请求，则解除所述令牌与所述实例的关联，将解除关联后的所述令牌作为待重新分配的可用令牌。可选的，所述令牌管理模块还包括：第四响应单元，被配置为在所述将解除关联后的所述令牌作为待重新分配的可用令牌之后，当接收到未与任何令牌关联的实例发送的令牌获取请求时，向所述实例发送所述待重新分配的可用令牌。根据本公开实施例的第三方面，提供一种服务器，包括处理器和用于存储所述处理器可执行指令的存储器，其中，所述处理器被配置为执行所述指令，以实现第一方面中任一所述方法的步骤。根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行第一方面中任一所述方法的步骤。根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面中任一所述方法的步骤。本公开的实施例提供的技术方案至少带来以下有益效果：通过配置用于访问待分配数据的令牌，建立待分配数据与令牌的映射关系本文档来自技高网...

【技术保护点】
1.一种数据分配方法，其特征在于，包括：/n获取待分配数据，所述待分配数据表示用于提供目标服务所需处理的数据；/n根据预设数量配置相应数量的令牌，所述预设数量表示用于共同处理所述待分配数据以提供所述目标服务的实例的数量；/n建立所述待分配数据与所述令牌的映射关系；/n响应于所述预设数量的实例发送的令牌获取请求，分别向各所述实例发送令牌；/n当各所述实例获得令牌时，响应于各所述实例发送的携带有令牌的数据获取请求，根据携带的所述令牌以及所述映射关系，向各所述实例分配对应的数据。/n

【技术特征摘要】
1.一种数据分配方法，其特征在于，包括：
获取待分配数据，所述待分配数据表示用于提供目标服务所需处理的数据；
根据预设数量配置相应数量的令牌，所述预设数量表示用于共同处理所述待分配数据以提供所述目标服务的实例的数量；
建立所述待分配数据与所述令牌的映射关系；
响应于所述预设数量的实例发送的令牌获取请求，分别向各所述实例发送令牌；
当各所述实例获得令牌时，响应于各所述实例发送的携带有令牌的数据获取请求，根据携带的所述令牌以及所述映射关系，向各所述实例分配对应的数据。


2.根据权利要求1所述的方法，其特征在于，所述建立所述待分配数据与所述令牌的映射关系，包括：
对所述待分配数据进行分片，获得预设数量的分片数据；
根据所述令牌的数量，对所述预设数量的分片数据进行分组，将同一组数据中的各分片数据映射至同一令牌。


3.根据权利要求2所述的方法，其特征在于，所述根据所述令牌的数量，对所述预设数量的分片数据进行分组，将同一组数据中的各分片数据映射至同一令牌，包括：
对各所述分片数据进行连续编号，获得各所述分片数据的序号；
将各所述分片数据的序号对所述令牌的数量求余，将相同余数对应的分片数据作为同一组数据并映射至同一令牌。


4.根据权利要求1所述的方法，其特征在于，所述响应于所述预设数量的实例发送的令牌获取请求，分别向各所述实例发送令牌，包括：
实时监测各所述实例发送的令牌获取请求，各所述令牌获取请求携带有所述实例的身份标识；
当接收到所述令牌获取请求时，根据所述身份标识查找关联的令牌；
当根据所述身份标识未查找到关联的令牌时，查找未被分配的可用令牌；
当查找到未被分配的可用令牌时，从所述可用令牌中为所述实例分配令牌，并将分配的所述令牌与所述实例的身份标识关联，向所述实例发送分配的所述令牌。


5.根据权利要求...

【专利技术属性】
技术研发人员：于晓伟，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11