一种数据的分发方法及装置制造方法及图纸

本发明专利技术公开了一种数据的分发方法及装置。所述数据的分发方法，包括：接收至少一条实例数据；将至少一条所述实例数据记录在队列中；从所述队列中依次获取至少一条所述实例数据；将至少一条所述实例数据分发到至少一个服务器的一分表中，使得所述实例数据存储在所述服务器的所述分表中。本发明专利技术将数据分发给多个服务器进行数据分散存储，使数据均匀的分布在集群数据服务器中，解决了海量大数据的存储与快速读取的问题，能够减少主服务器的工作负荷，提高后续对数据的处理速度。

【技术实现步骤摘要】

本专利技术设及互联网
，特别设及一种数据的分发方法及装置。
技术介绍
在视频数据处理技术中，服务器需要从多个客户端接收视频数据和视频数据的相 关文件，相关文件可W为视频数据的描述文件，然后服务器对数据进行存储、建立索引等处 理。 当同时有成千上万的客户端给服务器发送数据时，给服务器的存储容量和处理能 力都带来巨大的挑战。
技术实现思路
本专利技术提供一种数据的分发方法及装置，用W将数据分发给多个服务器，W减少 主服务器的工作负荷。 一方面，提供一种数据的分发方法，包括： 接收至少一条实例数据； 将至少一条所述实例数据记录在队列中；[000引从所述队列中依次获取至少一条所述实例数据； 将至少一条所述实例数据分发到至少一个服务器的一分表中，使得所述实例数据 存储在所述服务器的所述分表中。 所述将至少一条所述实例数据分发到至少一个服务器的一分表中的步骤包括： 根据所述实例数据的ID与所述服务器之间的对应关系W及所述实例数据的ID与 所述分表之间的对应关系，将至少一条所述实例数据分发到至少一个服务器的一分表中。 所述根据所述实例数据的ID与所述服务器之间的对应关系W及所述实例数据的 ID与所述分表之间的对应关系，将至少一条所述实例数据分发到至少一个服务器的一分表 中的步骤之前，所述方法还包括： 建立所述实例数据的ID与所述服务器之间的对应关系W及所述实例数据的ID与 所述分表之间的对应关系。 所述建立所述实例数据的ID与所述服务器之间的对应关系W及所述实例数据的 ID与所述分表之间的对应关系的步骤包括： 对所述实例数据的ID，进行hash算法，生成ID的哈希值； 建立所述哈希值与所述服务器的标识之间的对应关系； 建立所述哈希值与所述分表的标识之间的对应关系。 所述建立所述哈希值与所述服务器的标识之间的对应关系的步骤包括： 根据哈希值的数量级，建立所述哈希值与所述服务器的标识之间的对应关系。 所述一条实例数据为一视频文件的一描述文件。 另一方面，本专利技术还提供一种数据的分发装置，包括： 接收单元，接收至少一条实例数据； 记录单元，将至少一条所述实例数据记录在队列中； 获取单元，从所述队列中依次获取至少一条所述实例数据； 分发单元，将至少一条所述实例数据分发到至少一个服务器的一分表中，使得所 述实例数据存储在所述服务器的所述分表中。 所述分发单元具体为： 根据所述实例数据的ID与所述服务器之间的对应关系W及所述实例数据的ID与 所述分表之间的对应关系，将至少一条所述实例数据分发到至少一个服务器的一分表中。 [002引所述的装置，还包括： 建立单元，建立所述实例数据的ID与所述服务器之间的对应关系W及所述实例 数据的ID与所述分表之间的对应关系。 所述建立单元包括：[003U 生成单元，对所述实例数据的ID,进行hash算法，生成ID的哈希值； 第一建立单元，建立所述哈希值与所述服务器的标识之间的对应关系； 第二建立单元，建立所述哈希值与所述分表的标识之间的对应关系。 本专利技术中，当主服务器接收实例数据后，将所述实例数据分发到至少一个其他服 务器的一分表中，使得所述实例数据存储在所述其他服务器的所述分表中，后续其他服务 器进行数据处理、建立索引等，使数据均匀地分布在集群数据服务器中，能够减少海量大数 据的存储与快速读取带来的问题，减少主服务器的工作负荷，提高后续对数据的处理速度。 本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明 书、权利要求书、W及附图中所特别指出的结构来实现和获得。 下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。【附图说明】 附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实 施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：[003引图1为本专利技术实施例中一种数据的分发方法的流程图； 图2为本专利技术实施例中一种数据的分发装置的连接示意图。【具体实施方式】 W下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实 施例仅用于说明和解释本专利技术，并不用于限定本专利技术。 如图1所示，为本专利技术所述的一种数据的分发方法的一实施例，包括： 步骤S11，接收至少一条实例数据；所述一条实例数据可W为一视频文件的一描 述文件。描述文件可W包括；视频的分段地址、视频资源的标题、视频资源的摘要、视频资源 的视频地址、数据资源的用户ID信息。 步骤S12,将至少一条所述实例数据记录在队列中； 步骤S13,从所述队列中依次获取至少一条所述实例数据； 步骤S14,将至少一条所述实例数据分发到至少一个服务器的一分表中，使得所述 实例数据存储在所述服务器的所述分表中。其中，步骤S14包括；根据所述实例数据的ID， hash计算出与所述服务器之间的对应关系W及所述实例数据与所述分表之间的对应关系， 将至少一条所述实例数据分发到至少一个服务器的一分表中。例如，实例数据的ID为ed3 f433d-bbl9-60f4-2e98-afc6d747cdc6,根据ID,进行hash计算，得到对应服务器1W及服 务器1中的分表2,则将实例数据分发到服务器1中的分表2中进行存储，W对实施数据进 行后续的其他处理（存储、数据处理、建立索引等）。 其中，实例数据和服务器之间的关系为多对一或一对一的关系，也就是说，不同的 实例数据可W放到同一服务器中，实例数据和服务器分表之间的关系为多对一或者一对一 的关系。也就是说同一实例数据，可W存储在同一类实例下的数据分表中。例如，实例电视 数据和实例专辑数据，它们可W存储到各自类下的分表中。 本专利技术中，当主服务器接收实例数据后，将所述实例数据分发到至少一个其他服 务器的一分表中，使得所述实例数据存储在所述其他服务器的所述分表中，后续其他服务 器进行数据处理、建立索引等，能够减少主服务器的工作负荷，提高后续对数据的处理速 度。 其中，步骤S14之前，所述方法还包括： 步骤S10,建立所述实例数据ID与所述服务器之间的对应关系W及所述实例数据 ID与所述分表之间的对应关系。 其中，步骤S10包括； 步骤101，对所述实例数据ID，进行哈希hash算法，生成哈希值； 步骤102,建立所述哈希值与所述服务器的标识之间的对应关系；该步骤具体为： 根据哈希值的数量级，建立所述哈希值与所述服务器的标识之间的对应关系。例如，哈希值 在0-1W的范围内的实例数据对应服务器1，哈希值在1W-2W的范围内的实例数据对应服务 器2。该样，通过实例数据ID的哈希值的数量级可W确定服务器。步骤103,建立所述哈希值与所述分表的标识之间的对应关系。 本专利技术中，通过hash算法，能够使得数据比较均匀地分配给各个服务器的各个分 表中。[005引如图2所示，为本专利技术所述的一种数据的分发装置，包括： 接收单元21，接收至少一条实例数据； 记录单元22,将至少一条所述实例数据记录在队列中；[0化引获取单元23,从所述队列中依次获取至少一条所述实例数据； 分发单元24,将至少一条所述实例数据分发到至少一个服务器的一分表中，使得 所述实例数据存储在所述服务器的所述分表中。 所述分本文档来自技高网...

【技术保护点】
一种数据的分发方法，其特征在于，包括：接收至少一条实例数据；将至少一条所述实例数据记录在队列中；从所述队列中依次获取至少一条所述实例数据；将至少一条所述实例数据分发到至少一个服务器的一分表中，使得所述实例数据存储在所述服务器的所述分表中。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨乾磊，
申请(专利权)人：天脉聚源北京传媒科技有限公司，
类型：发明
国别省市：北京;11