一种数据分发方法及系统技术方案
【技术实现步骤摘要】
一种数据分发方法及系统
本专利技术涉及分布式系统的应用技术，尤其涉及大规模数据的数据分发方法及系统。
技术介绍
随着互联网的普及和网络应用技术的发展，应用系统的功能越来越强，规模越来越大。在一个大规模的应用系统中，数据生产者和数据消费者往往都由上百台乃至上千台服务器组成。数据生产者需要准实时地把数据分发给数据消费者，然后再由数据消费者对数据进行处理。由于数据生产者产生的数据量受到多种因素的影响，单位时间内各数据生产者产生的数据量往往严重不均，导致分发给数据消费者的数据也严重不均衡。这给数据消费者的后续处理带来很多问题，例如服务器的处理负载会严重不均、数据存储量会严重不均、部分系统资源没有充分利用等。如何将数据生产者产生的数据均匀地分发到数据消费者上，是此类大规模应用遇到的一个难题。特别是数据消费者再关联一系列数据存储服务器时，问题会变得更加复杂。
技术实现思路
本专利技术提供了一种实用的数据分发方法及系统，以解决大规模应用系统中需要将数据生产者生产的数据准实时均衡地分发到各数据消费者上的问题。一种数据分发系统，包括:数据均衡器、部署在数据生产者上的数据分发...
【技术保护点】
一种数据分发系统，包括：数据均衡器、部署在数据生产者上的数据分发器、部署在数据消费者上的数据接收器，所述数据均衡器向数据生产者和数据消费者发送存活确认信息进行存活状态的确认，并定时向得到确认的数据生产者发送新的待分发的数据消费者信息；所述数据分发器接收数据均衡器发送过来的数据消费者信息后会建立新的数据传输通道进行数据发送；所述数据接收器同数据分发器建立起新的数据传输通道进行数据的接收。
【技术特征摘要】
1.一种数据分发系统，包括:数据均衡器、部署在数据生产者上的数据分发器、部署在数据消费者上的数据接收器，所述数据均衡器向数据生产者和数据消费者发送存活确认信息进行存活状态的确认，并定时向得到确认的数据生产者发送新的待分发的数据消费者信息；所述数据分发器接收数据均衡器发送过来的数据消费者信息后会建立新的数据传输通道进行数据发送；所述数据接收器同数据分发器建立起新的数据传输通道进行数据的接收。2.如权利要求1所述的数据分发系统，其特征在于，所述存活确认信息包括心跳定时参数、数据分片定时参数、磁盘可用空间参数、NUMS_OF_CONSUME参数；所述数据均衡器发送数据消费者信息的定时频率通过数据分片定时参数配置。3.如权利要求2所述的数据分发系统，其特征在于，所述数据均衡器向数据生产者和数据消费者的服务器节点发送存活确认的信息，对得到确认的分别保留在数据生产者和数据消费者对应的当前存活列表中，对没有响应的分别放在数据生产者和数据消费者对应的当前不可达列表中；数据均衡器每隔一段时间向当前不可达的服务器节点发送存活确认信息，将后续可达的服务器添加到对应的当前存活列表中。4.如权利要求3所述的数据分发系统，其特征在于，所述数据均衡器还维护着数据生产者和数据消费者的当前异常列表，所述异常包括指定的存储空间达到上限、文件系统只读、服务器节点目前处在非集群模式。5.如权利要求3所述的数据分发系统，其特征在于，所述数据生产者根据待分发的数据消费者信息进行数据分发操作，通过滚动循环分发机制实现，所述滚动循环分发机制包括:数据均衡器完成当前存活列表的确认，并且数据生产者的当前存活列表和数据消费者的当前存活列表均有值的情况下，数据均衡器会生成一个数据生产者分发对应的循环表；在每次数据分发定时时间到的时候，数据均衡器会更新循环表，然后向数据生产者发送更新后的数据消费者信息；在循环表指到数据消费者的当前存活列表的尾后，会从数据消费者的当前存活列表的头重新开始。6.如权利要求4所述的数据分发系统，其特征在于，所述数据生产者在非集群模式下向数据消费者按照指定的一对多的数据分发模式进行数据分发，在非集群模式下，数据均衡器会将其添加到当前异常列表中，不再对其进行资源分发。7....
【专利技术属性】
技术研发人员：贾高峰，陶小龙，闫慧丽，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。