一种面向大规模网络的实时高可靠消息分发系统及其方法技术方案

一种面向大规模网络的实时高可靠消息分发系统及其方法属于网络传输领域；装置包括多媒体平台连接中央服务器，一个中央服务器连接若干个中转服务器，一个中转服务器连接若干个终端用户，若干个终端用户分成若干个小组，每个小组之间的终端用户相互连接；方法包括中央服务器广播一条控制信息，确定当前在线的终端用户及其状态；当中央服务器分发消息时，通过RabbitMQ传输文件信息，终端用户接收到消息信息后，返回一个反馈信息，建立对应的消息传输队列；当发送消息过大时，用P2P进行多媒体文件的分发；终端用户收到完整的种子文件后，终端用户开启本地P2P下载进程；本发明专利技术有效的解决了网络数据在分发过程中无法兼顾实时性与可靠性的问题。

【技术实现步骤摘要】
一种面向大规模网络的实时高可靠消息分发系统及其方法
本专利技术属于网络传输领域，尤其涉及一种面向大规模网络的实时高可靠消息分发系统及其方法。
技术介绍
如今，高速发展的互联网已经成为生活中不可或缺的一部分，如何实现大规模、实时和高可靠的数据传输一直是互联网研究的热门方向。在互联网出现伊始，由于数据量都比较小，大规模的数据分发不会产生太大的时间与资源消耗。但是随着流媒体的不断发展和网络用户的不断增加，蓝光视频、软件更新和在线视频流等的分发越来越需要更多的网络资源，基于内容的服务和应用呈现指数增长。据估计，视频流量将占所有消费者互联网流量的82％。而网络内容分发需要提供较低的延迟、快速的传输速度和服务的可靠性，所以解决网络数据分发的实时性与可靠性是一个需要解决的问题。
技术实现思路
本专利技术克服了上述现有技术的不足，提供一种面向大规模网络的实时高可靠消息分发系统及其方法。本专利技术的技术方案：一种面向大规模网络的实时高可靠消息分发系统，包括多媒体数据、中央服务器、中转服务器和终端用户；所述多媒体数据是多媒体资源的生产者，用于生产多媒体资源，是众多多媒体平台；所述中央服务器用于资源控制分发，存储所有的多媒体资源；所述中转服务器用于存储有资源副本，架设在各个不同的地区，向本地区用户分发资源；所述终端用户是多媒体资源的请求者和使用者；所述多媒体平台连接中央服务器，所述一个中央服务器连接若干个中转服务器，所述一个中转服务器连接若干个终端用户，所述若干个终端用户分成若干个小组，每个小组之间的终端用户相互连接。进一步地，所述中央服务器与中转服务器之间通过AMQP传输控制命令，用RabbitMQ实现一个控制信息的消息通道，所述中转服务器与终端用户之间通过所述消息通道传输调度命令。一种基于所述面向大规模网络的实时高可靠消息分发系统实现的面向大规模网络的实时高可靠消息分发的方法，包括以下步骤：步骤a、中央服务器通过控制RabbitMQ经过中转服务器向终端用户广播一条控制信息，确定当前在线的终端用户及其状态；步骤b、当中央服务器需要向终端用户分发消息时，中央服务器通过RabbitMQ传输接下来所要发送的文件的信息，经过各个中转服务器，使各个终端用户接收到中央服务器端发送的消息信息后，返回一个接收反馈信息，根据所传输的消息信息，建立对应的消息传输队列；步骤c、中央服务器在消息发送前，会发送一个确认消息确认当前消息队列的建立情况，满足需求后向所述通道广播对应的消息；步骤d、当所需要发送的消息过大时，系统会使用P2P进行多媒体文件的分发，会先发送一个种子的长度信息给各个需要接收该消息的终端用户，终端用户反馈接收情况；步骤e、中央服务器端通过中转服务器向终端用户传输之后所需要分发的消息文件的种子文件，终端用户收到完整的种子文件后，通过中转服务器给中央服务器发送一个反馈，终端用户开启本地P2P下载进程，通过所述种子文件中的信息下载种子文件。进一步地，步骤b中各个终端用户接收到中央服务器端发送的消息信息后，终端用户会读取所述消息信息，判断所述要分发的文件是否已被发送过，若发送过，则不进行处理；若未发送过，则根据文件的大小，使用对应分发造作对文件进行分发。进一步地，当所需要发送的文件小时，采用RabbitMQ对小文件进行分发，方法如下：在文件分发过程中，中转服务器读取当前多媒体文件需要下发的节点，将需要下发文件的文件信息通过所述通道传输给当前在线的需要接收的节点；当终端用户接收到传送而来的文件基本信息后，将自己的节点信息和接收到的文件配置信息验证通过中转服务器反馈中央服务器，同时建立相应的文件接收队列；中央服务器通过所述通道，收集已经完成通道建立的用户节点的信息，向建立完成接收通道的节点分发文件内容；在终端用户异步接收所述文件，并在接收完成后返回一个正确接收反馈。进一步地，使用RabbitMQ对小文件进行分发时，分为两种分发方式，分别是直接分发模式和订阅/广播分发模式；如果只需要向部分节点传输文件，优先使用直接分发模式，分别向这些节点分发文件；如果需要向全部节点分发文件，优先使用订阅/广播模式。进一步地，步骤d中所述当消息过大时，使用P2P进行分发，分发方法如下：步骤d1、中央服务器读取目录，扫描需要分发的文件，并生成文件的种子文件；步骤d2、中央服务器将文件的种子文件信息下发至需要接收该文件的节点；步骤d3、中央服务器接收到接收节点接收通道建立完成的反馈后，使用通道传输种子文件；步骤d4、中央服务器将文件信息通过通道下发至中转服务器；当中转服务器建立接收通道后，中央服务器向中转服务器下发文件；步骤d5、中央服务器接收到中转服务器接收完成的反馈，向所有终端用户分发接文件的文件信息，节点在接收到文件信息后，开启BitTorrent下载，解析文件的种子信息，向中转服务器请求下载；步骤d6、终端节点在接收完成文件后，向服务器端发送接收完成反馈；步骤d7、如果大部分节点接受完成配置，则返回步骤d1；否则等待终端节点接收。本专利技术相对于现有技术具有以下有益效果：本专利技术公开了一种面向大规模网络的实时高可靠消息分发系统及其方法，通过采用将AMQP技术与P2P技术相融合的方法，将不同规模的文件分配给不同的传输方式分发，提升分发的速率，实现分发的实时性与高可靠性，更好得解决网络数据在分发过程中无法兼顾实时性与可靠性的问题，提升数据分发的速率的架构。附图说明图1是本专利技术的结构示意图；图2是本专利技术流程图；图3是小文件分发流程图；图4是大文件分发流程图；图5是不同数量节点下的100MB资源分发速率图；图6是不同数量节点下的1000MB资源分发速率图；图7是单机模拟60节点分发不同规模资源速率图。具体实施方式以下将结合附图对本专利技术进行详细说明。具体实施方式一本实施例公开了一种面向大规模网络的实时高可靠消息分发系统，如图1所示，包括多媒体数据、中央服务器、中转服务器和终端用户；所述多媒体数据是多媒体资源的生产者，用于生产多媒体资源，是众多多媒体平台；所述中央服务器用于资源控制分发，存储所有的多媒体资源；所述中转服务器用于存储有资源副本，架设在各个不同的地区，向本地区用户分发资源；所述终端用户是多媒体资源的请求者和使用者；所述多媒体平台连接中央服务器，所述一个中央服务器连接若干个中转服务器，所述一个中转服务器连接若干个终端用户，所述若干个终端用户分成若干个小组，每个小组之间的终端用户相互连接。具体实施方式二具体地，所述中央服务器与中转服务器之间通过AMQP传输控制命令，用RabbitMQ实现一个控制信息的消息通道，所述中转服务器与终端用户之间通过所述消息通道传输调度命令，通过RabbitMQ能够使本专利技术的整个系统获得更好的分发速度，让中央服务器和中转服务器都能发挥更高的效能。AMQP(AdvancedMessageQueuingProtocol)全称为高级消息队列协议，是一个架设在计算机网络应用层之上，提供统一消息服务的高级消息传输队列协议。架设中转服务器，系统运行时，发送端将消息投递至中转服务器，由于发送端投递关键字的不同，中转服务器根据这些不同的关键字将消息分发至不同的消息接收端，实现发送端与接收端的异步互联。同时，中转服务器端负责消息的维护和整体系统的负载均衡。能本文档来自技高网...

【技术保护点】
1.一种面向大规模网络的实时高可靠消息分发系统，其特征在于，包括多媒体数据、中央服务器、中转服务器和终端用户；所述多媒体数据是多媒体资源的生产者，用于生产多媒体资源，是众多多媒体平台；所述中央服务器用于资源控制分发，存储所有的多媒体资源；所述中转服务器用于存储有资源副本，架设在各个不同的地区，向本地区用户分发资源；所述终端用户是多媒体资源的请求者和使用者；所述多媒体平台连接中央服务器，所述一个中央服务器连接若干个中转服务器，所述一个中转服务器连接若干个终端用户，所述若干个终端用户分成若干个小组，每个小组之间的终端用户相互连接。

【技术特征摘要】
1.一种面向大规模网络的实时高可靠消息分发系统，其特征在于，包括多媒体数据、中央服务器、中转服务器和终端用户；所述多媒体数据是多媒体资源的生产者，用于生产多媒体资源，是众多多媒体平台；所述中央服务器用于资源控制分发，存储所有的多媒体资源；所述中转服务器用于存储有资源副本，架设在各个不同的地区，向本地区用户分发资源；所述终端用户是多媒体资源的请求者和使用者；所述多媒体平台连接中央服务器，所述一个中央服务器连接若干个中转服务器，所述一个中转服务器连接若干个终端用户，所述若干个终端用户分成若干个小组，每个小组之间的终端用户相互连接。2.根据权利要求1所述面向大规模网络的实时高可靠消息分发系统，其特征在于，所述中央服务器与中转服务器之间通过AMQP传输控制命令，用RabbitMQ实现一个控制信息的消息通道，所述中转服务器与终端用户之间通过所述消息通道传输调度命令。3.一种基于权利要求1或2所述面向大规模网络的实时高可靠消息分发系统实现的面向大规模网络的实时高可靠消息分发的方法，其特征在于，包括以下步骤：步骤a、中央服务器通过控制RabbitMQ经过中转服务器向终端用户广播一条控制信息，确定当前在线的终端用户及其状态；步骤b、当中央服务器需要向终端用户分发消息时，中央服务器通过RabbitMQ传输接下来所要发送的文件的信息，经过各个中转服务器，使各个终端用户接收到中央服务器端发送的消息信息后，返回一个接收反馈信息，根据所传输的消息信息，建立对应的消息传输队列；步骤c、中央服务器在消息发送前，会发送一个确认消息确认当前消息队列的建立情况，满足需求后向所述通道广播对应的消息；步骤d、当所需要发送的消息过大时，系统会使用P2P进行多媒体文件的分发，会先发送一个种子的长度信息给各个需要接收该消息的终端用户，终端用户反馈接收情况；步骤e、中央服务器端通过中转服务器向终端用户传输之后所需要分发的消息文件的种子文件，终端用户收到完整的种子文件后，通过中转服务器给中央服务器发送一个反馈，终端用户开启本地P2P下载进程，通过所述种子文件中的信息下载种子文件。4.根据权利要求3所述面向大规模网络的实时高可靠消息分发的方法，其特征在于，步骤b中各个终端用户接收到中...

【专利技术属性】
技术研发人员：叶麟，余翔湛，刘立坤，史建焘，刘飞扬，赵俊达，陈晨，郭冠军，王旭东，葛蒙蒙，朱秋萍，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23