一种基于分布式并行系统的流媒体数据分发系统技术方案

本发明专利技术公开了一种基于分布式并行系统的流媒体数据分发系统，由分布式并行的操作系统和数据库系统组成，操作系统存放系统用于在整个系统内调度文件资源；数据库系统用来存放系统中的资源和服务；系统的下载程序通过设有的调度接口，就近获得其所需要的资源和服务，通过巧妙的设计，融合了P2P技术和C/S技术的优点，可以在网络带宽效率、延时和可靠性三者之间做出更好的权衡，具有不分大小，不分高低，无中心结构，就近为用户提供服务的特性，易于实现，节点通过服务器集中管理，也不需要部署复杂的P2P通讯协议；具有良好的健壮性，节点不依赖于任何其他特定的节点；具有较高的扩展性，通过P2P的方式分发数据，用户越多，分发越快。

A streaming media data distribution system based on distributed parallel system

The invention discloses a streaming media data distribution system based on a distributed parallel system, which is composed of a distributed parallel operating system and a database system. The operating system storage system is used to schedule file resources in the whole system; the database system is used to store resources and services in the system; the download program of the system obtains the needed data nearby through a scheduling interface Resources and services, through ingenious design, integrate the advantages of P2P technology and C / s technology, can make a better trade-off between network bandwidth efficiency, delay and reliability, with the characteristics of no size, no height, no center structure, providing services to users nearby, easy to realize, nodes are managed centrally through servers, and do not need to deploy complex P2P communication The protocol has good robustness, and the node does not depend on any other specific nodes. It has high scalability. The more users, the faster the data is distributed through P2P.

【技术实现步骤摘要】
一种基于分布式并行系统的流媒体数据分发系统
本专利技术涉及互联网
，特别涉及一种基于分布式并行系统的流媒体数据分发系统。
技术介绍
网络技术的发展给人们的工作和生活带来的极大的便利，用户数量也急剧上升，电子商务、网络游戏等业务对网络的传输速度提出了更高的要求。随着日益增长的对流媒体应用的需求，传统的基于单播的传输方式很容易导致服务器端的性能瓶颈，不能有效的支持流媒体的大规模数据分发。
技术实现思路
针对上述背景内容中提出的实质性缺陷和不足，本专利技术提供一种基于分布式并行系统的流媒体数据分发系统，实现对流媒体的大规模数据分发,融合了P2P技术和C/S技术的优点，可以在网络带宽效率、延时和可靠性三者之间做出更好的权衡，可以解决
技术介绍
中所指出的问题。一种基于分布式并行系统的流媒体数据分发系统，负责服务的调度和文件资源的调度，由分布式并行的操作系统和分布式并行的数据库系统组成，分布式并行的操作系统存放系统内点播或文件下载功能需要的文件资源，用于在整个系统内调度文件资源，并且根据文件资源的访问情况和机器的负载情况平衡系统内的负载；分布式并行的数据库系统用来存放系统中的资源和服务，除了为用户提供强大的数据服务功能以外，还负责存储分布式并行系统中的一些服务资源；系统的下载程序通过系统的操作系统中设有的调度接口，就近获得其所需要的资源和服务，用于根据文件资源的访问情况和机器的负载情况平衡系统内的负载，并最终从数据库系统中获取资源和服务，并提供给客户。在上述技术方案中，分布式并行系统采用分布式哈希算法，数据库系统中存放服务器节点的描述信息，将信息存放在本站内和根据算法得出的站上，其中，站的含义是指分布式并行的数据库系统的完全一致的同一个区域内的多个主机组成的一个服务节点。在上述技术方案中，系统的下载程序中设置有服务器端和客户端，负责点播、文件下载和应用层组播的功能，由六个模块组成：轮播模块、数据源模块、数据互传模块、播放器、文件下载客户端和资源调度模块构成，服务器中的功能模块包括数据源模块、数据互传模块、资源调度模块；客户端中所包含的模块包括轮播模块、轮播模块、文件下载客户端；客户端的主要责任是为客户提供尽可满足用户的点播、组播的需求，提供尽可能好的播放质量；客户端的信息仅在本站内注册，即某个站内的客户端对其他站内的客户端是不可见的；服务器端的主要责任是提供自己拥有的资源和尽快的进行资源的调度；服务器端的信息在分布式并行系统中进行注册，注册后的信息成为服务器信息，会分布存放在不同的站内，当某个站没有所需要的资源时，数据源模块通过哈希算法在数据库系统中获得有这个服务信息的站，从而获得真正有所需服务的节点。在上述技术方案中，当资源请求时，系统的客户端会请求在本站内有这个资源的服务器端的服务节点，从获得的服务节点上下载资源，当本站内的所有服务器和客户机上都没有这个资源，则只有让本站内提供下载服务的服务器从别的站调度资源，请求资源的原则是：服务器端从邻站请求资源，客户端从本站内服务节点请求资源，尽量从距离近、速度快的节点请求资源。在上述技术方案中，数据源模块和轮播模块为实现点播、文件下载和应用层组播的功能这三个功能，由轮播模块实现对MP4文件的IP层实时组播功能，负责生成相应的会话描述协议文件和发出RTP数据流，数据源模块则接收轮播的各个频道的RTP包并对其进行封片，然后将分片数据分发给数据互传模块，数据互传模块用来在各个主机之间传输数据，点播和文件下载功能通过数据互传模块实现，从邻接节点下载自己需要的数据和供别的节点下载数据，播放器从数据互传模块客户端获得数据进行点播或组播数据的播放，文件下载客户端通过向数据互传模块客户端请求服务而开始下载文件。资源调度模块负责给数据互传模块系统给邻接节点。在上述技术方案中，数据互传模块之间采用IP地址建立连接并传输分片数据。在上述技术方案中，数据互传模块由资源管理子模块、缓冲和文件管理子模块、资源注册注销和服务节点获取子模块、磁盘资源淘汰模块、终端子模块、资源提供模块、资源下载模块、数据源数据接收模块和伙伴节点更新模块组成，其中资源特指一个点播的文件、一个文件下载的文件和一个组播频道的数据，设有三个监听端口，分别用来监听数据源、别的节点和播放器或文件下载终端建立的连接。本专利技术提供的一种基于分布式并行系统的流媒体数据分发系统，通过巧妙的设计，融合了P2P技术和C/S技术的优点，可以在网络带宽效率、延时和可靠性三者之间做出更好的权衡，区别于现有的P2P系统和互联网内容分布网络(CDN)系统，具有不分大小，不分高低，无中心结构，就近为用户提供服务的特性，采用分布式并行的操作系统和分布式并行的数据库，其主要特点为：1、易于实现，节点通过服务器集中管理，也不需要部署复杂的P2P通讯协议；2、良好的健壮性，节点不依赖于任何其他特定的节点；3、较高的扩展性，通过P2P的方式分发数据，用户越多，分发越快。附图说明图1为本专利技术提供的一种基于分布式并行系统的流媒体数据分发系统的透明下载系统的物理结构示意图。图2为本专利技术提供的一种基于分布式并行系统的流媒体数据分发系统的透明下载系统的逻辑结构示意图。图3为本专利技术提供的一种基于分布式并行系统的流媒体数据分发系统的数据互传模块的逻辑结构示意图。具体实施方式下面结合附图，对本专利技术的一个具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。系统由分布式并行的操作系统和分布式并行的数据库系统组成。主要负责服务的调度和文件资源的调度。其中，分布式并行的数据库系统除了为用户提供强大的数据服务功能以外，还负责存储分布式并行系统中的一些服务资源。分布式并行的操作系统的主要特点是其分布式的文件系统，能够自适应的在整个系统内调度文件资源，并且根据文件资源的访问情况和机器的负载情况平衡系统内的负载。在系统中，分布式并行的数据库用来存放系统中的资源和服务，分布式并行的文件系统用来存放系统内点播或文件下载功能需要的文件资源。透明下载程序通过分布式并行系统的调度接口，就近获得其所需要的资源和服务。一、系统的调度机制为了实现节点之间的可见性，需要将每个节点的资源信息注册到分布式并行系统的数据库中，由于网络大量节点的存在和资源的丰富性，需要存储大量的资源和服务描述信息。透明下载系统使用的分布式并行系统采用分布式哈希算法(DistributedHashingTable，DHT)存放服务器节点的描述信息，将信息存放在本站内和根据算法得出的站上。而对于本站内的信息则只是分布存放在本站内。这里分布式并行系统的站的含义是数据库完全一致的同一个区域内的多个主机组成的一个服务节点。透明下载系统中有服务器端和客户端的概念：服务器端的主要责任是提供自己拥有的资源和尽快的进行资源的调度；客户端的主要责任是为客户提供尽可能好的服务，比如满足用户的点播、组播的需求，提供尽可能好的播放质量。服务器端信息的注册在分布式并行系统中本文档来自技高网...

【技术保护点】
1.一种基于分布式并行系统的流媒体数据分发系统，其特征在于，负责服务的调度和文件资源的调度，由分布式并行的操作系统和分布式并行的数据库系统组成，分布式并行的操作系统存放系统内点播或文件下载功能需要的文件资源，用于在整个系统内调度文件资源，并且根据文件资源的访问情况和机器的负载情况平衡系统内的负载；分布式并行的数据库系统用来存放系统中的资源和服务，除了为用户提供强大的数据服务功能以外，还负责存储分布式并行系统中的一些服务资源；系统的下载程序通过系统的操作系统中设有的调度接口，就近获得其所需要的资源和服务，用于根据文件资源的访问情况和机器的负载情况平衡系统内的负载，并最终从数据库系统中获取资源和服务，并提供给客户。/n

【技术特征摘要】
1.一种基于分布式并行系统的流媒体数据分发系统，其特征在于，负责服务的调度和文件资源的调度，由分布式并行的操作系统和分布式并行的数据库系统组成，分布式并行的操作系统存放系统内点播或文件下载功能需要的文件资源，用于在整个系统内调度文件资源，并且根据文件资源的访问情况和机器的负载情况平衡系统内的负载；分布式并行的数据库系统用来存放系统中的资源和服务，除了为用户提供强大的数据服务功能以外，还负责存储分布式并行系统中的一些服务资源；系统的下载程序通过系统的操作系统中设有的调度接口，就近获得其所需要的资源和服务，用于根据文件资源的访问情况和机器的负载情况平衡系统内的负载，并最终从数据库系统中获取资源和服务，并提供给客户。


2.根据权利要求1所述的一种基于分布式并行系统的流媒体数据分发系统，其特征在于，分布式并行系统采用分布式哈希算法，数据库系统中存放服务器节点的描述信息，将信息存放在本站内和根据算法得出的站上，其中，站的含义是指分布式并行的数据库系统的完全一致的同一个区域内的多个主机组成的一个服务节点。


3.根据权利要求1所述的一种基于分布式并行系统的流媒体数据分发系统，其特征在于，系统的下载程序中设置有服务器端和客户端，负责点播、文件下载和应用层组播的功能，由六个模块组成：轮播模块、数据源模块、数据互传模块、播放器、文件下载客户端和资源调度模块构成，服务器中的功能模块包括数据源模块、数据互传模块、资源调度模块；客户端中所包含的模块包括轮播模块、轮播模块、文件下载客户端；客户端的主要责任是为客户提供尽可满足用户的点播、组播的需求，提供尽可能好的播放质量；客户端的信息仅在本站内注册，即某个站内的客户端对其他站内的客户端是不可见的；服务器端的主要责任是提供自己拥有的资源和尽快的进行资源的调度；服务器端的信息在分布式并行系统中进行注册，注册后的信息成为服务器信息，会分布存放在不同的站内，当某个站没有所需要的资源时，数据源模块通过哈希算法在数据库系统中获得有...

【专利技术属性】
技术研发人员：张晴晴，刘晓光，
申请(专利权)人：北京云端智度科技有限公司，
类型：发明
国别省市：北京;11