一种数据流调度方法、系统、设备及介质技术方案

本发明专利技术提供了一种数据流调度方法、装置和系统。涉及内容分发网络；解决了遍历源服务器造成的资源浪费、成本增加、效率低下的问题。该方法包括：调度中心服务器接收源服务器发送的通知，在所述通知中携带有所述源服务器发布的流数据的信息；所述调度中心服务器记录并维护所述源服务器与该源服务器发布的流数据之间的对应关系；所述调度中心服务器向CDN各个分层中的至少一个服务器提供所述流数据与所述源服务器的对应关系。本发明专利技术提供的技术方案实现了兼具效率与可靠性的推送拉取数据流源服务器一致性保障。

【技术实现步骤摘要】
一种数据流调度方法、系统、设备及介质本申请是2017年03月09日提交中国国家知识产权局专利局、申请号为201710138373.9、专利技术名称为“一种数据流调度方法、装置和系统”的中国专利申请的分案申请。
本专利技术涉及内容分发网络(CDN)，尤其涉及一种CDN中的数据流调度方法、系统、设备及介质。
技术介绍
直播作为当下最火的应用之一，是针对有现场直播需求的用户，利用互联网(或专网)和先进的多媒体通信技术，在网上构建音频、视频、桌面共享、文档共享、互动环节等的在线交流与互动。以视频直播为例，主播在本地将自己正在实时直播的内容推送给服务器(推流)，观众从服务器实时获取主播推送给服务器的直播内容(拉流)，最后达到主播与观众进行交互的目的。为了适应高效内容分发的需求，直播平台通常会使用内容分发网络(CDN)加速，使用户尽可能近的获取所需的内容，从而降低响应时间，提高交互的实时性。在直播传输CDN加速应用场景下，主播通过边缘节点将流推到直播源服务器上，观众再通过边缘节点获取直播内容，如果该边缘节点没有该直播内容，则该边缘节点需要进行回源，从直播源服务器获得该直播内容并提供给观众。由于直播源通常由多个集群组成，而一个集群又有多台服务器，因此，如何保证推流和拉流所选取的直播源服务器的一致性成为关键问题。在直播传输加速的应用场景下，通常采用一致性hash策略，具体地，一个可以存储2^32次方个key的空间，可以想象成一个闭合的环形，将直播源服务器的所有IP，通过一定的hash算法A生成key，处理后映射到环上，流(URL)通过hash算法A生成key1，映射到环上，按顺时针方向找到离key1最近的直播源服务器IP，推流和拉流使用相同的流(URL)可以找到相同直播源服务器。但该策略存在缺点，即在直播源服务器列表变更时，往往造成推流和拉流的hash列表不同步，推流和拉流选取直播源服务器不一致，造成服务器异常。为了解决这一问题，现有技术通常采用转推直播内容到多台直播源服务器进行备份，当拉流和推流选取的直播源服务器不一致时，继续遍历备份直播源服务器，直到找到流数据。但是，这一方面会降低直播源服务器承载能力，造成资源的浪费，极大增加成本，另一方面，遍历直播源服务器很大概率造成响应时间过长，直播服务得不到保障。
技术实现思路
本专利技术旨在解决上面描述的问题，提供了一种数据流调度方法、装置和系统。根据本专利技术的第一方面，一种数据流调度方法，该方法适用于内容分发网络CDN，包括：在CDN各个分层中的任一服务器接收到访问流数据的请求时，根据调度中心服务器的指示确定发布该流数据的源服务器；自所述源服务器获取所述流数据。优选的，在CDN各个分层中的任一服务器接收到访问流数据的请求时，根据调度中心服务器的指示确定发布该流数据的源服务器包括：依据所述请求向所述调度中心服务器查询发布所述流数据的源服务器，或，从本地存储的自所述调度中心服务器获取的流记录中查找发布所述流数据的源服务器，所述流记录包含所述流数据与发布该流数据的源服务器之间的对应关系。优选的，所述依据所述请求向所述调度中心服务器查询发布所述流数据的源服务器包括：边缘服务器接收到访问流数据的请求，选择中转服务器，向所述中转服务器转发该请求，所述中转服务器依据所述请求向所述调度中心服务器查询发布所述流数据的源服务器；或，边缘服务器依据所述请求向所述调度中心服务器查询发布所述流数据的源服务器。优选的，该方法还包括：在CDN各个分层中的至少一个服务器接收所述调度中心服务器同步的所述流记录。根据本专利技术的另一方面，一种数据流调度方法，该方法适用于CDN，包括：源服务器接收流数据推送；所述源服务器通知调度中心服务器所述流数据已推送至该源服务器，以便所述调度中心服务器记录所述流数据与所述源服务器的对应关系。根据本专利技术的另一方面，一种数据流调度方法，该方法适用于CDN，包括：调度中心服务器接收源服务器发送的通知，在所述通知中携带有所述源服务器发布的流数据的信息；所述调度中心服务器记录并维护所述源服务器与该源服务器发布的流数据之间的对应关系；所述调度中心服务器向CDN各个分层中的至少一个服务器提供所述流数据与所述源服务器的对应关系。优选的，所述调度中心服务器向CDN各个分层中的至少一个服务器提供所述流数据与所述源服务器的对应关系具体为：所述调度中心服务器根据预置的同步时间向CDN各个分层中的至少一个服务器同步所述流记录。优选的，所述调度中心服务器向CDN各个分层中的至少一个服务器提供所述流记录包括：所述调度中心服务器接收所述CDN各个分层中的任一服务器发送的查询发布流数据的源服务器请求；所述调度中心服务器查找所述流记录，向所述服务器发送包含指示所述源服务器的通知，或，向所述服务器发送所述流记录。根据本专利技术的另一方面，一种数据流调度装置，适用于CDN，该装置包括：调度客户端模块，用于在接收到访问流数据的请求时，根据调度中心服务器的指示确定发布该流数据的源服务器；数据拉取模块，用于自所述源服务器获取流数据。优选的，所述调度客户端模块至少包括以下之一：查询单元，用于依据所述请求向所述调度中心服务器查询发布相应流数据的源服务器；查找单元，用于从本地存储的自所述调度中心服务器获取的流记录中查找发布相应流数据的源服务器，所述流记录包含流数据与发布相应流数据的源服务器之间的对应关系。优选的，所述调度客户端模块同时包括查找单元和查询单元，当从查找单元无法查找到相应流数据的源服务器时，再从查询单元查询该流数据的源服务器。优选的，所述调度客户端模块还包括：中转服务器选择单元，用于在接收访问流数据的请求后，选择中转服务器，向所述中转服务器转发该请求。根据本专利技术的另一方面，一种数据流调度装置，适用于CDN，该装置包括：推送接收模块，用于接收流数据推送；通知模块，用于通知调度中心服务器所述流数据已推送至该源服务器，以便所述调度中心服务器记录所述流数据与所述源服务器的对应关系。根据本专利技术的另一方面，一种数据流调度装置，适用于CDN，该装置包括：数据收集模块，用于接收源服务器发送的通知，在所述通知中携带有所述源服务器发布的流数据的信息；调度管理模块，用于记录并维护所述源服务器与该源服务器发布的流数据之间的对应关系；同步模块，用于向CDN各个分层中的至少一个服务器提供所述流数据与所述源服务器的对应关系。优选的，所述同步模块包括：定时同步单元，用于根据预置的同步时间向CDN各个分层中的至少一个服务器同步所述流记录；查询单元，用于在所述数据收集模块接收到所述CDN各个分层中的任一服务器发送的查询发布流数据的源服务器请求时，查找所述流记录，向所述服务器发送包含指示所述源服务器的通知，或，本文档来自技高网...

【技术保护点】
1.一种数据流调度的方法，该方法适用于CDN，其特征在于，该方法包括：/n源服务器接收CDN中的任一服务器推送的流数据；/n所述源服务器通知调度中心服务器所述流数据已推送至该源服务器，在所述通知中携带有所述源服务器所要发布的流数据的信息，以便所述调度中心服务器以流记录的方式记录所述流数据与所述源服务器的对应关系；/n所述源服务器发布所述流数据。/n

【技术特征摘要】
1.一种数据流调度的方法，该方法适用于CDN，其特征在于，该方法包括：
源服务器接收CDN中的任一服务器推送的流数据；
所述源服务器通知调度中心服务器所述流数据已推送至该源服务器，在所述通知中携带有所述源服务器所要发布的流数据的信息，以便所述调度中心服务器以流记录的方式记录所述流数据与所述源服务器的对应关系；
所述源服务器发布所述流数据。


2.如权利要求1所述的方法，其特征在于，所述方法还包括：所述源服务器对接收到的所述流数据进行存储。


3.如权利要求1所述的方法，其特征在于，所述CDN中任一服务器包含边缘服务器及中转服务器。


4.如权利要求1～3任一所述的方法，其特征在于，所述源服务器由CDN运营商或者客户提供。


5.一种数据流调度的方法，该方法适用于CDN，其特征在于，该方法包括：
调度中心服务器接收源服务器发送的携带有源服务器发布的流数据的信息的通知，并以流记录存储的方式记录所述流数据与所述源服务器的对应关系，所述调度中心服务器向CDN中的至少一服务器同步所述流记录。


6.一种数据流调度的方法，该方法适用于CDN，其特征在于，该方法包括：
在CDN中的任一服务器接收访问流数据的请求时，根据调度中心服务器记录的流数据与源服务...

【专利技术属性】
技术研发人员：徐贵荣，曾东方，苗辉，
申请(专利权)人：贵州白山云科技股份有限公司，
类型：发明
国别省市：贵州;52