一种数据分发方法及装置制造方法及图纸

技术编号:13982955 阅读:73 留言:0更新日期:2016-11-12 16:41
本发明专利技术实施例公开了一种数据分发方法及装置,应用于数据分发网络中的数据中心,方法包括:接收比自身数据中心高一层的数据中心发送的针对目标数据的部分数据,然后,根据第一信息,接收与自身处于同层的数据中心发送的针对目标数据的其他部分数据;将所述部分数据与所述其他部分数据进行合并,生成目标数据;根据第二信息,判断自身数据中心是否为最底层的数据中心;如果否,根据所述第二信息,将所述目标数据进行拆分;根据预设发送规则,将拆分后的部分数据发送给比自身数据中心低一层的数据中心,以使最底层的数据中心获得所述目标数据。应用本发明专利技术实施例,可以减少数据的传输时间,同时使所有数据中心能够接收到最高层数据中心发送的数据。

【技术实现步骤摘要】

本专利技术涉及数据分发
,特别涉及一种数据分发方法及装置
技术介绍
目前,国内外有许多视频网站提供视频观看服务。视频网站把大量视频内容存储在数据中心(IDC,Internet Data Centre)上,这些不同地方的数据中心,再对不同地方的终端用户提供服务。(数据中心,可以理解为一个大的物理机房,里面有很多主机,每台主机都对外提供服务)。大型的视频服务提供商会将数据存放于上百个数据中心的上万台机器上。这些数据累计可达上亿个文件,每天会新增数十万数据。把这些新增数据发送到每个数据中心的目标机器时,会产生上亿次数据分发,这些数据快速、可靠的数据分发就是需要面临的问题。数据分发是指,最高级数据中心将目标数据,通过一定的逻辑步骤和物理网络路径,传输到层级低于该数据中心的每一个数据中心的过程。现有数据分发的网络拓扑多为树状结构。图1是现有技术中层级较高的数据分发网络树形结构示意图。假设每个数据中心能够提供的上传带宽为1MB每秒,一个大小为1MB的目标数据从北京数据中心发送到天津数据中心所需的时间为2秒,发送到郑州数据中心所需的时间为6秒。图2是现有技术中层级较低的数据分发网络树形结构示意图。假设每个数据中心能够提供的上传带宽为1MB每秒,一个大小为1MB的文件从北京数据中心发送到天津数据中心所需的时间为6秒,发送到郑州数据中心所需的时间为12秒。在以上所述分发系统中,目标数据到达每个数据中心的时间是该数据中心到最高层数据中心路径上的时间的总和,目标数据分发速度比较慢。另外,参见图1,目标数据要经过北京-天津-石家庄-郑州路径才能由北京数据中心发送到郑州数据中心;如果北京-天津-石家庄-郑州路径上的任意一条路径或天津数据中心、石家庄数据中心任一数据中心有问题,会导致郑州数据中心及其对应的下层数据中心无法接收到目标数据。参见图2,目标数据要经过北京-天津-郑州路径才能由北京数据中心发送到郑州数据中心;如果北京-天津-郑州路径上的任意一条路径或天津数据中心有问题,会导致郑州数据中心及其对应的下层数据中心无法接收到目标数据。因此在现有分发网络中,如果网络存在故障点,会导致部分数据中心无法接收到目标数据。
技术实现思路
本专利技术实施例的目的在于提供一种数据分发方法及装置,以减少数据的传输时间,同时使所有数据中心能够接收到最高层数据中心发送的数据。为达到上述目的,本专利技术实施例公开了一种数据分发方法,应用于数据分发网络中的数据中心,其中,所述数据中心中存储有与自身处于同层的数据中心的第一信息以及比自身数据中心低一层的数据中心的第二信息;所述方法包括如下步骤:接收比自身数据中心高一层的数据中心发送的针对目标数据的部分数据,其中,所述部分数据为所述比自身数据中心高一层的数据中心根据自身存储的所述第二信息进行拆分的部分数据;根据所述第一信息,接收与自身处于同层的数据中心发送的针对所述目标数据的其他部分数据;将所述部分数据与所述其他部分数据进行合并,生成所述目标数据;根据所述第二信息,判断自身数据中心是否为最底层的数据中心;如果否,根据所述第二信息,将所述目标数据进行拆分;根据预设发送规则,将拆分后的部分数据发送给比自身数据中心低一层的数据中心,以使最底层的数据中心获得所述目标数据。较佳的,位于同一层的数据中心与最高层的数据中心之间的物理链路属性相同的数据中心。较佳的,所述物理链路属性相同为,物理链路长度在同一长度区间内。较佳的,位于同一层的数据中心到最高层的数据中心的距离在同一范围内。较佳的,所述根据所述第二信息,将所述目标数据进行拆分,包括:根据所述第二信息,确定比自身数据中心低一层的数据中心的个数;根据所述个数,将所述目标数据拆分为所述个数个数据量大小相同的部分数据。为实现上述目的,本专利技术实施例还公开了一种数据分发装置,应用于数据分发网络中的数据中心,所述装置包括:存储模块、第一接收模块、第二接收模块、数据合成模块、判断模块、拆分模块和发送模块,其中,所述存储模块,用于存储与自身处于同层的数据中心的第一信息以及比自身数据中心低一层的数据中心的第二信息;所述第一接收模块,用于接收比自身数据中心高一层的数据中心发送的针对目标数据的部分数据,其中,所述部分数据为所述比自身数据中心高一层的数据中心根据自身存储的所述第二信息进行拆分的部分数据;所述第二接收模块,用于根据所述第一信息,接收与自身处于同层的数据中心发送的针对所述目标数据的其他部分数据;所述数据合成模块,用于将所述部分数据与所述其他部分数据进行合并,生成所述目标数据;所述判断模块,用于根据所述第二信息,判断自身数据中心是否为最底层的数据中心;所述拆分模块,用于在所述判断模块判断结果为否的情况下,根据所述第二信息,将所述目标数据进行拆分;所述发送模块,用于根据预设发送规则,将拆分后的部分数据发送给比自身数据中心低一级别的数据中心,以使最低级别的数据中心获得所述目标数据。较佳的,位于同一层的所述数据中心是指,与最高层的数据中心之间的物理链路属性相同的数据中心。较佳的,所述物理链路属性相同为,物理链路长度在同一长度区间内。较佳的,位于同一层的所述数据中心也可以是指,到最高层的数据中心的距离在同一范围内的数据中心。较佳的,所述拆分模块,具体用于:在所述判断模块判断结果为否的情况下,根据所述第二信息,确定比自身数据中心低一层的数据中心的个数;根据所述个数,所述拆分模块将所述目标数据拆分为所述个数个数据量大小相同的部分数据。通常,所述目标数据格式至少包括:视频、音频、文件、文本、图像、动画等文件格式。由上述技术方案可见,本专利技术实施例公开了一种数据分发方法及装置,应用于数据分发网络中的数据中心,其中,所述数据中心中存储有与自身处于同层的数据中心的第一信息以及比自身数据中心低一层的数据中心的第二信息;数据中心接收来自比自身数据中心高一层的数据中心的针对目标数据的部分数据,根据第一信息,接收与自身处于同层的数据中心发送的针对所述目标数据的其他部分数据;所述数据中心对接收到的所有部分数据进行合并,生成所述目标数据。所述数据中心根据所述第二信息判断自身数据中心是否为最底层数据中心,如果否,所述自身数据中心根据存储的第二信息对数据进行拆分,并根据预设发送规则向下一层数据中心发送拆分后的部分数据。应用本专利技术实施例所提供的技术方案,减少了数据的传输时间。并且所有数据中心能够接收到最高层数据中心发送的数据。当然,实施本专利技术的任一产品或方法必不一定需要同时达到以上所述所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为现有技术中层级较高的数据分发网络的树形结构示意图;图2为现有技术中层级较低的数据分发网络的树形结构示意图;图3为本专利技术实施例提供的目标数据从第一层的数据中心发送到第三层的数据中心的一种数据分发示意图;图4为本专利技术实施例提供的第二层的数据中心之间数据传输的示意图;图5为本专利技术实施例提供的一种数据分发方法的流程示意图;图6是本专利技术实施例提供的一种数据分发装置本文档来自技高网
...

【技术保护点】
一种数据分发方法,其特征在于,应用于数据分发网络中的数据中心,其中,所述数据中心中存储有与自身处于同层的数据中心的第一信息以及比自身数据中心低一层的数据中心的第二信息;所述方法包括:接收比自身数据中心高一层的数据中心发送的针对目标数据的部分数据,其中,所述部分数据为所述比自身数据中心高一层的数据中心根据自身存储的所述第二信息进行拆分的部分数据;根据所述第一信息,接收与自身处于同层的数据中心发送的针对所述目标数据的其他部分数据;将所述部分数据与所述其他部分数据进行合并,生成所述目标数据;根据所述第二信息,判断自身数据中心是否为最底层的数据中心;如果否,根据所述第二信息,将所述目标数据进行拆分;根据预设发送规则,将拆分后的部分数据发送给比自身数据中心低一层的数据中心,以使最底层的数据中心获得所述目标数据。

【技术特征摘要】
1.一种数据分发方法,其特征在于,应用于数据分发网络中的数据中心,其中,所述数据中心中存储有与自身处于同层的数据中心的第一信息以及比自身数据中心低一层的数据中心的第二信息;所述方法包括:接收比自身数据中心高一层的数据中心发送的针对目标数据的部分数据,其中,所述部分数据为所述比自身数据中心高一层的数据中心根据自身存储的所述第二信息进行拆分的部分数据;根据所述第一信息,接收与自身处于同层的数据中心发送的针对所述目标数据的其他部分数据;将所述部分数据与所述其他部分数据进行合并,生成所述目标数据;根据所述第二信息,判断自身数据中心是否为最底层的数据中心;如果否,根据所述第二信息,将所述目标数据进行拆分;根据预设发送规则,将拆分后的部分数据发送给比自身数据中心低一层的数据中心,以使最底层的数据中心获得所述目标数据。2.根据权利要求1所述的方法,其特征在于,位于同一层的数据中心与最高层的数据中心之间的物理链路属性相同。3.根据权利要求2所述的方法,其特征在于,所述物理链路属性相同为:物理链路长度在同一长度区间内。4.根据权利要求1所述的方法,其特征在于,位于同一层的数据中心到最高层的数据中心的距离在同一范围内。5.根据权利要求1所述的方法,其特征在于,所述根据所述第二信息,将所述目标数据进行拆分,包括:根据所述第二信息,确定比自身数据中心低一层的数据中心的个数;根据所述个数,将所述目标数据拆分为所述个数个数据量大小相同的部分数据。6.一种数据分发装置,其特征在于,应用于数据分发网络中的数据中心,所述装置包括:存储模块、第一接收模块、第二接收模块、数据...

【专利技术属性】
技术研发人员:张硕王大伟
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1