一种MP4视频流媒体点播的分片缓存加速方法技术

本发明专利技术涉及一种MP4视频流媒体点播的分片缓存加速方法，创建加速节点集群，该集群包括负载均衡层、业务代理层和CACHE层，负载均衡层对来自终端的视频请求按照一定的负载均衡策略进行分配；业务代理层按照视频内容请求为用户提供视频服务；利用业务代理层对视频内容请求进行一致性哈希，CACHE层将不同的缓存请求内容打散到不同节点服务器的CACHE服务上面；CACHE服务下载视频源。本方案利用分片技术，将大的视频文件拆分成大小相等的文件分片，然后将拆分后的文件分片随机均匀地分散存储到CDN加速节点集群中的各缓存服务器的不同磁盘中去，从而大大提升了缓存空间的利用率，进一步改善了视频播放的体验。改善了视频播放的体验。改善了视频播放的体验。

【技术实现步骤摘要】
一种MP4视频流媒体点播的分片缓存加速方法


[0001]本专利技术涉及视频处理
，尤其涉及一种MP4视频流媒体点播的分片缓存加速方法。

技术介绍

[0002]随着互联网技术的蓬勃发展，视频作为网络应用中的流量大户占据着互联网流量的半壁江山。人们对视频的清晰度、流畅度的体验要求越来越高。720p、1080p的视频变成了普遍的入门级的需求，2k、4K，甚至8K的视频也逐渐走入我们的视野。
[0003]在视频编码层面，提升视频编码压缩率作为其中一个重要的方法。随着视频编解码技术的发展，H.264、H2.65、AV1等等这些新的视频编码标准的出现，视频的压缩率不断提高，但是单单通过应用新的编码标准来降低码率，远远跟不上高清晰、高帧率、低延时的需求，视频码率越来越大，而人们对流畅度、播放延时的要求确越来越高，秒开、0卡顿，成为视频服务提供商的技术平台的优化目标和考核标准。
[0004]在互联网上，利用CDN技术是提升视频播放体验的一种最直接最有效的最佳优化实践，通过CDN的就近路由，缓存优化等加速手段，可以大幅降低视频播放卡顿的问题，极大改善用户的播放体验。但是视频码流越来越大导致视频文件越来越大，视频应用越来越普及带来越来越大的并发量，也给CDN技术平台带来越来越大的挑战。针对这种大并发大流量的视频的应用场景，如何进行优化，提升CDN技术平台的服务能力，改善用户体验也是长期摆在CDN技术服务提供商面前的一个问题。
[0005]在CDN技术上，如何提升视频内容在CDN加速节点中的缓存效率，是非常重要的一环。利用有限的缓存空间、有限的设备和磁盘空间最大程度上提升缓存的效率是CDN技术不断优化的目标之一。
[0006]在CDN加速节点集群中，如果没有做针对性的优化，往往会因为不同服务器缓存不同的视频内容，在某些视频热度突然变高的情况下，很容易引起单机、单硬盘负载超过瓶颈，导致视频播放卡顿的问题。
[0007]一般的做法，是采用热点统计加预测方法，将认为热度比较高的视频复制到集群内多台服务器上面来分散热点，从而来缓解单机单硬盘瓶颈的发生概率。但是如何预测一个内容的热度还是比较困难的，一般是采用事后对点播的数据进行统计汇总计算得出每个视频内容的热度值，然后再产生复制指令进行内容的复制的方法。但是因为互联网本身具有传播速度非常快的特性，有时候一个本来大家认为并非热点的视频会突然因为某个事件变成“网红“内容，不可避免地导致突发性单机单硬盘产生瓶颈。另外，根据热门度，到底应该复制几份到集群中的其他服务器上面比较合理，如何根据热度的变化再动态地变更视频内容的复制的“份数”都是需要解决的问题。最后，因为内容的复制，必然引起缓存空间的利用率下降，导致更多相对冷门的视频被挤出缓存引起这些视频访问的非命中带来的体验的下降也是需要解决的问题。

技术实现思路

[0008]本专利技术的目的在于提供一种MP4视频流媒体点播的分片缓存加速方法，以解决上述
技术介绍
中遇到的问题。
[0009]为实现上述目的，本专利技术的技术方案如下：
[0010]一种MP4视频流媒体点播的分片缓存加速方法，包括以下步骤：
[0011]第一步：创建加速节点集群，该集群包括负载均衡层、业务代理层和CACHE层，其中业务代理层内部至少设有一个代理服务，CACHE层内部至少设有一个CACHE服务；
[0012]第二步：负载均衡层对来自终端的视频请求按照一定的负载均衡策略进行分配；
[0013]第三步：业务代理层按照视频内容请求为用户提供视频服务；
[0014]第四步：利用业务代理层对视频内容请求进行一致性哈希，CACHE层将不同的缓存请求内容打散到不同节点服务器的CACHE服务上面；
[0015]第五步：CACHE服务将视频的内容请求作用于视频源，下载视频内容。
[0016]上述方案中，业务代理层发送过来的内容的分片请求，如果请求的内容在缓存中不能命中，则会自动回源到源站进行分片内容的获取，否则由本身的磁盘缓存直接为业务代理层提供服务。
[0017]上述方案中，CACHE层通过CACHE服务基于一致性哈希算法将缓存请求内容打散分配到不同的磁盘进行存储，结合代理服务到CACHE服务的一致性哈希，通过将内容分片进行两层的一致性哈希，消除集群内“热点”设备引起的性能瓶颈
[0018]与现有技术相比，本专利技术的有益效果是：本方案是一种利用分片技术，将大的视频文件拆分成大小相等的文件分片，然后将拆分后的文件分片随机均匀地分散存储到CDN加速节点集群中的各缓存服务器的不同磁盘中去。
[0019]而采用视频分片技术，可以较好地解决以上几个问题。对于一个大型的视频文件，譬如一个100M的文件，拆分成1M一个文件块，然后将文件分片通过哈希的方法打散后均匀分布到不同的服务器和一台服务器的不同的磁盘中去。这样子，即使部分视频内容在某个时候突然成为“热点“，也不太可能导致单机或者单硬盘产生热点，而引起负载不均，使单机或者单硬盘产生瓶颈；其次，因为单机单磁盘不再会因为“热点”视频的出现导致瓶颈，从而不再需要把热点视频复制多份到集群中的其他服务器或者服务器中的其他硬盘上，从而大大提升了缓存空间的利用率，有限的空间内可以存储更多的视频内容，能够一定程度上提升缓存的命中率，从而能够进一步改善了视频播放的体验。
附图说明
[0020]参照附图来说明本专利技术的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本专利技术的保护范围构成限制。在附图中，相同的附图标记用于指代相同的部件。其中：
[0021]图1为本专利技术整体工作原理示意图；
[0022]图2为本专利技术中节点服务器的磁盘配置图；
[0023]图3为本专利技术中MP4视频文件格式示意图；
[0024]图4为本专利技术中CACHE服务的分片访问示意图。
具体实施方式
[0025]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，现在结合附图对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示本专利技术有关的构成。
[0026]根据本专利技术的技术方案，在不变更本专利技术实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本专利技术的技术方案的示例性说明，而不应当视为本专利技术的全部或者视为对本专利技术技术方案的限定或限制。
[0027]下面结合附图和实施例对本专利技术的技术方案做进一步的详细说明。
[0028]实施例1，如图1所示，一种MP4视频流媒体点播的分片缓存加速方法，以包含2台节点服务器的CDN加速节点集群为例，包括以下步骤：
[0029]第一步：创建加速节点集群，该集群包括负载均衡层、业务代理层和CACHE层，其中业务代理层内部至少设有一个代理服务，CACHE层内部至少设有一个CACHE服务。首先，从逻辑角度上(即图中的水平方向上)来看，整个集群分为三层，即“负载均衡层”、“业务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种MP4视频流媒体点播的分片缓存加速方法，其特征在于，包括以下步骤：第一步：创建加速节点集群，该集群包括负载均衡层、业务代理层和CACHE层，其中业务代理层内部至少设有一个代理服务，CACHE层内部至少设有一个CACHE服务；第二步：负载均衡层对来自终端的视频请求按照一定的负载均衡策略进行分配；第三步：业务代理层按照视频内容请求为用户提供视频服务；第四步：利用业务代理层对视频内容请求分片，并通过进行一致性哈希发动到CACHE层的不同节点上，CACHE层将不同的缓存请求内容打散到不同节点服务器的CACHE服务上面；第五步：CACHE服务将视频的内容请求作用于视频源，下载视频内容。2.根据权利要求1所述的一种MP4视频流媒体点播的分片缓存加速方法，其特征在于：在第四步中，业务代理层发送过来的内容的分片请求，如果请求的内容在缓存中不能命中，则会自动回源到源站进行分片内容的获取，否则由本身的磁盘缓存直接为业务代理层提供服务。3.根据权利要求1所述的一种MP4视频流媒体点播的分片缓存加速方法，其特征在于：在第四步中，CACHE层通过CACHE服务基于一致性哈希算法将缓存请求内容打散分配到不同的磁盘进行存储，结合代理服务到CACHE服务的一致性哈希，通过将内容分片进行两层的一致性哈希，消除集群内“热点”设备引起的性能瓶颈。4.根据权利要求1所述的一种MP4视频流媒体点播的分片缓存加速方法，其特征在于：在第三步中，业务代理层中“代理服务”的处理方法包括如下步骤：步骤1.1：终端发起对视频内容的请求；步骤1.2：“代理服务”经过应有的鉴权认证后，按照初始配置的分片大小slice size，向“CACHE层”发起第一个分片的请求；步骤1.3：“代理服务”获取到MP4文件的首个分片后，对HTTP Range请求得到的响应头中的Content
‑
Range进行分析，得到MP4文件完整文件的大小；然后对MP4的头进行扫描分析，检查判断moov box是否在ftyp后面，如果不是，则将moov后置；步骤1.4：检查moov box是否已经下载完整，如果因为moov box超过了slice size,那么循环生成对“CACHE服务”的分片请求并保存到“代理服务”的内存缓存中，直至moov box下载完整；步骤1.5：对moov box进行分析，利用moov中的stlb box所包含的各个子box，对视频播放起始位置进行定位；步骤1.6：在缓存中生成新的MP4的ftyp和m...

【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：紫光云南京数字技术有限公司，
类型：发明
国别省市：