一种基于地面移动多媒体广播多媒体数据广播分发系统缓存管理的一种方法技术方案

本发明专利技术提供一种基于地面移动多媒体广播，本发明专利技术涉及广播通信领域，适用于地面移动多媒体广播（ＤＡＢ／ＴＭＭＢ）系统，用于地面移动多媒体广播数据广播分发大容量多媒体数据内容数据请求及响应处理，针对移动互联网内容在广播或通信物理传输数据服务端的响应性能。

【技术实现步骤摘要】

本专利技术涉及广播通信领域，适用于地面移动多媒体广播(DAB/T匪B)系统，用于地 面移动多媒体广播数据广播分发大容量多媒体数据内容数据请求及响应处理，针对移动互 联网内容在广播或通信物理传输数据服务端的响应性能。2
技术介绍
作为一种新媒体的地面移动多媒体广播系统，移动互联网应用(WEB服务)是适应 社会发展，体现科技进步的产物，它是一种新的广播系统。 在地面数字多媒体广播系统中，业务的开展形式多种多样，包括视频、音频、股 票、交通信息、视音频网站推送等业务需同步到统一数据广播分发系统，分别对全业务运营 的网络载体进行分发，响应用户交互请求，合理动态分配用户需求数据，海量数据对流交 互，以最优网络状态策略分发到地面广播网络，数据广播分发系统缓存管理尤为重要，提高 网络有效宽带利用率及用户体验满意度。 数据分发系统缓存管理实现了移动互联网内核WEB服务。数据分发系统采用一种 非对称多线程流水结构(Asymmetric Muti-Threads Pipeline)来实现请求任务内并发处 理。针对这一结构特点，提出并采用了独立的缓存管理机制和更优的淘汰策略来实现数据 分发系统的Web对象缓存管理。如附图1所示。 使其更适合在移动互联网接入及分发平台下，较大负载的服务环境。数据分发系 统在负载更重的情形下，性能提高更明显，服务质量更好。3
技术实现思路
本专利技术提供一种基于地面移动多媒体广播数据广播分发系统。在此方法中，缓存 的结构实现和淘汰策略，采用独立的缓存机制，在内存中划分一片内存由自己单独管理来 实现缓存，同时在传统的互联网服务器策略LRU淘汰策略的基础之上综合了 Web对象的大 小和被访问的频率，提出了 S-FLRU淘汰策略，并采用多级S-FLRU实现了数据广播分发系统 的淘汰策略。 (1)根据HTTP请求中静态请求占很高的比例，采用高效缓存减少磁盘I/O引起的 阻塞；其次，使用多线程模式，提高处理的并行性，充分发挥数据广播分发系统的性能；最 后，在内核缓存提供服务，减少数据拷贝和系统调用的开销； (2) S-FLRU策略假设在数据广播分发系统Cache中有N个Web对象，同时对于任 意对象i其大小为Si。假设在k期间内，在Cache中对象集合用C(k)表示，用ik表示在k 期间内被访问到的对象i，如果ik在Cache中，则访问命中；如果没有在Cache中，则我们必 须淘汰一些对象以容纳ik。假设，NX)表示为了容纳ikCache除开已有空间还需要的空 间。我们引进一个变量Vi，如果我们要淘汰对象i，则将Vi置为1 ;如果要保留对象i，则将 Vi置为0 (只有在Cache中的对象才有相应的Vi变量与之对应)。我们假定A Tik表示对象i在k阶段自上一次被访问到当前被访问之间的时间差，所以1/ A Tik表示对象被访问 的频率。当淘汰时，理想方法是淘汰这样一组Web对象，要求其满足大小之和等于或大于N 的条件下，被访问频率累计和达到最小，所以有以下模型 该模型是一个求最小值的背包问题，准确的说，要放在背包中的对象正是我们要 从Cache中淘汰的对象。在这个模型中与背包问题中价值与重量比对应的是(l/ATik)/ S (即淘汰对象，最好是被访问频率小，又是文件大的web对象)。本文采用贪心法对Cache 中的所以对象按Si* A Tik大小按升序排列后得到A* A Tlk《S2* A T2k《...《Sk(k) f A Tk(k )lk 在淘汰时可以从具有最大值的对象开始依次淘汰直到有足够的空间容纳新的对 象。称这种综合访问频率和文件大小的淘汰策略为S-FLRU。 在实现该淘汰策略时，考虑到数据广播分发系统采用非对称多线程流水结构，为 了使淘汰对象的选取不成为系统的瓶颈和进一步提高并行性，采用了多个S-FLRU对列并 行实现淘汰策略。根据文件大小对S-FLRU队列进行分级，当一个新对象进入缓存中时，根 据其大小在相应S-FLRU队列中选择被淘汰的对象进行淘汰。这种实现方式克服了在采用 单个LRU链的情况下，由于LRU是临界资源而导致许多另外的进程排队等待操作LRU的缺 点，显示随着用户对移动互联网请求，Web Server的负载增加，多S-FLRU队列表现出明显 的优势。 (3)为了能在处理请求时迅速的通过查找得到该请求所访问的对象是否在缓存 中，采用了 Hash链表查找，其结构图如图2所示。 采用了其中一种使冲突链最短的一种Hash函数。在实现过程中对冲突链采用数 组来模拟链表，这样做的目的是以空间来换取时间，减少使用链表是动态申请和释放内存 的开销。对每个冲突链根据测试结果规定了一个长度，当某个冲突链满的时将强行淘汰该 链中 一个对象来满足新的对象进入冲突链。 (4)页面分配与释放基于伙伴算法，并对其做了改进来实现web对象的缓存管 理。为了实现页面管理，在控制区维护了页使用位图、Free—Area数组、页表项数组。他们 的相互关系图如图3所示。 系统采用Free—Area数组和页表项数组来维护一个多级的空闲页链，如果被访问 的Web对象不在缓存中，则根据Web对象的文件大小来分配合适的页块(可能是一页也有 可能是连续的多页组成)给对象。分配策略如果在单个页块中不能容纳对象，则优先给 对象分配大的页块，例如一个Web对象需要9页才能存放下，则我们首先按9 = 8+1的方 式分配，即先从图中Free_Area数组中23所指向的空闲的页块链中选择分配一页块，然后 再从20所指的空闲页块链中分配一页。假如，在23所指的空闲链中没有了空闲块，则将按 9 = 4+4+1的分配方式分配，即从22所指的链中分配两块然后再从20中分配一页，依次类 推。附图说明 图1数据存储总体结构图 图2HASH的组织结构图 图3页面管理结构图4具体实施例方式在本专利技术实施数据分发系统中，同时根据移动互联网交互响应HTTP处理过程建立连接并接收请求、分析请求、请求处理、响应数据发送，数据分发系统采用非对称多线程流水结构，利用不同的线程组来处理各个步骤，使各个请求之间的步骤能并行处理，请求内步骤之间流水处理。数据广播分发系统将线程组分为四类 第一类负责接受连接； 第二类负责接收请求； 第三类负责分析请求和文件I/O ; 第四类负责数据发送，根据各个阶段的耗时来决定线程数比列。 本文针对数据广播分发这一結构特点，为了减少文件I/0提高数据广播分发性能提出并采用了独立的缓存管理机制来实现Web对象缓存管理。数据广播分发从系统内存中申请一片存储空间，用来缓存Web对象和用户请求维护控制信息。整个内存块由自身管理和维护，数据分发系统携带的操作系统不与干预。本文档来自技高网...

【技术保护点】
一种基于地面移动多媒体广播多媒体数据广播分发系统（ＤａｔａＣｏｎｔｅｎｔＤｉｓｔｒｉｂｕｔｉｎｇＢｒｏａｄｃａｓｔｉｎｇＳｙｓｔｅｍ），其特征缓存管理采用一种非对称多线程流水结构（ＡｓｙｍｍｅｔｒｉｃＭｕｔｉ－ＴｈｒｅａｄｓＰｉｐｅｌｉｎｅ）来实现请求任务内并发处理，响应内容分发控制，提出并采用了独立的缓存管理机制和更优的淘汰策略来实现数据广播分发系统对的移动互联网Ｗｅｂ对象缓存管理。

【技术特征摘要】
一种基于地面移动多媒体广播多媒体数据广播分发系统(Data ContentDistributing Broadcasting System)，其特征缓存管理采用一种非对称多线程流水结构(Asymme...

【专利技术属性】
技术研发人员：邓晖，杨贵君，刘刚，李良旺，郑志军，王江昆，朱秋果，
申请(专利权)人：中卫星空移动多媒体网络有限公司，
类型：发明
国别省市：11[中国|北京]