面向实时按需数据广播系统及容量提升的请求预处理方法技术方案

本发明专利技术公开了一种面向实时按需数据广播系统及容量提升的请求预处理方法，系统包括一个服务器、若干广播蜂窝网络cell；每个广播蜂窝网cell内包含一个基站、若干虚拟节点VN以及若干移动终端；移动终端利用虚拟节点通过无线网络接入基站，基站通过有线光纤网络接入服务器。方法首先包括一种最佳请求合并算法以合并用户请求，减少数量，同时，该方法包含一种合并请求优先级和剪枝算法以综合衡量合并请求优先级，剪枝多余合并请求，从而减少服务器处理请求数，提高系统广播效率。

A request preprocessing method for real-time on-demand data broadcasting system and capacity enhancement

The invention discloses a method for real-time on-demand data broadcast system and enhance the capacity of the pre request processing method, the system includes a server, a plurality of broadcast cell cellular network; each radio cellular network cell contains a base station, a number of virtual nodes and a plurality of VN mobile terminal; the mobile terminal based on virtual nodes through wireless network access the base station, the base station through the fiber optic cable network access server. The first method includes a request merge algorithm to merge the best user request, reduce the number, at the same time, the method includes a merge request priority and pruning algorithm to measure the merger request priority, pruning redundant merge request so as to reduce the number of requests, the server system, improve the efficiency of broadcasting.

【技术实现步骤摘要】
面向实时按需数据广播系统及容量提升的请求预处理方法
本专利技术属于计算机科学和实时按需数据广播领域，具体涉及一种面向实时按需数据广播系统及容量提升的请求预处理方法。
技术介绍
随着4G技术成熟，5G技术的迅速发展，无线网络与移动计算不断的融入到本专利技术日常生活中。大量的移动数据服务迫切需要一种可扩展的无线传播方法，以实现大规模数据的分发。无线数据广播正是这样一种方法，其利用信道共享技术，可以实现任意数量用户同时访问数据，非常适用于高负载系统(如：股票信息发布系统、实时交通信息发布系统)的信息传输。依据在广播过程中是否考虑实时用户请求，数据广播可分为两类：静态数据广播(push-based)和实时按需数据广播(pull-based)。静态数据广播依赖于数据访问模式的先验知识，周期性的以静态的方式广播预定的数据项，广播过程中不考虑实时用户需求。相反，实时按需数据广播通过上行信道接收实时用户请求，依据用户请求动态组织数据广播。实时按需数据广播兼具点对点通信的灵活性，以及数据广播的高效性，可扩展到大规模实时数据库，可适应动态数据访问模式以满足实时需求，越来越受到学者的关注。在按需数据广播系统中，用户通过上行信道上传请求，服务器响应请求，动态组织被请求数据广播。现有文献关于按需数据广播的研究主要集中在数据调度算法，然而，随着用户数量和请求量的激增，图4展示的因大规模数据请求导致的问题不容忽视。一方面受限于硬件资源(内存，CPU)、控制信道、接入控制算法等，基站的接入容量有限。随着用户数量的不断增加，基站接入容量成为按需数据广播系统的瓶颈。另一方面，大量用户同时请求数据，服务器必须在极短的时间内响应，这也是对服务器并发处理请求能力的巨大挑战。例如，在股票更新期间，大量用户请求同时涌向股票服务器以获取最新的股票信息，将消耗大量上行带宽，导致极高的服务器并发量，严重时甚至会导致服务器奔溃。这些问题激励本专利技术研究按需数据广播系统中用户请求预处理问题。目前针对实时按需数据广播调度的研究主要包括如下几个方面：(1)索引技术，其目的为缩短调谐时间以节省终端能量消耗。Sun等人针对于XML文档提出一种two-tier索引结构，第一层索引给用户提供全局XML镜像，第二层索引提供具体索引细节，能够以最小的索引代价提前通知移动终端数据广播时间，节省移动终端能耗。(2)考虑用户访问时间(averageaccesstime，AAT)。相关文献研究广播调度以最大限度的降低AAT。AksoyD等人综合考虑数据项请求数和最长等待时间，提出RxW算法，以数据项请求数与最长等待时间的乘积衡量数据项广播优先级，但其不考虑周期广播。Xu等人考虑紧急度和请求满足率，提出SIN-α，对高速率请求环境有很好的适应性。Lu等人研究最大产出请求选择问题(maximumthroughputrequestselectionproblem,MTRS)和最小延迟请求排序问题(minimumlatencyrequestorderproblem,MLRO)，针对用户请求，数据项提出两层调度算法(schedulingschemewithmaximumgainheuristic,SLLH)，能够获得最佳的广播效率。(3)考虑请求截止期。在请求带有截止期的广播环境，请求失效率(lossrate,LR)代替等待时间成为最重要的考虑因素。相关文献对考虑截止期的实时按需数据广播调度进行了研究。Hu等人提出LxRxW算法，将即将失效数L、数据项请求数R、数据项最长等待时间W同时考虑，其权重指标能够全面的衡量数据项的优先级。LeiM等人同时考虑失效率和访问时间，其定义来表示当前时间节点不广播di所造成的开销，提出最大价值优先算法MVGF(maximumvaluegainedfirst，MVGF)，每次选择Cost值最小的数据项广播。其由不广播数据项di所导致的失效请求数以及用户增长的平均访问时间共同决定。此外，相关文献针对多信道、多数据项问题进行了研究，主要优化多信道广播环境下可能出现的数据重叠、数据冲突等问题，优化调度，提高信道利用率。上述算法在降低移动终端能耗、减小等待时间、降低失效率等方面具有良好的效果，但没有关注到大规模数据广播调度应用过程中的系统容量限制问题，目前仍缺少一种有效提升按需数据广播系统容量，同时提高系统广播效率的方法。
技术实现思路
面向实时按需数据广播系统容量提升的请求预处理方法针对目前限制广播系统容量的两个瓶颈问题，本专利技术分别提出一种新的三层按需数据广播系统结构和请求预处理方法，一方面能够有效的增加基站接入容量，另一方面能够有效的降低服务器并发压力。本专利技术的系统所采用的技术方案是：一种面向实时按需数据广播系统，其特征在于：包括一个服务器、若干广播蜂窝网络cell；每个广播蜂窝网cell内包含一个基站、若干虚拟节点VN以及若干移动终端；移动终端利用虚拟节点通过无线网络接入基站，基站通过有线光纤网络接入服务器。本专利技术的方法所采用的技术方案是：一种面向实时按需数据广播系统容量提升的请求预处理方法，其特征在于：基站负责接收虚拟节点上传的用户请求，运用RPPM方法并对请求进行预处理，生成合并请求队列MRQ；所述RPPM方法包含最佳请求合并算法ORM和合并请求优先级和剪枝算法MRPP；所述最佳请求合并算法ORM，具体实现包括以下步骤：步骤A1：初始化合并请求队列步骤A2：确定合并阈值Merge-T；步骤A3：依据OWS策略确定最佳权重系数w1,w2；步骤A4：将所有需要被预处理的请求Reqi依据pi映射至Ftree；Ftree表示服务器提供给移动终端访问的目标数据项分层目录树；Bnodei为Ftree中第i个分支节点，Bnodei＝{pi,Di,Ni}，pi为分支节点Bnodei的绝对文件路径，Di＝{di,1,...di,j,...di,h}为Bnodei路径下包含的数据项集合，Ni为Bnodei路径下包含的子分支节点集合；步骤A5：以节点编号i递减的顺序计算Ftree内每一个Bnodei的Merge-Ci；对于Bnodei，基于线性加权和法的合并代价为Merge-Ci；步骤A6：递归遍历Ftree内的每一个分支节点Bnodei，若其Merge-Ci小于合并阈值Merge-T，则合并该分支节点内包含的请求，生成合并请求mReqi，将所有生成的合并请求组织成合并请求队列MRQ；所述合并请求优先级和剪枝算法MRPP，具体实现包括以下步骤：步骤B1：步骤B1：初始化ρ＝0,σ＝0；其中ρ，σ为计算变量，ρ统计MRQ中合并请求数量，σ统计MRQ中请求数据量；步骤B2：计算每一个合并请求mReqi的优先级Weighti，每计算一次，ρ＝ρ+1；其中mri为mReqi包含的请求数，为mReqi截止期，mti为mReqi请求时间，mpi为mReqi指向请求数据的绝对路径，msi为mReqi请求数据项大小；步骤B3：将合并请求队列MRQ内的每一个合并请求mReqi按照优先级递减的顺序排序；步骤B4：从i＝1开始，循环执行步骤B5，直至i＝ρ；步骤B5：判断σ＜Bw×T是否成立，其中Bw为广播系统带宽，T为广播周期；若是，则σ＝σ+msi，其中msi为mReqi包含的数据量；否则，将m本文档来自技高网...

【技术保护点】
一种面向实时按需数据广播系统，其特征在于：包括一个服务器、若干广播蜂窝网络cell；每个广播蜂窝网cell内包含一个基站、若干虚拟节点VN以及若干移动终端；移动终端利用虚拟节点通过无线网络接入基站，基站通过有线光纤网络接入服务器。

【技术特征摘要】
1.一种面向实时按需数据广播系统，其特征在于：包括一个服务器、若干广播蜂窝网络cell；每个广播蜂窝网cell内包含一个基站、若干虚拟节点VN以及若干移动终端；移动终端利用虚拟节点通过无线网络接入基站，基站通过有线光纤网络接入服务器。2.根据权利要求1所述的面向实时按需数据广播系统，其特征在于：每个移动终端直接通过上行信道无线接入距其最近的虚拟节点VN，每当用户需要一个数据时，移动终端通过上行信道上传一个带有截止期的请求至虚拟节点VN，假设每个用户一次只产生一个请求，并且同一用户前后两次请求的数据之间不具有关联性；上传请求后，用户侦听下行广播信道获取数据，数据项大小是不唯一的；若请求在截止期内得到满足，则请求成功，否则请求失败。3.根据权利要求1所述的面向实时按需数据广播系统，其特征在于：每个虚拟节点VN管理其信号覆盖范围内的用户接入以降低基站的接入控制开销；虚拟节点VN的信号覆盖范围互不重叠，一个广播蜂窝网络cell内所有虚拟节点VN的信号覆盖组成该广播蜂窝网络cell的工作范围；虚拟节点VN与基站保持长连接；每个虚拟节点VN内维护一个请求缓冲池Q。4.根据权利要求1所述的面向实时按需数据广播系统，其特征在于：基站负责接收虚拟节点上传的用户请求，并对请求进行预处理，生成合并请求队列MRQ；一旦预处理完毕，基站立即将MRQ通过有线光纤网络上传至服务器，随后基站等待接收服务器广播数据；一旦接收到服务器广播数据，其立即通过下行广播信道传送至移动终端。5.一种面向实时按需数据广播系统容量提升的请求预处理方法，其特征在于：基站负责接收虚拟节点上传的用户请求，运用RPPM方法并对请求进行预处理，生成合并请求队列MRQ；所述RPPM方法包含最佳请求合并算法ORM和合并请求优先级和剪枝算法MRPP；所述最佳请求合并算法ORM，具体实现包括以下步骤：步骤A1：初始化合并请求队列步骤A2：确定合并阈值Merge-T；步骤A3：确定最佳权重系数w1,w2；步骤A4：将所有需要被预处理的请求Reqi依据pi映射至Ftree；Ftree表示服务器提供给移动终端访问的目标数据项分层目录树；Bnodei为Ftree中第i个分支节点，Bnodei＝{pi,Di,Ni}，pi为分支节点Bnodei的绝对文件路径，Di＝{di,1,...di,j,...di,h}为Bnodei路径下包含的数据项集合，Ni为Bnodei路径下包含的子分支节点集合；步骤A5：以节点编号i递减的顺序计算Ftree内每一个Bnodei的Merge-Ci；对于Bnodei，基于线性加权和法的合并代价为Merge-Ci；步骤A6：递归遍历Ftree内的每一个分支节点Bnodei，若其Merge-Ci小于合并阈值Merge-T，则合并该分支节点内包含的请求，生成合并请求mReqi，将所有生成的合并请求组织成合并请求队列MRQ；所述合并请求优先级和剪枝算法MRPP，具体实现包括以下步骤：步骤B1：初始化ρ＝0,σ＝0；其中ρ，σ为计算变量，ρ统计MRQ中合并请求数量，σ统计MRQ中请求数据量；步骤B2：计算每一个合并请求mReqi的优先级Weighti，每计算一次，ρ＝ρ+1；其中mri为mReqi包含的请求数，为mReqi截止期，mti为mReqi请求时间，mpi为mReqi指向请求数据的绝对路径，msi为mReqi请求数据项大小；步骤B3：将合并请求队列MRQ内的每一个合并请求mReqi按照优先级递减的顺序排序；步骤B4：从i＝1开始，循环执行步骤B5，直至i＝ρ；步骤B5：判断σ＜Bw×T是否成立，其中Bw为广播系统带宽，T为广播周期；若是，则σ＝σ+msi，其中msi为mReqi包含的数据量；否则，将mReqi从MRQ中删除。6.根据权利要求5所述的面向实时按需数据广播系统容量提升的请求预处理方法，其特征在于：最佳请求合并算法ORM中，假设用户查询路径包含URL中后两部分：文件路径以及文件名；文件路径以及文件名指明了资源所在服务器的存储位置，其取值空间构成服务器提供给移动终端访问的树形目录结构；用户请求通过查询路径将请求定位于对应数据项；依据请求数据项所在分层目录树位置的不同，将用户请求分为三类：第一类请求：针对于同一数据项的不同请求为第一类请求，由符号Q1表示；对于这一类请求，各请求的不同点为请求时间、请求截止期；第二类请求：针对于同一文件目录下不同数据项的请求为第二类请求，由符号Q2表示；对于这一类请求，其请求时间、请求截止期以及请求查询路径p均可能不同，但p中仅文件名不同；第三类请求：针对于不同文件目录下不同数据项的请求为第三类请求，由符号Q3表示；对于这一类请求，其请求时间、请求截止期以及请求查询路径p均可能不同，且p中文件路径以及文件名均不同；基于线性加权和法定义合并代价Merge-C：因合并Bnodei内Q2请求所产生的代价；对于Bnodei，基于线性加权和法的合并代价为：其中，Bnodei为Ftree中第i个分支节点，Bnodei＝{pi,Di,Ni}，pi为分支节点Bnodei的绝对文件路径，Di＝{di,1,...di,j,...di,h}为Bnodei路径下包含的数据项集合，Ni为Bnodei路径下包含的子分支节点集合；Ftree表示服务器提供给移动终端访问的目标数据项分层目录树；RRRi为合并Bnodei内请求前后，Bnodei内请求数据减少的比率，w1,w2为权重系数；IVRi为Bnodei下未被请求的数据大小占总数据量大小的比率；Ui为分支节点Bnodei下包含的被请求的数据项集合，Vi为分支节点Bnodei下包含的未被请求的数据项集合，Ri为Bnodei包含的请求数；为数据项di的大小，为Bnodei下Ui包含的被请求的数据项大小总和，即为Bnodei下Vi包含的未被请求的数据项大小总和，即针对Bnodei内Q2请求合并决策为：其中，Merge-T为合并阈值，根据实际的系统需求，综合考虑广播效率和系统负载压力确定。7.根据权利要求6所述的面向实时按需数据广播系统容量提升的请求预处理方法，其特征在于：最佳请求合并算法ORM中，当合并请求包含多个用户请求时，合并请求的特征参数由下式确定：其中，为请求Reqi的截止期，ti表示请求Reqi发送时间。8.根据权利要求5所述的面向实时按需数据广播系统容量提升的请求预处理方法，其特征在于：最佳请求合并算法ORM中，通过基于量子粒子群优化算法QPSO的最佳权重搜索策略OWS快速确定最佳权重系数w1,w2；具体实现包括以下子步骤：步骤A1：生成携带权重数组的初始量子粒子群；假设初始化m个量子粒子，第i个量子态粒子编码方式为：

【专利技术属性】
技术研发人员：胡文斌，邱振宇，聂聪，王欢，严丽平，杜博，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42