视频点播系统的分级存储管理方法技术方案

本发明专利技术公开了一种视频点播系统的分级存储管理方法。其首先随机地将所有点播的视频数据中的２０％存在一级高速磁盘阵列存储设备上；在另外的８０％视频数据中，其３０％的数据存储在二级的ＤＶＤ光盘库上，其７０％的数据存储在三级的磁带库中；在视频点播系统初始化时间段内，对视频数据进行数据迁移管理；系统初始化时间段后对视频数据进行最小加权周期频率数据迁移管理。本发明专利技术大大提高视频点播的节目在高速存储设备上点播命中率，可以提高系统提供服务的相应速度，在性能和硬件价格间作出最好的平衡。

【技术实现步骤摘要】

本专利技术属于数据存储领域，特别是一种。二
技术介绍
分级存储管理就是要将用户拥有的所有存储资源统一管理，提高每种存储设备的利 用率，节约了成本。在分级存储中，存储的分级是十分明显的，仅从设备上说，就有 磁带机、磁带库、NAS、中低端盘阵、高端存储系统等等。传统的分级存储管理系统中 在线、近线与离线存储存放的数据价值不同，如何根据用户数据的不同价值合理利用 好每种存储资源是一个挑战。分级存储管理起源于1978年，首先使用于IBM的大型机 系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。其中最关键的 技术就是近线存储和数据迁移技术。传统的分级存储管理是一种将离线存储与在线存 储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然 后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当 需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一 级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度 上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。通俗地讲，数据迁移是一 种可以把大量不经常访问的数据存放在磁带库、光盘库等离线介质上，只在磁盘阵列 上保存少量访问频率高的数据的技术。当那些磁带等介质上数据被访问时，系统自动 地把这些数据回迁到磁盘阵列中；同样，磁盘阵列中很久未访问的数据被自动迁移到 磁带介质上，从而大大降低投入和管理成本。HSM应用也具备监测磁盘容量并在关键容 量情况下做出反应的能力。这种软件经过配置后可以为某个巻设定一个最小的剩余空 间，当达到这个极限后自动向用户发出警告，提示用户或自动进行数据迁移。这样便 可以立即释放空间，管理员也可以在今后有空闲时再来解决空间的问题。视频点播系统中的存储管理系统分为三级，高速的磁盘阵列作为一级存储设备， DVD光盘库作为二级近线存储设备，而大容量低成本的磁带库则作三级的近线存储设 备。视频点播系统中三级的存储结构是实现计算机系统大容量存储数据的方法之一。 它将大容量的近线存储设备作为硬盘的下一级设备，然后将硬盘中常用的数据按指定的策略自动迁移到光盘等二、三级大容量存储设备上。当点播系统用户需求上升时， 分级存储系统会按特点数据迁移管理方法自动将这些数据从后一级存储设备调回到上 级。对于用户来说，上述数据迁移操作完全是透明的。用户可能会感到访问硬盘的速 度稍慢一点，但会明显感觉其逻辑硬盘的容量大大提高。相对传统的数据管理模式， 这种技术的解决方案所带来的优势是显而易见的。三
技术实现思路
本专利技术的目的是提供一种视频点播系统的分级存储体管理方法，该方法能在根据视 频点播用户的请求频率，自动进行三级存储设备间的数据迁移，并能够大大提高视频 点播的节目在高速存储设备上点播命中率，可以在性能和硬件价格间作出非常好的平 衡。实现本专利技术目的的技术方案为 一种，包括以下步骤第一步，首先随机地将所有点播的视频数据中的20%存在一级高速磁盘阵列存储设 备上；在另外的80%视频数据中，其3(^的数据存储在二级的DVD光盘库上，其70% 的数据存储在三级的磁带库中；第二步，在视频点播系统初始化时间段内，对视频数据进行数据迁移管理；第三步，系统初始化时间段后对视频数据进行最小加权周期频率数据迁移管理。本专利技术的第二步中，进行数据迁移管理是使用 LFRU数据迁移管理方法，其步骤如下假设系统的节目库有W个节目，排序后节目访问概率符合Zipf法则，第k个节目 为A,则节目库可表示为<formula>complex formula see original document page 5</formula>对节目库中每个节目使用如下公式计算其RFN值<formula>complex formula see original document page 5</formula>其中D是为了解决在过渡期数据访问不稳定的问题，定义一个过渡时间区间；R 表示时间信息；F表示频率信息；N表示节目所在服务节点的个数；t为系统的逻辑时钟，表示当前时间值，k表示节目号；节目上一次访问距离现在的时间值<formula>complex formula see original document page 6</formula>tk为每一个节目都拥有的计时器，表示对节目pk最近一次被访问的时间值，其初始值 为t。，是系统作为参考起点的时间值；Ck表示对节目pk访问的次数；Nk表示节目所在服务节点的个数；tik表示节目pk第i次访问的时间值，上式用于计算节目访问的频 率信息，<formula>complex formula see original document page 6</formula>表示节目过去所有访问距离现在的时间的平均值，RF将时间信息和频率信息都归一化为一个时间距离值，用它们的加权和作为替换的一个比较因子。本专利技术的第三中，进行最小加权周期频率数据迁移管理的步骤为加权周期点播频率用符号WDF表示，^D《就是第i个节目的加权周期点播频率， 节目的加权点播频率用以下公式计算其中，i表示存储设备上所有节目中的第i个节目；j表示时间段，j从l到7分 别表示倒数第一天到倒数第七天；ADFij表示第i个节目在倒数第j天的平均点播频率; Wj表示倒数第j天的加权值，Wj从W1到W1依次递减；WDFi表示第i个节目的加权周 期点播频率。本专利技术与现有技术相比，其显著优点为采用， 针对视频点播用户请求特点自动进行三级存储设备间的数据迁移，大大提高视频点播 的节目在高速存储设备上点播命中率，可以提高系统提供服务的相应速度，在性能和 硬件价格间作出最好的平衡。在针对视频点播系统的用户请求的分析基础上，分为两 个阶段进行分级存储的数据迁移管理。在视频点播系统初始化时间段内，系统的运行 不够稳定，这段时间过后系统达到稳定状态，使用改进的LFRU方法，此后使用最小加 权周期频率替换方法进行数据迁移。本专利技术的数据迁移方法把大量不经常访问的数据存放在价格便宜，速度较慢的磁带库、光盘库等近线介质上，只在磁盘阵列上保存少 量访问频率高的数据的技术。使得点播命中率和硬件价格得到最好的平衡。四附图说明图l是对二级存储系统结构图。图2是本专利技术的三级存储系统结构图。图3是本专利技术的改进的LFRU数据迁移方法与LFU、 LRU的比较图。图4是本专利技术的最小加权周期频率数据迁移方法与LFU的比较图。五具体实施例方式下面结合附图对本专利技术作进一步详细的描述。结合图1至图4，本专利技术，包括以下步骤第一步，首先随机地将所有点播的视频数据中的20%存在一级高速磁盘阵列存储设备上；在另外的80%视频数据中，其3(^的数据存储在二级的DVD光盘库上，其70%的数据存储在三级的磁带库中；第二步，在视频点播系统初始化时间段内，对视频数据进行数据迁移管理，即进行数据迁移管理是使用改进LFRU数据迁移管理方法，其步骤如下假设系统的节目库有^V个节目，排序后节目访问概率符合Zipf法则，第k个节目 为A，则节目库可表示为<formula>comple本文档来自技高网...

【技术保护点】
一种视频点播系统的分级存储管理方法，包括以下步骤：第一步，首先随机地将所有点播的视频数据中的２０％存在一级高速磁盘阵列存储设备上；在另外的８０％视频数据中，其３０％的数据存储在二级的ＤＶＤ光盘库上，其７０％的数据存储在三级的磁带库中；第二步，在视频点播系统初始化时间段内，对视频数据进行数据迁移管理；第三步，系统初始化时间段后对视频数据进行最小加权周期频率数据迁移管理。

【技术特征摘要】
1、一种视频点播系统的分级存储管理方法，包括以下步骤第一步，首先随机地将所有点播的视频数据中的20％存在一级高速磁盘阵列存储设备上；在另外的80％视频数据中，其30％的数据存储在二级的DVD光盘库上，其70％的数据存储在三级的磁带库中；第二步，在视频点播系统初始化时间段内，对视频数据进行数据迁移管理；第三步，系统初始化时间段后对视频数据进行最小加权周期频率数据迁移管理。2、 根据权利要求1所述的视频点播系统的分级存储管理方法，其特征在于在第二步中，进行数据迁移管理是使用LFRU数据迁移管理方法，其步骤如下假设系统的节目库有/V个节目，排序后节目访问概率符合Zipf法则，第k个节目 为A，则节目库可表示为^A的访问概率<formula>formula see original document page 2</formula> 对节目库中每个节目使用如下公式计算其RFN值其中D是为了解决在过渡期数据访问不稳定的问题，定义一个过渡时间区间；R 表示时间信息；F表示频率信息；N表示节目所在服务节点的个数；t为系统的逻辑时 钟，表示当前时间值，k表示节目号；节目上一次访问距离现在的时间值及<formula>formu...

【专利技术属性】
技术研发人员：刘凤玉，魏维，赵学龙，李千目，张琨，徐建，衷宜，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：84[中国|南京]