一种基于HDFS光盘库的存储方法技术

本发明专利技术公开一种基于HDFS光盘库的存储方法，包括如下步骤：步骤1，读取用户新上传的文件，为每个文件打上标签；步骤2，根据文件标签建立文件信息目录，并将文件存入磁盘中；步骤3，定期对磁盘中文件进行扫描，并更新文件的热度；步骤4，进行文件热度判断：当文件热度小于0时，根据文件的修改位、磁盘标志位和光盘库标志位对文件进行迁移；当文件热度大于0时，保持文件在磁盘中的位置不变。此种存储方法结合磁盘和HDFS光盘库的优点，将系统内经常不用的冷数据迁移至HDFS光盘库内，降低用户响应时间。

【技术实现步骤摘要】
一种基于HDFS光盘库的存储方法
本专利技术属于存储系统
，特别涉及一种基于HDFS光盘库的存储方法。
技术介绍
随着互联网的快速发展和广泛应用，全球的数据总量也随之发生了爆炸性的增长。在IDC(InternetDataCenter)调查报告中，仅2013年一年，全球产生的数据总量就达到了4.4ZB，并且这个数值正以每两年增加一倍的速度在增长，预计到2020年全球数据总量将达到44ZB。数据的增长不仅仅在数据存储设备方面上增加了数据中心的存储成本，同时也在数据维护成本和数据安全性方面带来了巨大考验。而用户的80％访请求集中在这些数据的20％上，另外的80％的数据存放在磁盘阵列内会增加存储成本。目前基于光存储介质的大数据存储系统中，基于光盘库的Hadoop分布式文件系统(HDFS光盘库)是应用最为广泛的一种，HDFS光盘库相对于传统光盘库在存储容量和传输速度方面得到了很大提升，但是由于分布式系统存储结构和光盘库物理结构原因，当用户访问某一文件时，文件数据块存储位置查询时间和光盘库机械臂取送盘时间增加了用户响应时间，严重影响了用户体验。
技术实现思路
本专利技术的目的，在于提供一种基于本文档来自技高网...

【技术保护点】
1.一种基于HDFS光盘库的存储方法，其特征在于包括如下步骤：步骤1，读取用户新上传的文件，为每个文件打上标签；步骤2，根据文件标签建立文件信息目录，并将文件存入磁盘中；步骤3，定期对磁盘中文件进行扫描，并更新文件的热度；步骤4，进行文件热度判断：当文件热度小于0时，根据文件的修改位、磁盘标志位和光盘库标志位对文件进行迁移；当文件热度大于0时，保持文件在磁盘中的位置不变。

【技术特征摘要】
1.一种基于HDFS光盘库的存储方法，其特征在于包括如下步骤：步骤1，读取用户新上传的文件，为每个文件打上标签；步骤2，根据文件标签建立文件信息目录，并将文件存入磁盘中；步骤3，定期对磁盘中文件进行扫描，并更新文件的热度；步骤4，进行文件热度判断：当文件热度小于0时，根据文件的修改位、磁盘标志位和光盘库标志位对文件进行迁移；当文件热度大于0时，保持文件在磁盘中的位置不变。2.如权利要求1所述的一种基于HDFS光盘库的存储方法，其特征在于：所述步骤3中，文件热度的计算方法是：其中，fileHeat1为文件更新的热度，fileHeat0为文件的初始热度，tscan为文件上次扫描时间，tvisit为文件上次物理访问时间，tnow表示文件当前扫描时间，visitNum为磁盘内文件的被访问次数。3.如权利要求1所述的一种基于HDFS光盘库的存储方法，其特征在于：所述步骤4中，当文件热度小于0时，根据文件相关信息进行迁移：当changFlag＝1、hddFlag＝1、bdFlag＝0时，将文件存入磁盘阵列，长期未访问转换成冷数据，交由HDFS光盘库模块迁移；当changFlag＝0、hddFlag＝1、bdFlag＝1时，将文件由HDFS光盘库恢复至磁盘阵列内数据，且不进行重复刻录；当changFlag＝1、hddFlag＝1、bdFlag＝1时，将文件由HDFS光盘库恢复至磁盘阵列内数据，并由HDFS光盘库模块重新刻录，并对原有文件信息进行覆盖；其中，changFlag表示修改位，hddFlag为磁盘标志位，bdFlag为光盘库标志位。4.如权利要求3所述的一种基于HDFS光盘库的存储方法，...

【专利技术属性】
技术研发人员：王子炫，张育平，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32