面向光盘库的读数据缓存管理方法技术

本发明专利技术公开了一种面向光盘库的读数据缓存管理方法，光盘库包括可原地更新的用于读数据缓存的磁盘和已刻录过数据的只读光盘；将光盘中读操作次数高的文件缓存到磁盘中，进而提高读操作次数高的文件的读取速度，进而降低光盘库中文件的平均延迟时间。本发明专利技术的有益效果为：其能提高光盘库读取数据时命中磁盘缓存的概率，从而降低平均读延迟时间，提高光盘库整体性能。

Read data cache management method for optical disk library

The invention discloses a read data cache management method for optical disk library, which comprises a disk for reading data cache and a read-only disk for burned data that can be updated in place, and caches a file with a high number of read operations on the optical disk into a disk, thereby improving the reading speed of a file with a high number of read operations, and thereby improving the reading speed of the file with a high number of read operations. Reduce average delay time of files in optical disk library. The invention has the beneficial effect of improving the probability of hitting the disk cache when the optical disk library reads the data, thereby reducing the average read delay time and improving the overall performance of the optical disk library.

【技术实现步骤摘要】
面向光盘库的读数据缓存管理方法
本专利技术涉及计算机数据存储
，具体涉及一种面向光盘库的读数据缓存管理方法。
技术介绍
大数据时代数据总量不断增加，大数据分析技术也在进步，大数据分析程序能从大量的数据中来挖掘潜在的价值，所以需要一种能够廉价长期保存大量数据的存储系统，并能够通过编程方式存取这些数据。光盘是一种适合廉价长期存储数据的存储介质。蓝光光盘能够可靠地保存数据长达50年，而且它也是一种价格相对划算的存储介质。光盘有着很好的兼容性，30年前制造的光盘依然能被现有光驱读取。在洪水、地震、飓风等自然灾害或电磁脉冲等人为攻击中，光盘是唯一能保存下来的存储介质，提供了较高的数据保存的可靠性。光盘是由毫米级别的塑料片和微米级别的膜涂层构成，生产成本较低。但是光盘容量相对于大数据分析程序需要存储系统能提供在线的数据访问模式，而访问光盘存在秒级别的延时，访问速度也未能达到在线访问的要求，需要采用硬盘等存储介质来保证在线访问，采用光盘介质来保证数据长期存储。蓝光光盘能够可靠地保存数据长达50年，而且它也是一种价格相对划算的存储介质。光盘有着很好的兼容性，30年前制造的光盘依然能被现有光驱读取。目前常用的蓝光光盘的容量为25GB、50GB、100GB等。25GB和100GB的蓝光光盘在光驱中的标准访问速度分别为26.9MB/s和17.9MB/s，最大访问速度分别为53.8MB/s和35.8MB/s。而硬盘容量一般为4TB和8TB，单个硬盘的访问速度为150MB/s。因此无论从容量还是从性能来看光盘都是远远低于硬盘的。为了克服单张光盘在容量和访问速度上的限制，人们提出了光盘库存储系统。光盘库存储系统是通过光盘驱动器存取光盘数据的计算机设备。光盘驱动器能够存取光盘介质上的数据，并通过数据接口和主机系统实现数据通讯。而光盘库系统通常包含大量物理光盘，一个或者多个光盘读写驱动器，光盘库控制器以及与之相对应的机械光盘交换装置组成。光盘库机械光盘交换装置能够将光盘在物理盘槽和光盘驱动器之间传递。机械取从物理盘槽到光盘驱动器的延迟时间为几十秒，而光盘在光盘驱动器的读取延迟时间也为几百微秒，因此物理取盘时间的总延迟远远大于磁盘读取的延迟时间。目前武汉光忆科技公司和华中科技大学开发出磁光电融合的新型光盘库，使用磁盘作为光盘数据的写缓存，但是并不能高效地使用磁盘作为光盘的读数据缓存。因此，迫切的需要一种新型的面向光盘库的读数据缓存管理方法，从而提高光盘库读取数据时命中磁盘缓存的概率，从而降低平均读延迟时间，提高光盘库整体性能。
技术实现思路
本专利技术的目的在于提供一种面向光盘库的读数据缓存管理方法，其能提高光盘库读取数据时命中磁盘缓存的概率，从而降低平均读延迟时间，提高光盘库整体性能。为实现上述目的，本专利技术的技术方案是一种面向光盘库的读数据缓存管理方法，光盘库包括可原地更新的用于读数据缓存的磁盘和已刻录过数据的只读光盘；光盘库包含一个全局文件命名空间和文件地址映射表，光盘库中所有文件都在全局文件命名空间中有唯一的绝对路径，是文件的逻辑地址；绝对路径从全局文件命名空间根目录到该文件的所有父目录直至文件本身名称；用户或者外部程序通过发送逻辑地址请求，读取相应的文件；文件地址映射表中包含至少一条文件地址映射记录，文件地址映射记录包括文件的逻辑地址、与逻辑地址对应的文件物理地址以及对应文件的读操作次数；文件物理地址是指文件存储在缓存中的磁盘路径地址和光盘路径地址，如果磁盘路径地址上没有缓存该文件，则相应的文件磁盘路径地址为空；文件物理地址一定存在的光盘路径地址由光盘卷号和光盘内部文件地址组成；磁盘读缓存管理方法包括：接收文件读请求；解析读请求的逻辑地址，通过地址映射表确定读请求对应的数据在光盘库中的文件物理地址；如果文件物理地址中包含不为空的文件磁盘路径地址，即读缓存命中，则从该文件磁盘路径地址处读取该文件，并且把该文件地址映射表中的读操作次数计数增加一，更新其最近读取时间；如果文件物理地址只存在光盘路径地址，即文件磁盘路径地址为空，读缓存不命中，则从相应的光盘路径地址中读取所请求的文件，发送给用户，把该文件保存一份到磁盘缓存中，之后根据预取算法把该光盘上相关数据一起读到磁盘缓存中，随后更新上述文件地址映射表，记录该请求文件和预取到磁盘缓存中的该光盘上相关数据在磁盘中的磁盘路径地址，并且把该请求文件地址映射表中的读操作次数计数增加一；当磁盘缓存空间满时，根据淘汰算法把一个或一组文件淘汰出磁盘缓存。优选地，文件地址映射表的文件地址映射记录包含一系列条目，每个条目代表全局文件命名空间中的一个文件的属性列表；文件属性列表包含文件的逻辑地址，磁盘缓存上的磁盘路径地址，光盘上的光盘路径地址，读操作次数，最近读取时间；如果某一文件不在磁盘缓存中，则相应表项中的磁盘路径地址为空；文件在光盘上的物理地址，包括所在光盘的卷号和光盘内部文件地址；读操作次数记录该文件被读取的次数；最近读取时间为最近一次读取该文件的时间。优选地，如果判定读操作对应的文件的磁盘路径地址为空，即读缓存不命中，从光盘中光盘路径地址读取文件，具体为：解析读操作所在光盘，把该光盘放到光盘库中的光盘驱动器中，并根据该文件的光盘内部文件地址，读取该文件；通过光盘驱动器从光盘开始读取该文件时，优先把文件数据反馈给请求，同时在磁盘缓存中创建新文件，请求文件数据拷贝到磁盘缓存中创建相应镜像文件；创建镜像文件完成后，把镜像文件在磁盘缓存中的磁盘路径地址记录到文件地址映射表中该请求文件的对应属性列表中；在文件地址映射表中该请求文件的对应属性列表中的读操作次数计数增一，并更新当前时间到最近读取时间。优选地，预取算法包括如下步骤：设定预取策略，为每个策略定义一个唯一的预取配置参数，用于设置启用该策略，分别为各策略定义预取配置参数为0、1、2和3；如果预取配置参数等于0，则仅仅从该光盘上读所请求的文件；如果预取配置参数等于1，则会读取该文件光盘相同父目录下的所有兄弟文件到磁盘缓存中，并更新相应文件在文件地址映射表中的条目；如果预取配置参数等于2，则会读取该文件同物理光盘相同父目录下的所有兄弟文件及父目录所有同级目录下的所有文件到磁盘缓存中，并更新相应文件在文件地址映射表中的条目；如果预取配置参数等于3，则会把整个光盘所有文件读入磁盘缓存，并更新相应文件在文件地址映射表中的条目。优选地，淘汰算法包括如下步骤：设定淘汰策略，为每个策略定义一个唯一的淘汰配置参数，用于设置启用该策略，分别为各策略定义淘汰配置参数为0、1、2和3；当淘汰配置参数为0时，把所有已缓存文件根据读取次数从大到小降序排列成一个逻辑队列；具体淘汰步骤为：当队尾文件的所占容量大于待缓存的文件，则删除该队尾文件，把待缓存文件写入缓存；如果是否，则从队尾开始向前一步，把当前文件大小和队尾文件大小相加，如果总容量大于待缓冲文件的大小，则删除这两个文件，把待缓存文件写入缓存；如果是否，继续向前一步计算前面所有文件的总容量，如果大于待缓冲文件的大小，则把这些文件全部删除，把待缓存文件写入缓存；否则继续该过程，直到待缓存文件能够完全写入磁盘缓存；当淘汰配置参数为1时，把所有已缓存文件根据最近读取时间从远到近排列成一个逻辑队列；具体淘汰步骤为：当队尾文本文档来自技高网...

【技术保护点】
1.一种面向光盘库的读数据缓存管理方法，其特征在于，光盘库包括可原地更新的用于读数据缓存的磁盘和已刻录过数据的只读光盘；光盘库包含一个全局文件命名空间和文件地址映射表，光盘库中所有文件都在全局文件命名空间中有唯一的绝对路径，是文件的逻辑地址；绝对路径从全局文件命名空间根目录到该文件的所有父目录直至文件本身名称；用户或者外部程序通过发送逻辑地址请求，读取相应的文件；文件地址映射表中包含至少一条文件地址映射记录，文件地址映射记录包括文件的逻辑地址、与逻辑地址对应的文件物理地址以及对应文件的读操作次数；文件物理地址是指文件存储在缓存中的磁盘路径地址和光盘路径地址，如果磁盘路径地址上没有缓存该文件，则相应的文件磁盘路径地址为空；文件物理地址一定存在的光盘路径地址由光盘卷号和光盘内部文件地址组成；磁盘读缓存管理方法包括：接收文件读请求；解析读请求的逻辑地址，通过地址映射表确定读请求对应的数据在光盘库中的文件物理地址；如果文件物理地址中包含不为空的文件磁盘路径地址，即读缓存命中，则从该文件磁盘路径地址处读取该文件，并且把该文件地址映射表中的读操作次数计数增加一，更新其最近读取时间；如果文件物理地址只存在光盘路径地址，即文件磁盘路径地址为空，读缓存不命中，则从相应的光盘路径地址中读取所请求的文件，发送给用户，把该文件保存一份到磁盘缓存中，之后根据预取算法把该光盘上相关数据一起读到磁盘缓存中，随后更新上述文件地址映射表，记录该请求文件和预取到磁盘缓存中的该光盘上相关数据在磁盘中的磁盘路径地址，并且把该请求文件地址映射表中的读操作次数计数增加一；当磁盘缓存空间满时，根据淘汰算法把一个或一组文件淘汰出磁盘缓存。...

【技术特征摘要】
1.一种面向光盘库的读数据缓存管理方法，其特征在于，光盘库包括可原地更新的用于读数据缓存的磁盘和已刻录过数据的只读光盘；光盘库包含一个全局文件命名空间和文件地址映射表，光盘库中所有文件都在全局文件命名空间中有唯一的绝对路径，是文件的逻辑地址；绝对路径从全局文件命名空间根目录到该文件的所有父目录直至文件本身名称；用户或者外部程序通过发送逻辑地址请求，读取相应的文件；文件地址映射表中包含至少一条文件地址映射记录，文件地址映射记录包括文件的逻辑地址、与逻辑地址对应的文件物理地址以及对应文件的读操作次数；文件物理地址是指文件存储在缓存中的磁盘路径地址和光盘路径地址，如果磁盘路径地址上没有缓存该文件，则相应的文件磁盘路径地址为空；文件物理地址一定存在的光盘路径地址由光盘卷号和光盘内部文件地址组成；磁盘读缓存管理方法包括：接收文件读请求；解析读请求的逻辑地址，通过地址映射表确定读请求对应的数据在光盘库中的文件物理地址；如果文件物理地址中包含不为空的文件磁盘路径地址，即读缓存命中，则从该文件磁盘路径地址处读取该文件，并且把该文件地址映射表中的读操作次数计数增加一，更新其最近读取时间；如果文件物理地址只存在光盘路径地址，即文件磁盘路径地址为空，读缓存不命中，则从相应的光盘路径地址中读取所请求的文件，发送给用户，把该文件保存一份到磁盘缓存中，之后根据预取算法把该光盘上相关数据一起读到磁盘缓存中，随后更新上述文件地址映射表，记录该请求文件和预取到磁盘缓存中的该光盘上相关数据在磁盘中的磁盘路径地址，并且把该请求文件地址映射表中的读操作次数计数增加一；当磁盘缓存空间满时，根据淘汰算法把一个或一组文件淘汰出磁盘缓存。2.根据权利要求1所述的面向光盘库的读数据缓存管理方法，其特征在于，文件地址映射表的文件地址映射记录包含一系列条目，每个条目代表全局文件命名空间中的一个文件的属性列表；文件属性列表包含文件的逻辑地址，磁盘缓存上的磁盘路径地址，光盘上的光盘路径地址，读操作次数，最近读取时间；如果某一文件不在磁盘缓存中，则相应表项中的磁盘路径地址为空；文件在光盘上的物理地址，包括所在光盘的卷号和光盘内部文件地址；读操作次数记录该文件被读取的次数；最近读取时间为最近一次读取该文件的时间。3.根据权利要求2所述的面向光盘库的读数据缓存管理方法，其特征在于，如果判定读操作对应的文件的磁盘路径地址为空，即读缓存不命中，从光盘中光盘路径地址读取文件，具体为：解析读操作所在光盘，把该光盘放到光盘库中的光盘驱动器中，并根据该文件的光盘内部文件地址，读取该文件；通过光盘驱动器从光盘开始读取该文件时，优先把文件数据反馈给请求，同时在磁盘缓存中创建新文件，请求文件数据拷贝到磁盘缓存中创建相应镜像文件；创建镜像文件完成后，把镜像文件在磁盘缓存中的磁盘路径地址记录到文件地址映射表中该请求文件的对应属性列表中；在文件地址映射表中该请求文件的对应属性列表中的读操作次数计数增一，并更新当前时间到最近读取时间。4.根据权利要求3所述的面向光盘库的读数据缓存管理方法，其特征在于，预取算法包括如下步骤：设定预取策略，为每个策略定义一个唯一的预取配置参数，用于设置启用该策略...

【专利技术属性】
技术研发人员：姚杰，曹强，刘逸麟，
申请(专利权)人：江苏菲利斯通信息科技有限公司，
类型：发明
国别省市：江苏,32