一种基于文件系统特征实现低延迟缓存方法技术方案

本发明专利技术涉及低延迟缓存技术领域，尤其涉及一种基于文件系统特征实现低延迟缓存方法，针对当前技术仍存在大都采用直接、统一缓存的方式，缺少对文件的区分，导致文件系统缓存延迟率较高，且缓存的文件存在无用文件缺少处理，占用缓存空间等问题，现提出如下方案，包括以下步骤：S1：采用TFIDF法来计算特征词的权重值；S2：将文件属性数据分别存放在不同的区块，块设备驱动程序驱动读取；本发明专利技术的目的是通过文件属性进行分别存放，并通过块设备驱动程序驱动读取，加快读写效率，降低了文件系统缓存延迟率，通过基于访问频率的访问策略替换掉访问队列中频率最低的一项实现部分文件优先缓存。存。存。

【技术实现步骤摘要】
一种基于文件系统特征实现低延迟缓存方法


[0001]本专利技术涉及低延迟缓存
，尤其涉及一种基于文件系统特征实现低延迟缓存方法。

技术介绍

[0002]后端应用程序通常将数据存储在数据库中。当客户端要获取任何数据时，应用程序通过查询数据库，获取数据，并将其返回给用户。数据库服务器作为一个单独的进程运行，可以和应用服务器在不同的计算机上运行，从数据库读取数据非常耗时，因为它需要网络传输和从文件系统获取数据的操作。如果数据存储在缓存中，读取操作将会非常快。根据应用程序访问数据的方式，缓存可能在某个时间点被填满。
[0003]低延迟是指计算机系统或通信网络中的较短时间延迟。它通常用于指网络数据包通过网络连接从发送计算机到接收计算机的往返所需的时间。在其他情况下，它可能指的是数据在计算机随机存取存储器(RAM)中被导入和传出所需的时间使用测试是计算网络通信延迟的最可靠的方法。计算计算机网络上的延迟需要记录到达目的地并返回所需的时间。我们提出一种基于文件系统特征实现低延迟缓存方法。

技术实现思路

[0004]本专利技术的目的是解决现有技术仍存在大都采用直接、统一缓存的方式，缺少对文件的区分，导致文件系统缓存延迟率较高，且缓存的文件存在无用文件缺少处理，占用缓存空间等问题，而提出的一种基于文件系统特征实现低延迟缓存方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种基于文件系统特征实现低延迟缓存方法，包括以下步骤：
[0007]S1：采用TFIDF法来计算特征词的权重值；
[0008]S2：将文件属性数据分别存放在不同的区块，块设备驱动程序驱动读取；
[0009]S3：将文件按照固定的块大小进行划分，通过哈希算法得到指纹值；
[0010]S4：使用rabin算法来计算滑动窗口的指纹，对比已存储的数据块；
[0011]S5：滑动窗口计算出的指纹值，得到块边界；
[0012]S6：采用基于时间局部性的数据预取，根据记录的序列推测下一个访问地址；
[0013]S7：采用基于访问频率的缓存策略，根据生命周期的信息进行区分并记录。
[0014]优选的，所述S1中，采用TFIDF法来计算特征词的权重值，TF用于计算该词描述文档内容的能力；IDF用于计算该词区分文档的能力；Wi表示第i个特征词的权重，TFi(t，d)表示词t在文档d中的出现频率，N表示总的文档数，DF(t)表示包含t的文档数；人工选择4
‑
7关键词，用TFIDF算法将所有词的权值排序。
[0015]优选的，所述S2中，文件系统将文件属性数据分别存放在不同的区块，权限与属性放置到inode中，至于实际数据则放置到datablock区块中；另外，还有一个超级区块会记录整个文件系统的整体信息，包括inode与block的总量、使用量、剩余量以及文件系统的格式
与相关信息，应用层进程通过系统调用进行文件读写操作，内核中每个进程为打开的文件维护数据结构，通过块设备文件系统层和块设备驱动的接口，缓存层可以加快设备读写效率，块设备驱动程序驱动读取。
[0016]优选的，所述S2中，分块缓存将文件切分成小块,以块为单位进行缓存操作，分块缓存分为定长分块与变长分块，定长分块将文件切分为大小相同的块和变长分块，变长算法根据文件越靠后的部分被访问的概率越低的推断，将文件按照首尾位置分块，各块大小按指数递增。
[0017]优选的，所述S3中，提供一个已经预先定义好的块的大小(该值独立于所存取的数据容)，所有文件均按照这个固定的块大小进行划分；每个划分好的数据块均通过哈希算法得到一个指纹值，将该值与已存储的指纹值进行比对，按照CDC算法分成若干数据块，从头文件开始，将固定大小(互相重叠)的滑动窗口中的数据作为组成文件的各个部分，在窗口的每个位置，该窗口中数据的一个指纹被计算出来(此时的指纹是用来确定边界的)。
[0018]优选的，所述S4中，使用rabin算法来计算滑动窗口的指纹，当它的值模某个指定的整数位0时，把此事窗口的位置作为块的边界；重复这个过程，直到整个文件数据都被分成块；划分出的每个块用Hash函数计算出它的指纹值与已存储的数据块进行对比，删除相同的指纹值代表的数据块，储新的数据块。
[0019]优选的，所述S5中，设置两个整数D和r,且r<D,设某时间点，滑动窗口计算出的指纹值是f,则基准点为fmodD＝r，得到块边界，计算整个块的hash值，再去与先前存储过的块hash进行比对，若hash已经存在，则删除这个块，如果hash不存在，则存储下来。
[0020]优选的，所述S6中，采用基于时间局部性的数据预取，通过分析程序的访问模式，发现一条或数条重复发生的访问链(即一系列地址按照相同的访问顺序重复出现)，通过记录两次访存之间的地址偏移量来训练预取，当该链被判断再次发生时，根据记录的序列推测下一个访问地址。
[0021]优选的，所述S7中，根据之前的生命周期的信息来进行这些区分，将行划分为多个团，以团为单位对这些行的缓存行为进行记录。
[0022]优选的，所述S7中，采用基于访问频率的缓存策略，按每个缓存块的被访问频率将缓存中的各块排序,当缓存空间已满时,替换掉缓存队列中访问频率最低的一项，算法记录下每个缓存页面最后两次被访问的时间，替换页面时替换掉倒数第二次访问时间距现在最久的一项。
[0023]本专利技术的有益效果为：
[0024]1、通过文件属性进行分别存放，并通过块设备驱动程序驱动读取，加快读写效率，降低了文件系统缓存延迟率。
[0025]2、通过基于访问频率的访问策略替换掉访问队列中频率最低的一项实现部分文件优先缓存。
[0026]本专利技术的目的是通过文件属性进行分别存放，并通过块设备驱动程序驱动读取，加快读写效率，降低了文件系统缓存延迟率；通过基于访问频率的访问策略替换掉访问队列中频率最低的一项实现部分文件优先缓存。
附图说明
[0027]图1是本专利技术提出的一种基于文件系统特征实现低延迟缓存方法的流程示意图。
具体实施方式
[0028]下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0029]实施例一
[0030]参照图1，一种基于文件系统特征实现低延迟缓存方法，包括如下步骤：
[0031]S1：采用TFIDF法来计算特征词的权重值；
[0032]S2：将文件属性数据分别存放在不同的区块，块设备驱动程序驱动读取；
[0033]S3：将文件按照固定的块大小进行划分，通过哈希算法得到指纹值；
[0034]S4：使用rabin算法来计算滑动窗口的指纹，对比已存储的数据块；
[0035]S5：滑动窗口计算出的指纹值，得到块边界；
[0036]S6：采用基于时间局部性的数据预取，根据记录的序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文件系统特征实现低延迟缓存方法，其特征在于，包括以下步骤：S1：采用TFIDF法来计算特征词的权重值；S2：将文件属性数据分别存放在不同的区块，块设备驱动程序驱动读取；S3：将文件按照固定的块大小进行划分，通过哈希算法得到指纹值；S4：使用rabin算法来计算滑动窗口的指纹，对比已存储的数据块；S5：滑动窗口计算出的指纹值，得到块边界；S6：采用基于时间局部性的数据预取，根据记录的序列推测下一个访问地址；S7：采用基于访问频率的缓存策略，根据生命周期的信息进行区分并记录。2.根据权利要求1所述的一种基于文件系统特征实现低延迟缓存方法，其特征在于，所述S1中，采用TFIDF法来计算特征词的权重值，TF用于计算该词描述文档内容的能力；IDF用于计算该词区分文档的能力；Wi表示第i个特征词的权重，TFi(t，d)表示词t在文档d中的出现频率，N表示总的文档数，DF(t)表示包含t的文档数；人工选择4
‑
7关键词，用TFIDF算法将所有词的权值排序。3.根据权利要求1所述的一种基于文件系统特征实现低延迟缓存方法，其特征在于，所述S2中，文件系统将文件属性数据分别存放在不同的区块，权限与属性放置到inode中，至于实际数据则放置到datablock区块中；另外，还有一个超级区块会记录整个文件系统的整体信息，包括inode与block的总量、使用量、剩余量以及文件系统的格式与相关信息，应用层进程通过系统调用进行文件读写操作，内核中每个进程为打开的文件维护数据结构，通过块设备文件系统层和块设备驱动的接口，缓存层可以加快设备读写效率，块设备驱动程序驱动读取。4.根据权利要求1所述的一种基于文件系统特征实现低延迟缓存方法，其特征在于，所述S2中，分块缓存将文件切分成小块,以块为单位进行缓存操作，分块缓存分为定长分块与变长分块，定长分块将文件切分为大小相同的块和变长分块，变长算法根据文件越靠后的部分被访问的概率越低的推断，将文件按照首尾位置分块，各块大小按指数递增。5.根据权利要求1所述的一种基于文件系统特征实现低延迟缓存方法，其特征在于，所述S...

【专利技术属性】
技术研发人员：刘晓真，黄爱芹，
申请(专利权)人：广东京海聚科技有限公司，
类型：发明
国别省市：