适用于高速缓存代理服务器体系结构的文件系统构建方法技术方案

本发明专利技术的目的是提供一种适用于高速缓存代理服务器体系结构的文件系统构建方法，该方法是将相关对象按照一定的逻辑结构存放在同一块中，而实际分配的块的默认大小上限是８ＧＢ，根据实际情况，块大小上限是可以修改的，这样对于绝对多数的对象实体是完全能存储在一个物理块的。增强访问实体对象的存储相关性，可以让访问的响应时间加快的同时，大幅增加吞吐量。相关性一致的访问对象存放在一个块上，能保证访问应用过程中，提高链接的建立数并减少传输中的连接失败。

【技术实现步骤摘要】
1、
本专利技术涉及计算机缓存服务器领域，具体涉及一种适用于高速缓存代理服务器体系结构的文件系统构建方法。2、技术背景1、随着网络应用的高速发展，用户在访问远程站点的时候，在响应时间和速度上面就存在很大的弊端，由缓存代理服务器为用户提供高速访问服务。缓存代理服务器系统包括客户端，服务端和存储系统。在缓存代理中，用户的请求实体被称为对象。对象包括小图标、网页、下载对象和其他，其中绝对部分是小文件，对象文件按权重比例算下来，平均文件的大小只有十几K。2、现在针对缓存代理服务器的存储系统主要有AUFS、DISKD、COSS。其中，大多文件系统按照目录方式将文件对象保存在服务器的磁盘上，在读写的过程中，seek time相对于小文件对象的读写传输，占用整个读写过程中的比例大大的超过读写、传输时间。传统的这些文件系统格式使得缓存服务器不堪重负。提出一种文件系统，需要解决缓存代理服务器在大负荷访问请求的情况下，能得到较高的吞吐量、快速的响应时间和较高命中率。在代理服务器中，文件对象是按照一定的逻辑关系存放在文件目录中的。适用于缓存代理的，传统的存储文件的存储机制包括DISKD，UFS等，他们在存储文件上，都是基于目录形式的。传统存储对象的机制一般可归纳为：在代理服务器中，文件是存放在子目录的，平均每个子目录的存放文件个数300-400个，这样有利于搜索。根据提供用作缓存的、建立的缓存文件目录的大小、对象文件的平均大小和每个目录平均存放对象数，可以确定缓存目录中根目录L1和子目录L2的个数。对于大多文件都是小对象文件的大量网络应用，OPEN、SEEK时间都是毫秒级的，在整个操作中占的比例相当大，实际读取文件时间多是微秒级的，频繁的开关文件目录大大降低服务器的吞吐量和响应时间。在传统的存储机制下，主要的性能瓶颈来自频繁的open()和unlink()系统调用。因为每个cache响应都存储在独立的磁盘文件里，缓存代理服务器总是在打开，关闭，和删除文件。相当耗费时间。而COSS的文件系统，则本身可以看作是一种容量很大的块文件，它将所有文-->件按照一定的规则存放在磁盘上。在读取文件操作过程中，减少了打开和关闭的时间次数。然而这种文件系统目前也只处于开发试验阶段，不稳定，不完善。实际实现过程中，缓存对象目标通常在COSS文件里占用了不止一个块，对于同一目标对象访问的时候，会增加额外的开销，而且这些开销是致命的。在这种文件系统中，缓存命中被″移动″到循环文件的末尾，以便下次访问再用。这本质上是LRU算法，它意味着缓存命中导致间接的磁盘写操作，在COSS中，对于要删除的缓存目标。采用的是简单的忘记无用目标所分配的空间。当循环文件的终点再次抵达该空间时，它就被重新利用。这种替换策略是不完善的一种策略。提出文件系统：解决目标对象的相关性问题，主要包括前端访问和后端存储的相关性：能够对用户请求进行分级处理，因为用户的请求大多是同一层次的网络应用。比如用户访问网站，一般会访问网站的相关连接、图片等对象实体，这些相关的实体的请求称为相关子请求。文件系统中，提供预取子请求的访问资源。访问请求的这些对象在后端中可能是存放在不同的逻辑目录下或者不同的块中。也就是在前端，用户的访问层次相同，深度级别一样，但是在后端，访问的实体的分散存储在不同的目录块中，造成前后端在访问上的不一致问题。
技术实现思路
本专利技术的目的是提供一种适用于高速缓存代理服务器体系结构的文件系统构建方法，该方法是将相关性一致的访问对象实体存储在一个物理块上，通过增强访问对象实体的存储相关性，加快访问的响应时间加快的同时增加吞吐量，保证访问应用过程中，能够大幅度提高链接的建立数并减少传输中的连接失败，步骤如下：1)根据用户请求的URL，首先对URL的关键词进行分析，在代理服务器高速缓存上用一块空间来保存它，关键词包括主机名、文件的类型、连接专栏、目录，将关键词进行列表分类，将访问连接分成不同深度级别的目录，根据前端访问同级的目录，按照关键词列表映射到后端存储部分，请求的对象在后端严格按照同一深度的存储在一个大的文件块上，同时根据类型对象，按照传统划分文件对象大小的方式，将不同类型的文件对象存储在不同类型的块上；2)将同一缓存对象实体存储在同一个块上，对相关性的对象实体也存储在一个同一个块上，将相关对象实体保存在相同的块上来减少请求的平均响应时间和缩短命中时间。本专利技术的优异效果是：是将相关性一致的访问对象实体存储在一个物理块上，通过增强访问对象实体的存储相关性，加快访问的响应时间加快的同时增加吞吐-->量，保证访问应用过程中，增加吞吐量、提高访问相应时间和能够大幅度提高链接的建立数并减少传输中的连接失败。附图说明图1是基于URL的文件对象数据结构示意图；图2是URL的组成结构图。具体实施方式参照说明书附图对本专利技术的方法作以下详细的说明。本专利技术的目的是提供一种适用于高速缓存代理服务器体系结构的文件系统构建方法，该方法是将相关对象按照一定的逻辑结构存放在同一块中，而实际分配的块的默认大小上限是8GB，根据实际情况，块大小上限是可以修改的，这样对于绝对多数的对象实体是完全能存储在一个物理块的。增强访问实体对象的存储相关性，可以让访问的响应时间加快的同时，大幅增加吞吐量。相关性一致的访问对象存放在一个块上，能保证访问应用过程中，提高链接的建立数并减少传输中的连接失败。判断对象相关性的思想：根据用户请求的URL，首先对URL的关键词进行分析，在代理服务器高速缓存上用一块空间来保存它，关键词包括主机名、文件的类型、连接专栏、目录等，将关键词进行列表分类。将访问连接分成不同深度级别的目录，根据前端访问同级的目录，按照关键词列表映射到后端存储部分，请求的对象在后端严格按照同一深度的存储在一个大的文件块上。同时根据类型对象，按照传统划分文件对象大小的方式，将不同类型的文件对象存储在不同类型的块上。对象的数据结构包含对象的属性信息部分：文件名、文件标号、文件大小、可缓存性、索引信息、动态请求链接列表信息、缓存区大小、文件块地址、块偏移值、计数功能；文件相关性；操作部分信息：操作类型、预存动态连接和子连接、请求大小，请求的偏移量、请求的缓存长度、状态值等。衡量文件系统能够达到的目的包括访问的吞吐量、响应时间和命中率。在传统的文件系统中，DISKD、UFS等存储机制比COSS要逊色很多，不管是在访问的响应时间还是吞吐量上都是如此，主要原因就是处理的对象太多，而且都是小文件，一个完整的读写过程在打开文件，建立连接上花销占用太多。吞吐量与建立连接的数量、请求连接的成功率、对象的平均大小有关，在实际对象大小基本不变的情况下，连接请求与存储的对象有关系，各种环境的试验测试表明，在出现错误的情况下，连接超时引起错误或者失败的占大部分。这些主要归咎于在后端洪水般的请求量下，I/O成为瓶颈，大量的请求在排队请求，最后-->由于等待时间过长，导致大量的请求应用超时而请求失败。新的存储文件系统将在响应请求的应用后，由于相关对象实体在物理磁盘上是存放在一个大的块上的，对其他相关子请求的时候，能够迅速定为到相关对象实体的存储位置，而不用象之前的通过路径搜寻等方式重新定位对象的存储位置而浪费大量的时间，从而能够极大本文档来自技高网...

【技术保护点】
适用于高速缓存代理服务器体系结构的文件系统构建方法，其特征在于将相关性一致的访问对象实体存储在一个物理块上，通过增强访问对象实体的存储相关性，加快访问的响应时间加快的同时增加吞吐量，保证访问应用过程中，提高链接的建立数并减少传输中的连接失败，步骤如下：　　　　１）根据用户请求的ＵＲＬ，首先对ＵＲＬ的关键词进行分析，在代理服务器高速缓存上用一块空间来保存它，关键词包括主机名、文件的类型、连接专栏、目录，将关键词进行列表分类，将访问连接分成不同深度级别的目录，根据前端访问同级的目录，按照关键词列表映射到后端存储部分，请求的对象在后端严格按照同一深度的存储在一个大的文件块上，同时根据类型对象，按照传统划分文件对象大小的方式，将不同类型的文件对象存储在不同类型的块上；　　　　２）将同一缓存对象实体存储在同一个块上，对相关性的对象实体也存储在一个同一个块上，将相关对象实体保存在相同的块上来减少请求的平均响应时间和缩短命中时间。

【技术特征摘要】
1、适用于高速缓存代理服务器体系结构的文件系统构建方法，其特征在于将相关性一致的访问对象实体存储在一个物理块上，通过增强访问对象实体的存储相关性，加快访问的响应时间加快的同时增加吞吐量，保证访问应用过程中，提高链接的建立数并减少传输中的连接失败，步骤如下：1)根据用户请求的URL，首先对URL的关键词进行分析，在代理服务器高速缓存上用一块空间来保存它，关键词包括主机名、文件的类型、连接专栏、目录，将关键词...

【专利技术属性】
技术研发人员：黄景昌，李开君，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：88[中国|济南]