一种缓存数据的处理方法和处理系统技术方案

本发明专利技术属于分布式系统技术领域，提供了一种缓存数据的处理方法和处理系统，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述方法通过将硬盘进行划分得到数据存储组块，将大文件的片段数据保存在数据存储组块中，大大提高了缓存的容量及效率，将硬盘作为缓存的介质，实现了低成本的大量数据的缓存，实现了大文件的缓存处理。

【技术实现步骤摘要】
一种缓存数据的处理方法和处理系统
本专利技术涉及分布式系统
，特别涉及一种缓存数据的处理方法和处理系统。
技术介绍
分布式存储系统，是将数据分散存储在多台独立的设备上的存储系统，通常通过一组或多组服务器或计算机构成，展现给用户的是一个整体，对用户来说好像是一个系统。在分布式系统中，通常包括缓存服务器和数据服务器，缓存服务器用于缓存数据，缓存指的是将需要频繁访问的网络内容存放在离用户较近、访问速度更快的系统中，以提高内容访问速度的一种技术。缓存服务器就是存放频繁访问内容的服务器。但是，现有技术中，仅提供了对小文件进行缓存的方法，对大文件进行缓存并没有成熟的技术方案。
技术实现思路
有鉴于此，本专利技术提供一种缓存数据的处理方法和处理系统，用以实现大文件的缓存处理率。为了实现上述专利技术目的，本专利技术提供以下技术方案：一种缓存数据的处理方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述方法包括：接收用户发送的数据访问请求，所述数据访问请求中包括目标文件的元数据；所述目标文件为大文件的片段数据；若所述元数据存在缓存映射，则根据所述元数据确定所述片段数据在数据缓存节点的存储位置信息；根据所述存储位置信息获取所述片段数据；将所述片段数据返回给所述用户。优选的，若所述元数据不存在缓存映射，所述方法还包括：根据所述元数据在与数据缓存节点通信连接的数据服务器中确定所述片段数据；将所述片段数据返回给所述用户。优选的，还包括：根据所述元数据记录所述目标文件的文件信息、文件索引信息、用户请求数据量并累加所述目标文件的权值，所述权值用于表征所述目标文件的访问热度。优选的，还包括：判断所述目标文件的权值是否超过第一阈值；若是，则将所述目标文件从所述数据服务器中缓存到数据缓存节点，并将所述目标文件的标识加入最近最少访问列表LRU的一级队列中。优选的，还包括：判断所述目标文件的权值是否超过第二阈值；若是，则将所述目标文件的标识从一级队列转移至二级队列的末尾，并在所述目标文件的缓存阈值达到预设标准时创建所述目标文件的副本。优选的，所述缓存阈值达到预设标准具体包括：判断所述目标文件的访问频率是否超过访问频率阈值，得到第一结果；判断所述目标文件的访问量是否超过访问量阈值，得到第二结果；判断所述目标文件所在硬盘的输出能力是否超过硬盘输出能力阈值，得到第三结果；判断所述目标文件所在数据缓存节点的输出能力是否超过节点输出能力阈值，得到第四结果；若所述第一结果、所述第二结果、所述第三结果以及所述第四结果中的任意一个结果为是时，则确定所述缓存阈值达到预设标准。优选的，所述创建所述目标文件的副本包括：复制所述目标文件并保存在于所述目标文件所在的数据缓存节点的数据存储块不同的数据存储块中或者保存在与所述目标文件所在的数据缓存节点不同的数据缓存节点中。优选的，还包括：若接收到降级指令，则将所述最少访问列表LRU中的所述目标文件的标识执行降级操作，并根据降级操作后所述目标文件的标识所处的所述LRU的位置对所述目标文件或所述目标文件的副本进行删除。本专利技术另一方面提供了一种缓存数据的处理系统，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述系统包括：接收单元，用于接收用户发送的数据访问请求，所述数据访问请求中包括目标文件的元数据；所述目标文件为大文件的片段数据；第一确定单元，用于若所述元数据存在缓存映射，则根据所述元数据确定所述片段数据在数据缓存节点的存储位置信息；获取单元，用于根据所述存储位置信息获取所述片段数据；第一返回单元，用于将所述片段数据返回给所述用户。优选的，所述装置还包括：第二确定单元，用于根据所述元数据在与数据缓存节点通信连接的数据服务器中确定所述片段数据；第二返回单元，用于将所述片段数据返回给所述用户。本专利技术实施例通过将硬盘进行划分得到数据存储组块，将大文件的片段数据保存在数据存储组块中，大大提高了缓存的容量及效率，将硬盘作为缓存的介质，实现了低成本的大量数据的缓存，实现了大文件的缓存处理。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本专利技术实施例提供的一种缓存数据的处理方法的流程图；图1A为本专利技术实施例中对各硬盘划分的原理示意图；图1B为本专利技术实施例中确定数据存储组块的原理示意图；图2为本专利技术实施例提供的一种缓存数据的处理方法的另一种流程图；图3为本专利技术实施例提供的一种缓存数据的处理系统的结构示意图。具体实施方式本专利技术公开了一种缓存数据的处理方法和处理系统，本领域技术人员可以借鉴本文内容，适当改进工艺参数实现。特别需要指出的是，所有类似的替换和改动对本领域技术人员来说是显而易见的，它们都被视为包括在本专利技术。本专利技术的方法及应用已经通过较佳实施例进行了描述，相关人员明显能在不脱离本
技术实现思路
、精神和范围内对本文所述的方法和应用进行改动或适当变更与组合，来实现和应用本专利技术技术。下面将结合实施例对本专利技术所提供的一种缓存数据的处理方法进行详细说明。本专利技术实施例公开了一种缓存数据的处理方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个数据存储组块，每一个所述数据存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据。其中预设值可以由用户根据实际需要进行设置，在实际使用中，预设值优选为32M或64M。本专利技术实施例中，缓存管理节点具体可以是缓存服务器中的一个进程，也可以是独立的一个服务器、中间设备等，只要可以实现本专利技术的功能即可。本专利技术实施例中，优选的，预先建立两台缓存服务器，成为数据缓存节点，其中，每一个数据缓存节点上存储多个缓存硬盘。实际使用中，如果数据缓存节点的输出带宽为20gbps，一个硬盘的输出带宽为400mbps,则每一个数据缓存节点中至少需要7个硬盘的满负荷输出，通常，一台数据缓存节点中配置10个或者以上的硬盘。其中，硬盘优选为SSD(固态)硬盘。并且，通常保留1、2个硬盘作为备用盘。需要说明的是，每一台缓存服务器中的硬盘个数、厂商提供者、磁盘型号、容量等均保持一致。以提高兼容性。实际使用中，参见图1A、1B所示，图1A为本专利技术实施例中对各硬盘划分的原理示意图；图1B为本专利技术实施例中确定数据存储组块的原理示意图；本专利技术实施例中，可以将各硬盘的至少部分存储空间按照一定的标准进行划分，例如可以以本文档来自技高网...

【技术保护点】
1.一种缓存数据的处理方法，其特征在于，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述方法包括：接收用户发送的数据访问请求，所述数据访问请求中包括目标文件的元数据；所述目标文件为大文件的片段数据；若所述元数据存在缓存映射，则根据所述元数据确定所述片段数据在数据缓存节点的存储位置信息；根据所述存储位置信息获取所述片段数据；将所述片段数据返回给所述用户。

【技术特征摘要】
1.一种缓存数据的处理方法，其特征在于，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，每一个所述数据存储节点中的所有硬盘的存储空间被划分为多个存储组块，每一个所述存储组块中均包括多个数据存储块，每一个所述数据存储块的存储容量相同，所述数据存储块用于存储大文件分段后的片段数据，所述大文件为超过预设值的数据，所述方法包括：接收用户发送的数据访问请求，所述数据访问请求中包括目标文件的元数据；所述目标文件为大文件的片段数据；若所述元数据存在缓存映射，则根据所述元数据确定所述片段数据在数据缓存节点的存储位置信息；根据所述存储位置信息获取所述片段数据；将所述片段数据返回给所述用户。2.根据权利要求1所述的处理方法，其特征在于，若所述元数据不存在缓存映射，所述方法还包括：根据所述元数据在与数据缓存节点通信连接的数据服务器中确定所述片段数据；将所述片段数据返回给所述用户。3.根据权利要求2所述的处理方法，其特征在于，还包括：根据所述元数据记录所述目标文件的文件信息、文件索引信息、用户请求数据量并累加所述目标文件的权值，所述权值用于表征所述目标文件的访问热度。4.根据权利要求3所述的处理方法，其特征在于，还包括：判断所述目标文件的权值是否超过第一阈值；若是，则将所述目标文件从所述数据服务器中缓存到数据缓存节点，并将所述目标文件的标识加入最近最少访问列表LRU的一级队列中。5.根据权利要求4所述的处理方法，其特征在于，还包括：判断所述目标文件的权值是否超过第二阈值；若是，则将所述目标文件的标识从一级队列转移至二级队列的末尾，并在所述目标文件的缓存阈值达到预设标准时创建所述目标文件的副本。6.根据权利要求5所述的处理方法，其特征在于，所述缓存阈值达到预设标准具体包括：判断所述目标文件的访问频率是否超过访问频率阈值，得到第一结果；判断所述目标文件的访问量是否超过访问量阈值，得到...

【专利技术属性】
技术研发人员：徐佳宏，李银，
申请(专利权)人：深圳市茁壮网络股份有限公司，
类型：发明
国别省市：广东,44