一种数据处理方法及装置制造方法及图纸

本发明专利技术提供了一种数据处理方法及装置，应用于分布式存储系统，所述分布式存储系统包括多个链表，每个链表所存储的元数据所对应的数据的优先级和访问次数与其它链表均不相同，所述处理方法包括：接收访问数据的请求，并根据所述请求确定需要访问的数据所对应的元数据；确定所述元数据所在的目标链表；根据所述目标链表中数据的优先级和访问次数对所述元数据的位置进行调整。可见，本发明专利技术设置了按照优先级和访问次数的多个链表，由于关键业务数据的优先级较高，且访问次数也相对较多，因此，在遇到扫描式读写时，关键业务数据对应的元数据在链表中的存储位置并不会优先被淘汰，可以抵御扫描式读写，提高分布式存储系统的性能。

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及数据处理
，更具体地说，涉及一种数据处理方法及装置。
技术介绍
超融合基础架构是一种将计算、网络和存储等资源作为基础设施进行整合，可以根据具体业务系统需求进行选择组合和自定义，方便快捷地进行数据中心搭建和业务系统部署的一种技术架构。分布式存储系统是超融合基础架构的核心组件之一，通常使用分层存储。分层存储是指一种固态盘和机械盘的混合存储架构，固态盘的性能比机械盘高出很多倍，而价格也高出很多倍，因此，将固态盘作为性能层，机械盘作为容量层，应用频繁访问的数据放在快速的固态盘，较少访问的数据放在慢速的机械盘。使用分层算法来确定哪些数据被保存在固态盘，哪些数据被保存在机械盘。其中，常用的分层算法是最久未被访问算法(LRU)。LRU算法将固态盘中的数据的元数据组织成链表，并按数据最近一次被访问时间的先后顺序排序，被访问的时间越早，则对应的元数据被存储在链表尾部，被访问的时间越晚，越靠近当前的时间，则对应的元数据被存储在链表的头部。这样，只要数据被访问，则其对应的元数据就会被移动到链表头部，而在需要淘汰冷数据时则从链表尾部摘除元数据，进而将被摘除的元数据对应的数据从固态盘中移动到机械盘。但是，当遇到如杀毒、备份数据等需要遍历数据的扫描式读写操作时，采用LRU算法的处理方法会完全打乱原有的链表结构，从而在需要淘汰数据时，很可能淘汰关键业务数据，无法保证关键业务数据优先存储在固态盘中，严重影响了分布式存储系统的性能。
技术实现思路
有鉴于此，本专利技术提供了一种数据处理方法及装置，用于解决现有技术中无法抵御扫描式读写导致分布式存储系统的性能较低的问题。本专利技术的技术方案包括：一种数据处理方法，应用于分布式存储系统，所述分布式存储系统包括多个链表，所述链表用于存储所述分布式存储系统的数据对应的元数据，每个链表所存储的元数据所对应的数据的优先级和访问次数与其它链表均不相同，所述处理方法包括：接收访问数据的请求，并根据所述请求确定需要访问的数据所对应的元数据；确定所述元数据在所述多个链表中的目标链表；根据所述目标链表中数据的优先级和访问次数对所述元数据的存储位置进行调整。优选的，所述分布式存储系统还包括至少一个影子链表，所述处理方法还包括：若确定所述元数据不在所述多个链表中，则判断所述元数据是否存储于所述影子链表中；在所述元数据存储于所述影子链表中的情况下，根据所述数据的优先级和访问次数确定所述元数据在所述多个链表中的第一目标链表；将所述元数据存储在所述第一目标链表中。优选的，还包括：在所述元数据未存储于所述多个链表以及所述影子链表中的情况下，则按照所述数据的优先级确定所述元数据的第二目标链表，所述第二目标链表为所述多个链表或影子链表中的任意一个；将所述元数据存储在所述第二目标链表中。优选的，所述链表包括：第一链表、第二链表、第三链表以及第四链表；其中，所述第一链表用于存储数据的优先级为普通和高级且仅被访问1次的数据所对应的元数据，以及从所述第三链表中移除的元数据；所述第二链表用于存储数据的优先级为普通和高级且被访问至少2次的数据对应的元数据，以及从所述第四链表中移除的元数据；所述第三链表用于存储数据的优先级为极高且仅被访问1次的数据对应的元数据；所述第四链表用于存储数据的优先级为极高且至少被访问2次的数据对应的元数据。优选的，所述根据所述目标链表中数据的优先级和访问次数对所述元数据的存储位置进行调整包括：若确定所述元数据在所述第一链表中，则判断所述数据的优先级是否为极高，若是，则将所述元数据移动到所述第四链表中；否则，将该元数据移动到所述第二链表中；若确定所述元数据在所述第二链表中，则判断所述数据的优先级是否为极高，若是，则所述元数据移动到所述第四链表中；否则，将所述元数据置于所述第二链表的头部；若确定所述元数据在所述第三链表中，则将所述元数据移动到所述第四链表中；若确定所述元数据在所述第四链表中，将所述元数据置于所述第四链表的头部。优选的，所述影子链表包括第一影子链表、第二影子链表和特殊影子链表；其中，所述第一影子链表用于存储从所述第一链表中淘汰的元数据；所述第二影子链表用于存储从所述第二链表中淘汰的元数据；所述特殊影子链表用于存储优先级为普通且仅被访问过1次的数据所对应的元数据。优选的，所述确定所述元数据所述影子链表中，则根据所述数据的优先级和访问次数确定所述元数据在所述多个链表中的存储位置包括：若确定所述元数据在第一影子链表中，则判断所述数据的优先级是否为极高，若是，则将所述第一影子链表中的所述元数据移动到所述第四链表中，否则，将该元数据移动到所述第二链表中；若确定所述元数据在第二影子链表中，则判断所述数据的优先级是否为极高，若是，则将所述第二影子链表中的所述元数据移动到所述第四链表中，否则，将该元数据移动到所述第二链表中；若确定所述元数据在所述特殊影子链表中，则将所述特殊影子链表中的所述元数据移动到所述第二链表中。本专利技术另一方面公开了一种数据处理装置，应用于分布式存储系统，所述分布式存储系统包括多个链表，所述链表用于存储所述分布式存储系统的数据对应的元数据，每个链表所存储的元数据所对应的数据的优先级和访问次数与其它链表均不相同，所述处理装置包括：接收模块，用于接收访问数据的请求，并根据所述请求确定需要访问的数据所对应的元数据；第一确定模块，用于确定所述元数据在所述多个链表中的目标链表；第一执行模块，用于根据所述目标链表中数据的优先级和访问次数对所述元数据的存储位置进行调整。优选的，所述分布式存储系统还包括至少一个影子链表，所述处理装置还包括：第二确定模块，用于若确定所述元数据不在所述多个链表中，则判断所述元数据是否存储于所述影子链表中；第二执行模块，用于在所述元数据存储于所述影子链表中的情况下，根据所述数据的优先级和访问次数确定所述元数据在所述多个链表中的第一目标链表；将所述元数据存储在所述第一目标链表中。优选的，还包括：第三执行模块，用于在所述元数据未存储于所述多个链表以及所述影子链表中的情况下，则按照所述数据的优先级确定所述元数据的第二目标链表，所述第二目标链表为所述多个链表或影子链表中的任意一个；将所述元数据存储在所述第二目标链表中。本专利技术提供了一种数据处理方法及装置，应用于分布式存储系统，所述分布式存储系统包括多个链表，所述链表用于存储所述分布式存储系统的数据对应的元数据，每个链表所存储的元数据所对应的数据的优先级和访问次数与其它链表均不相同，所述处理方法包括：接收访问数据的请求，并根据所述请求确定需要访问的数据所对应的元数据；确定所述元数据所在的目标链表；根据所述目标链表中数据的优先级和访问次数对所述元数据的位置进行调整。可见，本专利技术设置了按照优先级和访问次数的多个链表，由于关键业务数据的优先级较高，且访问次数也相对较多，因此，在遇到扫描式读写时，关键业务数据对应的元数据在链表中的存储位置并不会优先被淘汰，保证了关键业务数据可以优先保存在固态盘中，可以抵御扫描式读写，提高分布式存储系统的性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对本文档来自技高网...

【技术保护点】
一种数据处理方法，应用于分布式存储系统，其特征在于，所述分布式存储系统包括多个链表，所述多个链表用于存储所述分布式存储系统的数据对应的元数据，每个链表所存储的元数据所对应的数据的优先级和访问次数与其它链表均不相同，所述处理方法包括：接收访问数据的请求，并根据所述请求确定需要访问的数据所对应的元数据；确定所述元数据在所述多个链表中的目标链表；根据所述目标链表中数据的优先级和访问次数对所述元数据的存储位置进行调整。

【技术特征摘要】
1.一种数据处理方法，应用于分布式存储系统，其特征在于，所述分布式存储系统包括多个链表，所述多个链表用于存储所述分布式存储系统的数据对应的元数据，每个链表所存储的元数据所对应的数据的优先级和访问次数与其它链表均不相同，所述处理方法包括：接收访问数据的请求，并根据所述请求确定需要访问的数据所对应的元数据；确定所述元数据在所述多个链表中的目标链表；根据所述目标链表中数据的优先级和访问次数对所述元数据的存储位置进行调整。2.根据权利要求1所述的处理方法，其特征在于，所述分布式存储系统还包括至少一个影子链表，所述处理方法还包括：若确定所述元数据不在所述多个链表中，则判断所述元数据是否存储于所述影子链表中；在所述元数据存储于所述影子链表中的情况下，根据所述数据的优先级和访问次数确定所述元数据在所述多个链表中的第一目标链表；将所述元数据存储在所述第一目标链表中。3.根据权利要求2所述的处理方法，其特征在于，还包括：在所述元数据未存储于所述多个链表以及所述影子链表中的情况下，则按照所述访问数据的请求的类型以及所述数据的优先级确定所述元数据的第二目标链表，所述第二目标链表为所述多个链表或影子链表中的任意一个；将所述元数据存储在所述第二目标链表中。4.根据权利要求2或3所述的处理方法，其特征在于，所述访问数据的请求的类型包括读请求或写请求，所述多个链表包括：第一链表、第二链表、第三链表以及第四链表；其中，所述第一链表用于存储所述访问数据的请求的类型为写请求时，优先级为普通且仅被访问1次的数据所对应的元数据，以及所述访问数据的请求的类型为读请求或写请求时优先级为高级且仅被访问1次的数据所对应的元数据，以及从所述第三链表中移除的元数据；所述第二链表用于存储所述访问数据的请求的类型为读请求或写请求时，优先级为普通和高级且被访问至少2次的数据对应的元数据，以及从所述第四链表中移除的元数据；所述第三链表用于存储述访问数据的请求的类型包括读请求或写请求时，优先级为极高且仅被访问1次的数据对应的元数据；所述第四链表用于存储述访问数据的请求的类型包括读请求或写请求时，优先级为极高且至少被访问2次的数据对应的元数据。5.根据权利要求4所述的处理方法，其特征在于，所述根据所述目标链表中数据的优先级和访问次数对所述元数据的存储位置进行调整包括：若确定所述元数据在所述第一链表中，则判断所述数据的优先级是否为极高，若是，则将所述元数据移动到所述第四链表中；否则，将该元数据移动到所述第二链表中；若确定所述元数据在所述第二链表中，则判断所述数据的优先级是否为极高，若是，则所述元数据移动到所述第四链表中；否则，将所述元数据置于所述第二链表的头部；若确定所述元数据在所述第三链表中，则将所述元数据移动到所述第四链表中；若确定所述元数据在所述第四链表中，将所述元数据置于所述第四链表的头部。6.根据权利要求4所述的处理方法，其特征在于，所述影子链表包括第一影子链表、第二影子链表和特殊影子链表；其中，所述第一影子链表用于存储从所述第一链表中淘汰的元数据；所述第二影子链表用于存储从所述第二链表中淘汰的元数据；所述特殊影子链表用于存储所述访问数据的请求为读请求时，优先级为普通且仅被访问过1次的数据所对应的元数据。7.根据权利要求6所述的处理方法，其特征在于，所述在所述元数据存储于所述影子链表中的情况下，根据所述数据的优先级和访问次数确定所述元数据在所述多个链表中的第一目标链表包括：若确定所述元数据在第一影子链表中，则判断所述数据的优先级是否为极高，若是，则将所述第一影子链表中的所述元数据移动到所述第四链表中，否则，将该元数据移动到所述第二链表中；若确定所述元数据在第二影子链表中，则判断所述数据的优先级是否为极高，若是，则将所述第二影子链表中的所述元数据移动到所述第四链表中，否则，将该元数据移动到所述第二链表中；若确定所述元数据在所述特殊影子链表中，则将所述特殊影子链表中的所述元数据移动到所述第二链表中。8.一种数据处理装置，应用于分布式存储系统...

【专利技术属性】
技术研发人员：付忞，李坚才，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东,44