使用不可靠边缘资源的去重数据缓存方法和系统技术方案

本申请涉及使用不可靠边缘资源的去重数据缓存方法和系统，该方法包括：获取所有边缘服务器的总存储容量；利用相似性感知层次聚类法搜索候选缓存文件，得到所有候选缓存文件聚类后的各文件簇；候选缓存文件中包括去重后的无重复数据块；根据所有边缘服务器的可靠性和各文件簇，利用启发式算法从各文件簇中选择文件簇缓存到边缘服务器中，直至缓存内容的大小达到总存储容量。考虑了文件可用性和空间效率之间的权衡，从而在有限的边缘缓存空间下有效提高了缓存命中率。提高了缓存命中率。提高了缓存命中率。

【技术实现步骤摘要】
使用不可靠边缘资源的去重数据缓存方法和系统


[0001]本专利技术属于边缘存储
，涉及一种使用不可靠边缘资源的去重数据缓存方法和系统。

技术介绍

[0002]随着数字数据的爆炸式增长，重复数据删除应运而生，在边缘缓存中受到越来越多的关注，以实现空间高效。典型的块级重复数据删除过程是将文件或数据流分割为固定大小或可变大小的块，然后计算它们的块指纹。只有具有唯一块指纹的块会被存储，而重复的块会被删除。Li等人将文件相似度建模为δ
‑
相似度图，然后在基于去重的空间缩减的基础上，将流行度(热度)较高的文件分配到边缘。Luo等人提出了一种基于图的延迟约束下最大化重复数据删除率的方法。LOFS设计了一种轻量级的三层哈希映射方法，将最相似的文件分配到同一台边缘服务器中，以更好地消除冗余。这些设计通过探索文件之间的相似性来提高空间效率，允许更流行的文件在边缘进行缓存。然而，这些设计主要关注空间效率，其边缘服务器总是被认为是可靠的。
[0003]扩展存储空间是使边缘缓存保存更多文件的另一种方法。由于边缘资源的多样性，许多研究建议通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用不可靠边缘资源的去重数据缓存方法，其特征在于，包括步骤：获取所有边缘服务器的总存储容量；利用相似性感知层次聚类法搜索候选缓存文件，得到所有候选缓存文件聚类后的各文件簇；所述候选缓存文件中包括去重后的无重复数据块；根据所有边缘服务器的可靠性和各所述文件簇，利用启发式算法从各所述文件簇中选择文件簇缓存到所述边缘服务器中，直至缓存内容的大小达到所述总存储容量。2.根据权利要求1所述的使用不可靠边缘资源的去重数据缓存方法，其特征在于，利用相似性感知层次聚类法搜索候选缓存文件，得到所有候选缓存文件聚类后的各文件簇的步骤，包括：采用基于Jaccard指标的分层聚类方式，在迭代聚类过程中的每一次迭代中，确定两个文件聚类后的排序指标是否大于聚类前各自的排序指标值；若是，则将所述两个文件合并到一个新聚类中；确定所述新聚类的热度并根据所述新聚类中块的位置重新计算文件的可用概率；在所有迭代聚类完成后，得到各所述文件簇。3.根据权利要求2所述的使用不可靠边缘资源的去重数据缓存方法，其特征在于，在计算所述Jaccard指标的过程中，通过比较块指纹计算所述两个文件簇的交集和并集；所述块指纹通过布隆过滤器绘制。4.根据权利要求1至3任一项所述的使用不可靠边缘资源的去重数据缓存方法，其特征在于，所有边缘服务器的可靠性均为可靠时，利用启发式算法从各所述文件簇中选择文件簇缓存到所述边缘服务器中，直至缓存内容的大小达到所述总存储容量的过程，包括：获取各所述文件簇的布隆过滤器草图；根据所述布隆过滤器草图计算各所述文件簇的排序指标值；连续选择具有最大排序指标值的文件簇，直到缓存内容的大小达到所述总存储容量；在所述总存储容量的限制下将所有缓存内容的块随机均匀分发到各所述边缘服务器。5.根据权利要求1至3任一项的使用不可靠边缘资源的去重数据缓存方法，其特征在于，所有边缘服务器的可靠性均相同时，利用启发式算法从各所述文件簇中选择文件簇缓存到所述边缘服务器中，直至缓存内容的大小达到所述总存储容量的过程，包括：对于高热度的任一所述文件簇，直接将一个完整的所述文件簇的副本缓存到当前...

【专利技术属性】
技术研发人员：罗来龙，程葛瑶，郭得科，夏俊旭，孙博文，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：