一种基于3D堆叠内存的快速重复数据块识别方法技术

本发明专利技术公开了一种基于3D堆叠内存的快速重复数据块识别方法，该方法包括以下步骤：将数据块指纹发送至3D堆叠内存；在3D堆叠内存中完成数据块指纹的检索和存储；3D堆叠内存将指纹检索结果返回至CPU。本发明专利技术通过使用3D堆叠内存来存储数据块指纹，3D堆叠内存由多个DRAM芯片和一个逻辑层芯片堆叠而成，并通过TSV技术连接，逻辑层通过TSV访问存储层而不需要通过数据总线，速度较快，避免了总线上不必要的数据移动，减少了访问内存的时间；本发明专利技术通过将数据指纹分类，将存储芯片分区，每类指纹存储在一个分区中，并在逻辑层嵌入多个计算单元和一个路由，路由将数据指纹转发到各计算单元，避免了计算单元之间的通信开销，降低了指纹查找过程中的能耗。

【技术实现步骤摘要】
一种基于3D堆叠内存的快速重复数据块识别方法
本专利技术属于计算机存储
，更具体地，涉及一种基于3D堆叠内存的快速重复数据块识别方法。
技术介绍
数据去重是一种冗余数据消除技术，可有效缩小数据的存储规模，节省存储空间，降低数据中心能耗。去重过程包括数据分块、指纹计算和指纹检索等环节，其中，指纹检索通过查找指纹是否存在于索引中来判断对应的数据块是否重复，是数据去重过程中的关键步骤之一。海量数据存储系统中，索引访问只能在主存中进行，但是海量数据产生的指纹索引数量庞大，不得不将一部分索引存放于硬盘中。为了提高指纹的检索速度，研究者们通过利用数据集的特性，提升索引数据在内存中的命中率来减少对慢速硬盘的访问。然而，在目前的计算机体系结构中，程序和数据存储在内存中，处理器和内存是分开的，因此在检索数据块指纹时，指纹需要通过总线不断地在CPU和内存之间进行移动。这个过程产生的时间开销和能耗，影响重复数据块的识别速度；处理器的速度和内存传输速率之间的性能差异呈指数级增长，处理器需要花费越来越多的时间等待从内存中获取数据，延迟不可避免，上述问题都影响了指纹的传输效率。专利技术内容针对现有技术的缺本文档来自技高网...

【技术保护点】
1.一种基于3D堆叠内存的快速重复数据块识别方法，其特征在于，该方法包括以下步骤：(1)将数据块指纹发送至3D堆叠内存；(2)在3D堆叠内存中完成数据块指纹的检索和存储；(3)3D堆叠内存将指纹检索结果返回至CPU。

【技术特征摘要】
1.一种基于3D堆叠内存的快速重复数据块识别方法，其特征在于，该方法包括以下步骤：(1)将数据块指纹发送至3D堆叠内存；(2)在3D堆叠内存中完成数据块指纹的检索和存储；(3)3D堆叠内存将指纹检索结果返回至CPU。2.如权利要求1所述的识别方法，其特征在于，所述3D堆叠内存包含逻辑层和存储层，所述逻辑层包含一个路由和多个PE，所述存储层被划分为多个channel。3.如权利要求2所述的识别方法，其特征在于，所述步骤(1)具体包括：(1.1)CPU从缓存中读取数据块指纹；(1.2)数据块指纹通过总线发送至逻辑层的路由；(1.3)将数据块指纹作为十六进制字符串处理，每个字符串的首字符均为‘0’-‘9’、‘A’-‘F’中的一种。4.如权利要求2所述的识别方法，其特征在于，所述步骤(2)具体包括：(2.1)路由根据数据块指纹的首字符将其转发给相应的PE；(2.2)PE将数据块指纹插入自己的请求队列尾部，并从请求队列头部取出指纹h发送给运算器和比较器；(2.3)运算器将指纹h作为key执行哈希计算，获得其在哈希表中的存放位置，并将该存放地址发送给内存...

【专利技术属性】
技术研发人员：曾令仿，程稳，蔡苒，李春艳，桑大邹，王芳，冯丹，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42