用于对于数据传递的单遍熵检测的设备和方法技术
【技术实现步骤摘要】
相关申请的交叉引用该申请涉及与该申请并发提交的具有代理人卷号HGST-H20151036US1的专利申请：“APPARATUS AND METHOD FOR INLINE COMPRESSION AND DEDUPLICATION”，其在这里通过引用被全部合并。
本公开一般涉及数据缩减技术的领域。
技术介绍
高性能非易失性储存类别存储子系统一般包括相对昂贵的组件。这样，高度期望使用数据缩减技术使得这样的系统中的数据储存最大化。数据缩减表示数据自压缩和数据消重(deduplication)的技术，以缩减向后端储存系统写入或从后端储存系统读取的信息总量。数据缩减导致用户(输入)数据向能存储的更紧凑表示的变换。数据缩减的优点包括除了别的优点之外的、改进的储存利用、增加的寿命(在全闪存储存系统的上下文中)、和应用加速。数据压缩表示寻找相同数据块内的冗余度并然后按照缩减数据总体尺寸的方式来编码这些重复的序列的处理。数据消重表示即使个别块具有不可压缩的数据、仍为了找到匹配序列而跨过多个块匹配数据序列的处理。然而，传统系统执行压缩和数据消重作为数据缩减处理中的分离步骤。这样，这...
【技术保护点】
一种设备，包括：存储单元，被配置为存储数据流；和处理器，耦接到所述存储单元，所述处理器被配置为检测在单遍期间输入数据流的熵，所述处理器可操作地分组来自所述输入数据流的多个数据子集，计算与第一分组的数据子集对应的第一哈希值，检测所述第一哈希值和哈希表中存储的第二哈希值之间的匹配，监视所述输入数据流的哈希值匹配频率，其中所述处理器可操作以响应于所述匹配的检测来递增计数器值，并基于所述计数器值相对于频繁哈希值匹配阈值来确定用于所述输入数据流的一部分的熵级别，并且生成以下指令，当所述计数器值满足或超出所述频繁哈希值匹配阈值时，初始化数据压缩操作的执行，或者当所述计数器值未能满足所述...
【技术特征摘要】
2015.06.19 US 14/744,9471.一种设备，包括：存储单元，被配置为存储数据流；和处理器，耦接到所述存储单元，所述处理器被配置为检测在单遍期间输入数据流的熵，所述处理器可操作地分组来自所述输入数据流的多个数据子集，计算与第一分组的数据子集对应的第一哈希值，检测所述第一哈希值和哈希表中存储的第二哈希值之间的匹配，监视所述输入数据流的哈希值匹配频率，其中所述处理器可操作以响应于所述匹配的检测来递增计数器值，并基于所述计数器值相对于频繁哈希值匹配阈值来确定用于所述输入数据流的一部分的熵级别，并且生成以下指令，当所述计数器值满足或超出所述频繁哈希值匹配阈值时，初始化数据压缩操作的执行，或者当所述计数器值未能满足所述频繁哈希值匹配阈值时，避免所述数据压缩操作的所述执行。2.根据权利要求1的设备，其中初始化所述数据压缩操作的所述执行的所述指令导致包括所述输入数据流的压缩部分的输出。3.根据权利要求1的设备，其中避免所述数据压缩操作的所述执行的所述指令导致包括所述输入数据流的未压缩部分的输出。4.根据权利要求1的设备，其中所述处理器可操作以生成当所述计数器值未能满足所述频繁哈希值匹配阈值时、停止所述数据压缩操作的执行的指令。5.根据权利要求1的设备，其中所述处理器可操作以计算用于所述多个数据子集的每一数据子集的签名，并且所述匹配表示与具有相同签名的所述输入数据流相关的至少两个分组的数据子集。6.根据权利要求1的设备，其中所述处理器可操作以基于当前系统负荷调整所述频繁哈希值匹配阈值。7.根据权利要求1的设备，其中所述处理器可操作以基于用户偏好调整所述频繁哈希值匹配阈值。8.一种检测在单遍期间输入数据流的熵的计算机实现的方法，所述方法包括：接收输入数据流；分组来自所述输入数据流的多个数据子集；计算与第一分组的数据子集对应的第一哈希值；检测所述第一哈希值和哈希表中存储的第二哈希值之间的匹配，并响应于所述匹配的检测来递增计数器值；监视所述输入数据流的哈希值匹配频率；基于所述计数器值相对于频繁哈希值匹配阈值，来确定用于所述输入数据流的一部分的熵级别；和生成以下指令，当所述计数器值满足或超出所述频繁哈希值匹配阈值时，初始化数据压缩操作的执行，或者当所述计数器值未能满足所述频繁哈希值匹配阈值时，避免所述数据压缩操作的所...
【专利技术属性】
技术研发人员：A纳拉西姆哈，A辛格海，V卡拉姆切蒂，K斯坎达库马兰，
申请(专利权)人：HGST荷兰公司，
类型：发明
国别省市：荷兰;NL
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。