一种IP硬盘及其数据处理方法技术

本发明专利技术实施例提供了一种网络互连协议IP硬盘及其数据处理方法，所述IP硬盘中预设有第一布隆过滤器；该方法包括：所述IP硬盘获得第一数值Value；所述IP硬盘获得所述第一Value对应的第一哈希值；所述IP硬盘判断所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值是否为1；若所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值为1，所述IP硬盘判断所述第一Value是否为重复数据；若所述第一Value为重复数据，所述IP硬盘对所述第一Value执行重复数据的删除操作。根据本发明专利技术实施例提供的技术方案，IP硬盘可以实现主动删除重复数据，节省存储空间。

【技术实现步骤摘要】
一种IP硬盘及其数据处理方法
本专利技术涉及存储
，尤其涉及一种IP硬盘及其数据处理方法。
技术介绍
目前，有一种基于键-值(Key-Value)的硬盘，如网络互连协议(InternetProtocol，IP)硬盘，与传统硬盘通过小型计算机系统接口(SmallComputerSystemInterface，SCSI)与主机进行通信的方式不同，这种硬盘采用以太网口与外部设备进行通信，而且这种硬盘是一种自包含硬盘，可以没有主机对其进行控制，可以自发完成数据的读/写操作，而传统硬盘必须连接到主机并在主机的控制下进行相应的读写操作。目前，IP硬盘没有删除重复数据的功能，导致IP硬盘中会存储重复的数据，浪费IP硬盘的存储空间。
技术实现思路
有鉴于此，本专利技术实施例提供了一种IP硬盘及其数据处理方法，IP硬盘可以实现主动删除重复数据，节省存储空间。第一方面，本专利技术实施例提供了一种IP硬盘的数据处理方法，所述IP硬盘中预设有第一布隆过滤器；包括：所述IP硬盘获得第一数值Value；所述IP硬盘获得所述第一Value对应的第一哈希值；所述IP硬盘判断所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值是否为1；若所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值为1，所述IP硬盘判断所述第一Value是否为重复数据；若所述第一Value为重复数据，所述IP硬盘对所述第一Value执行重复数据的删除操作。在第一方面的第一种可能的实现方式中，所述IP硬盘获得第一Value，包括：所述IP硬盘依据所述IP硬盘中预先存储的Value，获得所述第一Value；或者，所述IP硬盘依据客户端通过以太网口发送的Value，获得所述第一Value。结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述IP硬盘中预设有第二布隆过滤器；所述IP硬盘存储有P个第二Value，P为大于或者等于1的整数，所述IP硬盘判断所述第一Value是否为重复数据，包括：所述IP硬盘获得所述第一Value对应的第一指纹和每个所述第二Value对应的第二指纹；所述IP硬盘利用与所述第二布隆过滤器对应的哈希算法，获得所述第一指纹对应的第二哈希值和每个所述第二指纹对应的第三哈希值，所述第二布隆过滤器的二进制位的数目大于所述第一布隆过滤器的二进制位的数目；所述IP硬盘将所述第二布隆过滤器中每个所述第三哈希值对应的二进制位的数值置为1，以获得第三布隆过滤器；所述IP硬盘获得所述第三布隆过滤器中所述第二哈希值对应的二进制位，若所述第三布隆过滤器中所述第二哈希值对应的二进制位的数值全部为1，确定所述第一Value为重复数据。结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述IP硬盘中预设有第二布隆过滤器；所述IP硬盘存储有P个第二Value，P为大于或者等于1的整数，所述IP硬盘判断所述第一Value是否为重复数据，包括：所述IP硬盘获得所述第一Value对应的第三指纹和每个所述第二Value对应的第四指纹；所述IP硬盘将所述第三指纹和每个所述第四指纹分别拆分成R个第五指纹和R个第六指纹，R＝2n，n为大于或者等于1的整数；所述IP硬盘利用与所述第二布隆过滤器对应的哈希算法，获得所述R个第五指纹对应的R个第四哈希值和每个第六指纹对应的R个第五哈希值；所述第二布隆过滤器的二进制位的数目是所述第一布隆过滤器的二进制位的数目的R倍；所述IP硬盘将所述第二布隆过滤器中每个所述第五哈希值对应的二进制位的数值置为1，以获得第三布隆过滤器；所述IP硬盘获得所述第三布隆过滤器中R个所述第四哈希值对应的二进制位，若所述第三布隆过滤器中R个所述第四哈希值对应的二进制位的数值全部为1，确定所述第一Value为重复数据。结合第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述IP硬盘对所述第一Value执行重复数据的删除操作，包括：IP硬盘删除所述IP硬盘中所述第一Value的存储地址中存储的所述第一Value；IP硬盘获得与所述第一Value相同的第二Value对应的Key；IP硬盘在所述IP硬盘中所述第一Value的存储地址中写入所述第二Value对应的Key。结合第一方面的第一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述IP硬盘对所述第一Value执行重复数据的删除操作，包括：IP硬盘获得与所述第一Value相同的第二Value对应的Key；IP硬盘在所述IP硬盘中所述第一Value在的存储地址中写入所述第二Value对应的Key。第二方面，本专利技术实施例提供了一种IP硬盘，所述IP硬盘中预设有第一布隆过滤器；所述IP硬盘包括：获取单元，用于获得第一数值Value；以及获得所述第一Value对应的第一哈希值；处理单元，用于判断所述第一布隆过滤器中与所述获取单元获得的所述第一哈希值对应的二进制位的数值是否为1；若所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值为1，判断所述第一Value是否为重复数据；执行单元，用于若所述处理单元判定所述第一Value为重复数据，对所述第一Value执行重复数据的删除操作。在第二方面的第一种可能的实现方式中，所述获取单元具体用于：依据所述IP硬盘中预先存储的Value，获得所述第一Value；或者，依据客户端通过以太网口发送的Value，获得所述第一Value。结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述IP硬盘中预设有第二布隆过滤器；所述IP硬盘存储有P个第二Value，P为大于或者等于1的整数，所述处理单元具体用于：获得所述第一Value对应的第一指纹和每个所述第二Value对应的第二指纹；利用与所述第二布隆过滤器对应的哈希算法，获得所述第一指纹对应的第二哈希值和每个所述第二指纹对应的第三哈希值，所述第二布隆过滤器的二进制位的数目大于所述第一布隆过滤器的二进制位的数目；将所述第二布隆过滤器中每个所述第三哈希值对应的二进制位的数值置为1，以获得第三布隆过滤器；获得所述第三布隆过滤器中所述第二哈希值对应的二进制位，若所述第三布隆过滤器中所述第二哈希值对应的二进制位的数值全部为1，确定所述第一Value为重复数据。结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述IP硬盘中预设有第二布隆过滤器；所述IP硬盘存储有P个第二Value，P为大于或者等于1的整数，所述处理单元具体用于：获得所述第一Value对应的第三指纹和每个所述第二Value对应的第四指纹；将所述第三指纹和每个所述第四指纹分别拆分成R个第五指纹和R个第六指纹，R＝2n，n为大于或者等于1的整数；利用与所述第二布隆过滤器对应的哈希算法，获得所述R个第五指纹对应的R个第四哈希值和每个第六指纹对应的R个第五哈希值；所述第二布隆过滤器的二进制位的数目是所述第一布隆过滤器的二进制位的数目的R倍；将所述第二布隆过滤器中每个所述第五哈希值对应的二进制位的数值置为1，以获得第三布隆过滤器；获得所述第三布隆过滤器中R个所述第四哈希值对应的二进制位，若所述第三布隆过滤器中R个所述第四哈希值对应的二进本文档来自技高网...

【技术保护点】
一种网络互连协议IP硬盘的数据处理方法，其特征在于，所述IP硬盘中预设有第一布隆过滤器；所述方法包括：所述IP硬盘获得第一数值Value；所述IP硬盘获得所述第一Value对应的第一哈希值；所述IP硬盘判断所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值是否为1；若所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值为1，所述IP硬盘判断所述第一Value是否为重复数据；若所述第一Value为重复数据，所述IP硬盘对所述第一Value执行重复数据的删除操作。

【技术特征摘要】
1.一种网络互连协议IP硬盘的数据处理方法，其特征在于，所述IP硬盘中预设有第一布隆过滤器；所述方法包括：所述IP硬盘获得第一数值Value；所述IP硬盘获得所述第一Value对应的第一哈希值；所述IP硬盘判断所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值是否为1；若所述第一布隆过滤器中与所述第一哈希值对应的二进制位的数值为1，所述IP硬盘判断所述第一Value是否为重复数据；若所述第一Value为重复数据，所述IP硬盘对所述第一Value执行重复数据的删除操作。2.根据权利要求1所述的方法，其特征在于，所述IP硬盘获得第一Value，包括：所述IP硬盘依据所述IP硬盘中预先存储的Value，获得所述第一Value；或者，所述IP硬盘依据客户端通过以太网口发送的Value，获得所述第一Value。3.根据权利要求1或2所述的方法，其特征在于，所述IP硬盘中预设有第二布隆过滤器；所述IP硬盘存储有P个第二Value，P为大于或者等于1的整数，所述IP硬盘判断所述第一Value是否为重复数据，包括：所述IP硬盘获得所述第一Value对应的第一指纹和每个所述第二Value对应的第二指纹；所述IP硬盘利用与所述第二布隆过滤器对应的哈希算法，获得所述第一指纹对应的第二哈希值和每个所述第二指纹对应的第三哈希值，所述第二布隆过滤器的二进制位的数目大于所述第一布隆过滤器的二进制位的数目；所述IP硬盘将所述第二布隆过滤器中每个所述第三哈希值对应的二进制位的数值置为1，以获得第三布隆过滤器；所述IP硬盘获得所述第三布隆过滤器中所述第二哈希值对应的二进制位，若所述第三布隆过滤器中所述第二哈希值对应的二进制位的数值全部为1，确定所述第一Value为重复数据。4.根据权利要求1或2所述的方法，其特征在于，所述IP硬盘中预设有第二布隆过滤器；所述IP硬盘存储有P个第二Value，P为大于或者等于1的整数，所述IP硬盘判断所述第一Value是否为重复数据，包括：所述IP硬盘获得所述第一Value对应的第三指纹和每个所述第二Value对应的第四指纹；所述IP硬盘将所述第三指纹和每个所述第四指纹分别拆分成R个第五指纹和R个第六指纹，R＝2n，n为大于或者等于1的整数；所述IP硬盘利用与所述第二布隆过滤器对应的哈希算法，获得所述R个第五指纹对应的R个第四哈希值和每个第六指纹对应的R个第五哈希值；所述第二布隆过滤器的二进制位的数目是所述第一布隆过滤器的二进制位的数目的R倍；所述IP硬盘将所述第二布隆过滤器中每个所述第五哈希值对应的二进制位的数值置为1，以获得第三布隆过滤器；所述IP硬盘获得所述第三布隆过滤器中R个所述第四哈希值对应的二进制位，若所述第三布隆过滤器中R个所述第四哈希值对应的二进制位的数值全部为1，确定所述第一Value为重复数据。5.根据权利要求2所述的方法，其特征在于，所述IP硬盘对所述第一Value执行重复数据的删除操作，包括：IP硬盘删除所述IP硬盘中所述第一Value的存储地址中存储的所述第一Value；IP硬盘获得与所述第一Value相同的第二Value对应的Key；IP硬盘在所述IP硬盘中所述第一Value的存储地址中写入所述第二Value对应的Key。6.根据权利要求2所述的方法，其特征在于，所述IP硬盘对所述第一Value执行重复数据的删除操作，包括：I...

【专利技术属性】
技术研发人员：雷晓松，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44