本发明专利技术提供一种存储系统的重删模块的性能优化方法、系统及装置，均基于全零数据识别单元且能够：主机下发io数据至逻辑卷；逻辑卷对主机下发的io数据进行粒度划分，并下发至全零数据识别单元；全零数据识别单元识别出逻辑卷下发的数据中的全零数据，并将逻辑卷下发的数据中的非全零数据下发至存储系统的重删模块；全零数据识别单元在识别出逻辑卷下发的数据中的全零数据后，建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系；重删模块对全零数据识别单元下发的非全零数据进行重删处理。本发明专利技术用于对存储系统中重删模块进行性能优化，以提高存储系统的性能与带宽。提高存储系统的性能与带宽。提高存储系统的性能与带宽。
【技术实现步骤摘要】
一种存储系统的重删模块的性能优化方法、系统及装置
[0001]本专利技术涉及存储领域，具体涉及一种存储系统的重删模块的性能优化方法、系统及装置。
技术介绍
[0002]在大数据时代，单纯依靠提升存储容量，远远赶不上数据增加的速度，因此数据重删技术诞生。
[0003]数据重删，即重复数据删除(Deduplication)，是一种可自动识别并删除重复数据的技术，属于一种高级的数据压缩方式。开启数据重删功能后，系统将通过算法识别重复数据，并将相同数据只保留一个副本而删除多余的重复数据，原来的重复数据则被替换成指向保留的单一副本的引用。通过这种方式达到消除冗余数据、降低存储容量需求的目的。
[0004]固态硬盘(SSD盘)存在寿命限制。数据写入后再处理的方式，需要先将数据写到磁盘上，在空闲时再将数据读上来进行重复数据删除，之后再写入存储空间中，其相比在线处理增加了一次写操作，这增加了SSD盘的磨损，缩短了其使用寿命。所以，全闪存阵列中通常采用在线方式实现重复数据删除压缩。
[0005]重复数据删除技术在空间节省及io效率方面起到了明显的提升作用，但是，这项技术在现有技术中的使用流程(如图4所示)通常为：
[0006](1)主机下发数据(io)，然后卷将数据按照重删算法所采取的分块方式划分为不同粒度，并下发到重删模块；
[0007](2)重删模块通过哈希算法计算数据的指纹值，判断指纹值是否为全零数据指纹值，若不是，进行下一步流程；若是，则对比数据是否为全零数据，若是，则直接处理全零数据，建立LP映射关系和PL映射关系，结束本次流程，若否，则不是全零数据(哈希冲突)，则将数据单独落盘(即存储至PBA)；
[0008](3)通过计算出的指纹值到指纹库查询，判断指纹库是否存在该指纹值，若存在，则按照重复数据进行处理，若不存在，则按照非重复数据进行处理；
[0009](4)非重复数据处理时，将数据的指纹值插入到指纹库，然后将数据正常落盘，并将数据的逻辑地址与物理地址建立映射，以便下次相同数据下发时，指纹库中存在了相同的指纹值，即可识别为重复数据。
[0010]针对以上流程，在实际的测试中发现，存储系统开重删模块的性能大概是不开重删模块时的70
‑
80％之间。可见现有技术在开重删模块时，影响到系统的性能与带宽。
[0011]为此，本专利技术提供一种存储系统的重删模块的性能优化方法、系统及装置，用于解决上述问题。
技术实现思路
[0012]针对现有技术的上述不足，本专利技术提供一种存储系统的重删模块的性能优化方法、系统及装置，用于对存储系统中重删模块进行性能优化，以提高存储系统的性能与带
宽。
[0013]第一方面，本专利技术提供一种存储系统的重删模块的性能优化方法，该性能优化方法基于全零数据识别单元，所述全零数据识别单元采用硬件实现，该性能优化方法包括步骤：
[0014]主机下发io数据至逻辑卷；
[0015]逻辑卷对主机下发的io数据进行粒度划分，并下发至全零数据识别单元；
[0016]全零数据识别单元识别出逻辑卷下发的数据中的全零数据，并将逻辑卷下发的数据中的非全零数据下发至存储系统的重删模块；
[0017]全零数据识别单元在识别出逻辑卷下发的数据中的全零数据后，建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系；
[0018]重删模块对全零数据识别单元下发的非全零数据进行重删处理。
[0019]进一步地，所述全零数据识别单元在建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系后，向逻辑卷回调返回对全零数据的处理结果；
[0020]逻辑卷在接收到的处理结果为失败时，重新下发数据至全零数据识别单元；逻辑卷在接收到的处理结果为成功时，全零数据处理结束。
[0021]进一步地，重删模块对全零数据识别单元下发的非全零数据进行重删处理，实现方法,包括步骤：
[0022]S1、通过哈希算法计算全零数据识别单元下发的非全零数据的指纹值；
[0023]S2、判断指纹库中是否存在所述的指纹值：
[0024]若是，则判定全零数据识别单元下发的非全零数据为重复数据，不对其进行落盘，之后执行步骤S3；
[0025]若否，则判定全零数据识别单元下发的非全零数据为非重复数据，将该非全零数据落盘，将所述指纹值写入指纹库，并建立该指纹值与对应数据的物理地址的映射关系，之后执行步骤S3；
[0026]步骤S3、建立存放所述非全零数据的卷地址与物理地址的映射关系。
[0027]第二方面，本专利技术提供一种存储系统的重删模块的性能优化系统，该性能优化系统包括全零数据识别单元，所述全零数据识别单元采用硬件实现，该性能优化系统还包括：
[0028]主机，用于下发io数据至逻辑卷；
[0029]逻辑卷，用于接收主机下发的io数据，对接收到的io数据进行粒度划分，并下发至全零数据识别单元；
[0030]全零数据识别单元，用于接收逻辑卷下发的数据，识别出逻辑卷下发的数据中的全零数据，并将逻辑卷下发的数据中的非全零数据下发至存储系统的重删模块；在识别出逻辑卷下发的数据中的全零数据后，用于建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系；
[0031]重删模块，用于对全零数据识别单元下发的非全零数据进行重删处理。
[0032]进一步地，所述全零数据识别单元，还用于在建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系后，向逻辑卷回调返回对全零数据的处理结果；
[0033]所述的逻辑卷，还用于在接收到的处理结果为失败时，重新下发数据至全零数据识别单元；还用于在接收到的处理结果为成功时，控制本次全零数据处理结束。
[0034]进一步地，所述重删模块包括：
[0035]指纹值计算单元，用于通过哈希算法计算全零数据识别单元下发来的非全零数据的指纹值；
[0036]判断单元，用于判断指纹库中是否存在所述的指纹值；
[0037]第一处理单元，用于在判断单元判定全零数据识别单元下发的非全零数据为重复数据时，对数据不落盘；
[0038]第二处理单元，用于在判断单元判定全零数据识别单元下发的非全零数据为非重复数据时，将该非全零数据落盘，将所述指纹值写入指纹库，并建立该指纹值及其对应数据的物理地址的映射关系；
[0039]地址映射单元，用于建立存放所述非全零数据的卷地址与物理地址的映射关系。
[0040]第三方面，本专利技术提供一种终端，包括：
[0041]处理器；
[0042]用于存储处理器的执行指令的存储器；
[0043]其中，所述处理器被配置为执行以上各方面所述的方法。
[0044]本专利技术的有益效果在于，
[0045]本专利技术提供的存储系统的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种存储系统的重删模块的性能优化方法，其特征在于，该性能优化方法基于全零数据识别单元，所述全零数据识别单元采用硬件实现，该性能优化方法包括步骤：主机下发io数据至逻辑卷；逻辑卷对主机下发的io数据进行粒度划分，并下发至全零数据识别单元；全零数据识别单元识别出逻辑卷下发的数据中的全零数据，并将逻辑卷下发的数据中的非全零数据下发至存储系统的重删模块；全零数据识别单元在识别出逻辑卷下发的数据中的全零数据后，建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系；重删模块对全零数据识别单元下发的非全零数据进行重删处理。2.根据权利要求1所述的存储系统的重删模块的性能优化方法，其特征在于，所述全零数据识别单元在建立系统中预设的用于存放全零数据的物理地址与识别出的全零数据的存放卷地址之间的映射关系后，向逻辑卷回调返回对全零数据的处理结果；逻辑卷在接收到的处理结果为失败时，重新下发数据至全零数据识别单元；逻辑卷在接收到的处理结果为成功时，全零数据处理结束。3.根据权利要求1所述的存储系统的重删模块的性能优化方法，其特征在于，重删模块对全零数据识别单元下发的非全零数据进行重删处理，实现方法,包括步骤：S1、通过哈希算法计算全零数据识别单元下发的非全零数据的指纹值；S2、判断指纹库中是否存在所述的指纹值：若是，则判定全零数据识别单元下发的非全零数据为重复数据，不对其进行落盘，之后执行步骤S3；若否，则判定全零数据识别单元下发的非全零数据为非重复数据，将该非全零数据落盘，将所述指纹值写入指纹库，并建立该指纹值与对应数据的物理地址的映射关系，之后执行步骤S3；S3、建立存放所述非全零数据的卷地址与物理地址的映射关系。4.一种存储系统的重删模块的性能优化系统，其特征在于，该性能优化系统包括全零数据识别单元，所述全零数据识别单元采用硬件实现，该性能...
【专利技术属性】
技术研发人员：夏方健，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。