一种数据处理方法及装置制造方法及图纸

本发明专利技术实施方式公开了一种数据处理方法及装置。其中，数据处理方法包括：判断存储系统是否处于业务在线时间，如果是，则进行节点内重复数据删除；如果否，则判断存储系统的存储性能是否达到预设的性能阈值；如果否，进行节点间重复数据删除，如果是，结束重复数据删除。通过上述方式，本申请能够充分利用存储系统具有业务在线和离线时间的特点，在线时进行节点内重复数据删除，离线时进行节点间重复数据删除，提高集群重复数据删除的灵活性，同时提高重复数据删除的性能和重复数据删除率。

【技术实现步骤摘要】

本专利技术涉及一种数据处理方法及装置。
技术介绍
随着信息技术的发展，特别是网络技术的快速更新，数据量急剧增长，需要备份的数据量也成倍增加。因此，尽管如今单位存储空间的成本不断走低，但企业需要存储或者备份的数据量仍然在持续上涨，导致了企业在磁盘存储空间方面无止境的成本投入。重复数据删除技术是一种数据缩减技术，可以极大减少备份数据的数量，降低成本投入。重复数据删除方式主要有两种节点内重复数据删除(Local deduplication)和节点间重复数据删除(Global deduplication)。目前集群备份系统要么采用节点内重复数据删除，要么采用节点间重复数据删除，但是不管是哪一种方式，都存在其自身的优点与不足。节点内重复数据删除只在本节点内进行，这种方式实现简单，重复数据删除性能高，但是整个集群系统的重复数据删除率不高，如果节点间有数据重复则无法删除；节点间重复数据删除在整个集群域中所有节点上进行，这种方式能够确保整个集群中皆无重复数据，但是数据删除速度比较慢，节点间交互较多，节点间重复数据删除的集群的平均重复数据删除性能比节点内重复数据删除低。专利技术内容本申请主要解决的技本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：判断存储系统是否处于业务在线时间，如果是，则进行节点内重复数据删除；如果否，则判断所述存储系统的存储性能是否达到预设的性能阈值；如果否，进行节点间重复数据删除，如果是，结束重复数据删除。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括 判断存储系统是否处于业务在线时间，如果是，则进行节点内重复数据删除； 如果否，则判断所述存储系统的存储性能是否达到预设的性能阈值； 如果否，进行节点间重复数据删除，如果是，结束重复数据删除。2.根据权利要求1所述的方法，其特征在于，所述方法还包括接收写数据请求； 所述进行节点内重复数据删除的步骤包括在执行所述写数据请求时，进行节点内重复数据删除； 所述进行节点间重复数据删除的步骤包括在执行所述写数据请求时，进行节点间重复数据删除。3.根据权利要求1所述的方法，其特征在于，所述方法还包括接收写数据请求； 所述进行节点内重复数据删除的步骤包括在执行完所述写数据请求之后，再进行节点内重复数据删除； 所述进行节点间重复数据删除的步骤包括在执行完所述写数据请求之后，再进行节点间重复数据删除。4.根据权利要求1所述的方法，其特征在于，所述进行节点内重复数据删除的步骤包括 启动节点内重复数据删除线程，以进行所述节点内重复数据删除，并判断所述存储系统的存储性能是否达到预设的性能阈值； 若所述存储系统的存储性能没有达到预设的性能阈值，则启动节点间重复数据删除线程，以进行节点间重复数据删除。5.根据权利要求1所述的方法，其特征在于，所述当所述存储系统的存储性能没有达到预设的性能阈值时，进行节点间重复数据删除包括 当所述存储系统的存储性能没有达到预设的性能阈值时，启动节点间重复数据删除线程，以进行节点间重复数据删除。6.一种数据处理方法，其特征在于，包括 判断存储系统的存储性能是否达到预设的第一性能阈值，如果否，进行节点间重复数据删除； 如果所述存储系统的存储性能达到预设的第一性能阈值，但没有达到预设的第二性能阈值，进行节点内重复数据删除。7.根据权利要求6所述的方法，其特征在于，所述方法还包括接收写数据请求； 所述进行节点内重复数据删除的步骤包括:在执行所述写数据请求时，进行节点内重复数据删除； 所述进行节点间重复数据删除的步骤包括在执行完所述写数据请求之后，再进行节点间重复数据删除。8.根据权利要求6所述的方法，其特征在于，所述方法还包括接收写数据请求； 所述进行节点内重复数据删除的步骤包括在执行完所述写数据请求，再进行节点内重复数据删除； 所述进行节点间重复数据删除的步骤包括在执行完所述写数据请求之后，再进行节点间重复数据删除。9.根据权利要求...

【专利技术属性】
技术研发人员：杜宇旻，田鉴，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：