一种基于云计算的重复数据去重选择方法及装置制造方法及图纸

本发明专利技术公开了一种基于云计算的重复数据去重选择方法，包括：S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；S11：判断所述客户端的负载值、所述服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；S12：在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。由于客户端的负载值、服务器端的负载值以及当前网络带宽值对于待存储数据的去重方式选择的影响较为重要，以上述三种参数作为参考对象可以提高去重的效率，提高存储系统的整体利用率。另外，本发明专利技术还公开一种基于云计算的重复数据去重选择装置，效果如上所述。

【技术实现步骤摘要】

本专利技术涉及云计算
，特别是涉及一种基于云计算的重复数据去重选择方法及装置。
技术介绍
当前，云计算逐渐被行业认可，云存储系统已经逐渐在社会生产和生活领域中起到越来越重要的作用。云存储系统中存在着大量的重复数据，这些重复数据的存在大大影响了数据存储、访问的效率，并造成了资源的大量浪费。待存储数据需要重复数据的去重工作，对于待存储数据要实现重复数据的去重，一方面可以有效的节省用户的存储空间，可以间接节省服务商的硬件采购成本、人力能耗和机房的使用空间等；另一个方面，重复数据去重通过互联网并不传输或存储多份相同数据，这样就有效减少对存储空间和网络带宽的占用，进而提高访问和检索效率。在具体实施中，重复数据去重的操作可以在存储系统的客户端进行，也可以在存储系统的服务器端进行，而重复数据去重的选择方法直接影响到去重的效率和存储系统的整体利用率。由此可见，如何选择重复数据去重的方法以提高去重的效率和存储系统的整体利用率是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种基于云计算的重复数据去重选择方法及装置，用于提高去重的效率和存储系统的整体利用率。为解决上述技术问题，本专利技术提供一种基于云计算的重复数据去重选择方法，包括：S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；S11：判断所述客户端的负载值、所述服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；S12：在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。优选地，所述步骤S11具体包括：如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，则确定满足所述预定条件；或如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，则确定满足所述预定条件；其中，如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，步骤S12具体为：确定在客户端执行所述待存储数据的去重过程；如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，步骤S12具体为：确定在服务器端执行所述待存储数据的去重过程。优选地，在所述步骤S10之前还包括：S13：接收所述存储系统的存储请求和所述待存储数据；S14：判断所述待存储数据是否包含有所述重复数据，如果是，则进入步骤S10。优选地，在所述步骤S10之前还包括：S15：周期性地监控所述客户端的负载值、所述服务器端的负载值以及当前网络带宽值。优选地，还包括：记录步骤S10-步骤S15中的任意一个步骤或几个步骤。一种基于云计算的重复数据去重选择装置，包括：存储系统信息获取模块，用于当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；第一判断模块，与所述存储系统信息获取模块连接，用于判断所述客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件；确定模块，与所述第一判断模块连接，用于在所述判断模块判断出所述客户端的负载值、所述服务器端的负载值和当前网络带宽值满足预定条件时，在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。优选地，所述第一判断模块的判断依据包括：如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，则确定满足所述预定条件；或如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，则确定满足所述预定条件；其中，如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，所述确定模块确定在客户端执行所述待存储数据的去重过程；如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，所述确定模块确定在服务器端执行所述待存储数据的去重过程。优选地，还包括：接收模块，用于接收所述存储系统的存储请求和所述待存储数据；第二判断模块，与所述接收模块和所述存储系统信息获取模块连接，用于判断所述待存储数据是否包含有所述重复数据，且在所述待存储数据包含有所述重复数据时，将所述待存储数据发送给所述存储系统信息获取模块。优选地，还包括：存储系统信息监控模块，与所述存储系统信息获取模块连接，用于周期性地监控所述客户端的负载值、所述服务器端的负载值以及当前网络带宽值。优选地，还包括：日志记录模块，与存储系统信息获取模块、第一判断模块、确定模块、接收模块、第二判断模块、存储系统信息监控模块中的任意一个或几个模块连接，用于记录相应的模块的执行步骤。本专利技术所提供的基于云计算的重复数据去重选择方法及装置，当判断出客户端的负载值、服务器端的负载值以及当前网络带宽值满足预设条件时，在去重选择模式中确定待存储数据中的重复数据的去重选择方式。由于客户端的负载值、服务器端的负载值以及当前网络带宽值对于待存储数据的去重方式选择的影响较为重要，以上述三种参数作为参考对象可以提高去重的效率，提高存储系统的整体利用率。附图说明为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种基于云计算的重复数据去重选择方法的流程图；图2为本专利技术提供的另一种基于云计算的重复数据去重选择方法的流程图；图3为本专利技术提供的一种基于云计算的重复数据去重选择装置的结构图；图4为本专利技术提供的另一种基于云计算的重复数据去重选择装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本专利技术保护范围。本专利技术的核心是提供一种基于云计算的重复数据去重选择方法及装置。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。图1为本专利技术提供的一种基于云计算的重复数据去重选择方法的流程图。如图1所示，基于云计算的重复数据去重选择方法包括：S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；S11：判断客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；S12：在预先设置的去重选择模式中确定待存储数据中重复数据的去重选择方式。在具体实施中，首先要获取待存储数据，可以理解的是，待存储数据必须包含有重复数据，这里的重复数据指的是待存储的数据与存储系统中已经存储过的数据有重复的数据。获取当前时刻存储系统的客户端的负载值，服务器端的负载值以及当前网络带宽值。本实施例中，通过上述三种参数确定如何选择本次的重复数据去重的目的地，即在哪里去重。具体的选择方法是：判断客户端的负载值、服务器端的负载值和当前网络带宽值是否满足预定条件，如果上述三种参数满足预定条件，则在去重选择模本文档来自技高网...

【技术保护点】
一种基于云计算的重复数据去重选择方法，其特征在于，包括：S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；S11：判断所述客户端的负载值、所述服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；S12：在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。

【技术特征摘要】
1.一种基于云计算的重复数据去重选择方法，其特征在于，包括：S10：当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；S11：判断所述客户端的负载值、所述服务器端的负载值和当前网络带宽值是否满足预定条件，如果是，进入步骤S12；S12：在预先设置的去重选择模式中确定所述待存储数据中重复数据的去重选择方式。2.根据权利要求1所述的基于云计算的重复数据去重选择方法，其特征在于，所述步骤S11具体包括：如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，则确定满足所述预定条件；或如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，则确定满足所述预定条件；其中，如果当前网络带宽值小于预定网络带宽值，且所述服务器端的负载值大于预定负载值时，步骤S12具体为：确定在客户端执行所述待存储数据的去重过程；如果当前网络带宽值大于所述预定网络带宽值，且所述服务器端的负载值小于所述预定负载值时，步骤S12具体为：确定在服务器端执行所述待存储数据的去重过程。3.根据权利要求1所述的基于云计算的重复数据去重选择方法，其特征在于，在所述步骤S10之前还包括：S13：接收所述存储系统的存储请求和所述待存储数据；S14：判断所述待存储数据是否包含有所述重复数据，如果是，则进入步骤S10。4.根据权利要求1所述的基于云计算的重复数据去重选择方法，其特征在于，在所述步骤S10之前还包括：S15：周期性地监控所述客户端的负载值、所述服务器端的负载值以及当前网络带宽值。5.根据权利要求1-4任意一项所述的基于云计算的重复数据去重选择方法，其特征在于，还包括：记录步骤S10-步骤S15中的任意一个步骤或几个步骤。6.一种基于云计算的重复数据去重选择装置，其特征在于，包括：存储系统信息获取模块，用于当获取到包含有重复数据的待存储数据后，获取当前时刻存储系统的客户端的负载值、服务器端的负载值以及当前网络带宽值；...

【专利技术属性】
技术研发人员：于辉，刘俊朋，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11