针对广域网优化的基于微服务的去重制造技术

一种用于管理对象存储装置的系统，该系统包括前端微服务和后端微服务。前端微服务获得将数据存储在对象存储装置中的请求；将数据划分为多个分片；根据多个分片中的一分片，向后端微服务发送分片分析请求；从多个后端微服务获得分片的未存储在对象存储装置中的分段的列表；并且将由该分段的列表指定的分段添加到压缩区中。后端微服务识别由分片分析请求指定的分片的未存储在对象存储装置中的分段，并根据所识别的分段生成该分片的分段的列表。

Microservice based de duplication for WAN optimization

【技术实现步骤摘要】
【国外来华专利技术】针对广域网优化的基于微服务的去重
技术介绍
计算设备产生，使用和/或存储数据。数据例如可以是图像、文档、网页、或与任何文件相关联的元数据。数据可本地存储在计算设备的持久性存储装置上，和/或可远程存储在另一个计算设备的持久性存储装置上。
技术介绍
计算设备产生，使用和/或存储数据。数据例如可以是图像、文档、网页、或与任何文件相关联的元数据。数据可本地存储在计算设备的持久性存储装置上，和/或可远程存储在另一个计算设备的持久性存储装置上。
技术实现思路
在一个方面中，本专利技术的一个或多个实施例的一种用于管理对象存储装置的系统包括前端微服务和后端微服务。前端微服务获得将数据存储在对象存储装置中的请求；将数据划分为多个分片；根据多个分片中的某个分片，向后端微服务发送分片分析请求；从多个后端微服务获得分片的尚未存储在对象存储装置中的分段的列表；并且将由该分段列表指定的分段添加到压缩区中。后端微服务识别由分片分析请求指定的分片的尚未存储在对象存储装置中的分段，并根据识别的分段生成该分片的分段列表。在一个方面中，本专利技术的一个或多个实施例的一种管理对象存储装置的方法包括：前端微服务获得将数据存储在对象存储装置中的请求；前端微服务将数据划分为分片；前端微服务将分片分析请求发送至后端微服务；前端微服务从后端微服务获得分片中的尚未存储在对象存储装置中的分片的分段列表；以及前端微服务将由该分段列表指定的分段添加到压缩区中。分片分析请求可包括多个分片中的一分片的草图和多个分片中的该分片的每个分段的指纹。在一个方面中，本专利技术的一个或多个实施例的用于管理对象存储装置的方法包括：后端微服务获得分片分析请求；后端微服务识别由该分片分析请求指定的尚未存储在对象存储装置中的分段；后端微服务生成指定每个识别的分段的分段列表；以及后端微服务将该分段列表发送至发送分片分析请求的客户端。分片分析请求可包括数据分片的草图和该分片的每个分段的指纹。附图说明下面将参照附图说明本专利技术的一些实施例。但是，附图仅通过示例的方式示出了本专利技术的某些方面或实施方式，并不意味着限制权利要求的范围。图1示出了本专利技术的一个或多个实施例的系统的示意图；图2A示出了本专利技术的一个或多个实施例的对象存储装置的示意图；图2B示出了本专利技术的一个或多个实施例的相似性组元数据项的示意图；图2C示出了本专利技术的一个或多个实施例的对象模板存储装置的示意图；图2D示出了本专利技术的一个或多个实施例的分片模板存储装置的示意图；图3A示出了本专利技术的一个或多个实施例的数据的示意图；图3B示出了图3A所示的本专利技术的一个或多个实施例的数据的分片的示意图；图3C示出了图3B所示的本专利技术的一个或多个实施例的分片的分段的示意图；图4示出了本专利技术的一个或多个实施例的在对象存储装置中存储数据的一种方法的流程图；图5示出了本专利技术的一个或多个实施例的在对象存储装置中存储数据的第二种方法的流程图；图6示出了本专利技术的一个或多个实施例的读取存储在对象存储装置中的数据的一种方法的流程图；图7示出了本专利技术的一个或多个实施例的读取存储在对象存储装置中的数据的第二种方法的流程图；图8示出了本专利技术的一个或多个实施例的调整分配给前端微服务和/或后端微服务的计算资源量的方法的流程图。具体实施方式下面将参照附图说明本专利技术的具体实施例。在以下说明中，阐述了许多细节作为本专利技术的示例。本领域技术人员应理解，无需这些具体细节即可实践本专利技术的一个或多个实施例，并且在不脱离本专利技术的范围的情况下可做出各种变化或修改。在本文中省略了本领域普通技术人员已知的某些细节，以避免使说明变得模糊。本专利技术的实施例总体涉及一种用于管理对象存储装置的方法和系统。更具体地说，所述方法和系统可提供在将数据存储在对象存储装置中之前对数据进行去重的功能。与不对数据进行去重就将数据存储在对象存储装置中的情况相比，在将数据存储在对象存储装置中之前对数据进行去重能增加可存储在对象存储装置中的数据量。与存储数据而不重复数据所需的总存储量相比，对数据进行去重还能通过减少存储去重后的数据所需的总存储量而降低与在对象存储装置中存储数据相关的成本。在本文所用的“去重”指仅存储尚未存储在存储装置中的数据部分的方法。例如，当在不进行去重的情况下存储每个版本之间仅有很小差异的大型文本文档的多个版本时，存储每个版本所需的持久性存储装置的存储空间量是大致相同的。相反，当在进行去重的情况下存储这些大型文本文档的多个版本时，只有被存储的多个版本的第一个版本需要很大的存储量。在将第一个版本存储在持久性存储装置中之后，随后存储的大型文本文档的版本将在存储在持久性存储装置中之前进行去重，从而与存储首次存储的版本所需的持久性存储装置的存储空间量相比，存储后续存储的版本所需的持久性存储装置的存储空间量要少得多。在本专利技术的一个或多个实施例中，所述去重方法可包括：在客户端或可操作地连接至客户端的网络设备上执行的一个或多个前端微服务接收数据，并将该数据划分为分片。可将每个分片的草图和每个分片的每个分段的指纹发送至在一个不同的计算平台上执行的一个或多个后端微服务。不同的计算平台例如可以是云平台或另一个网络设备。后端微服务可将每个草图与相似性组进行匹配，并使用匹配的相似性组的元数据来标识分片的尚未存储在对象存储装置中的一个或多个分段。后端微服务可将尚未存储在对象存储装置中的分段通知给前端微服务，并将每个匹配的分段的指纹添加至元数据。前端微服务可将分片中的尚未存储的每个分段添加至一个或多个压缩区，并将该压缩区存储在对象存储装置中。可分别存储可用于重构数据的每个分片的分片模板和对象模板以及数据，以便可读取现在存储在对象存储装置中的数据。在本专利技术的一个或多个实施例中，前端微服务的数量和/或后端微服务的数量可以是动态可调的。调整每个微服务的数量能够实现将计算资源高效地分配给去重方法的不同部分。更高效地分配用于在存储装置中存储数据的计算资源能够通过响应于存储速率的变化动态地重新分配保留的计算资源，从而提高存储装置的数据存储吞吐率，消除存储瓶颈，降低存储成本，和/或提供可扩展的数据存储系统。图1示出了本专利技术的一个或多个实施例的系统。该系统可包括将数据存储在持久性存储装置(150)的对象存储装置(160)中的客户端(100、101)。该系统可包括去重服务(110)，该去重服务与客户端(100、101)协作，以在将来自客户端(100)的数据存储在对象存储装置(160)中之前对该数据进行去重。客户端(100、101)可以是计算设备。计算设备例如可以是移动电话、平板计算机、便携式计算机、台式计算机、或服务器。客户端(100)的其他例子包括在云中运行的客户端，例如在虚拟机或在公共和/或私有云环境中运行的容器中运行的客户端。在不脱离本专利技术的情况下，客户端(100、101)可以是其他类型的计算设备和/或平台。客户端可包括前端微服务(120、121)，这些前端微服本文档来自技高网...

【技术保护点】
1.一种用于管理对象存储装置的系统，包括：/n多个前端微服务，其被编程为：/n获得将数据存储在对象存储装置中的请求；/n将所述数据划分为多个分片；/n根据所述多个分片中的一分片，将分片分析请求发送至多个后端微服务；/n从所述多个后端微服务获得所述分片中的未存储在所述对象存储装置中的分段的列表；/n将由所述分段的列表指定的分段添加到压缩区中；/n所述多个后端微服务，其被编程为：/n识别由所述分片分析请求指定的所述分片中的未存储在所述对象存储装置中的分段；和/n根据所识别的分段生成所述分段的列表。/n

【技术特征摘要】
【国外来华专利技术】20170413 US 15/486,6091.一种用于管理对象存储装置的系统，包括：
多个前端微服务，其被编程为：
获得将数据存储在对象存储装置中的请求；
将所述数据划分为多个分片；
根据所述多个分片中的一分片，将分片分析请求发送至多个后端微服务；
从所述多个后端微服务获得所述分片中的未存储在所述对象存储装置中的分段的列表；
将由所述分段的列表指定的分段添加到压缩区中；
所述多个后端微服务，其被编程为：
识别由所述分片分析请求指定的所述分片中的未存储在所述对象存储装置中的分段；和
根据所识别的分段生成所述分段的列表。


2.根据权利要求1所述的系统，还包括：
将分片分析请求从所述前端微服务传递至所述后端微服务的请求队列，
其中所述系统根据所述请求队列中的待处理分片分析请求的数量来动态地调整可用的后端微服务的数量。


3.根据权利要求1所述的系统，还包括：
负载均衡器，其被编程为：
获得将数据存储在对象存储装置中的请求；
将所述请求分发给所述多个前端微服务，
其中所述系统根据所述负载均衡器中的待处理请求的数量动态地调整可用的前端微服务的数量。


4.根据权利要求1所述的系统，其中所述分片分析请求包括所述分片的草图和所述分片的每个分段的指纹，
其中所述草图不唯一地标识所述分片，
其中所述分片的每个分段的所述指纹几乎唯一地标识每个对应的分段。


5.根据权利要求1所述的系统，其中所述多个前端服务还被编程为：
将所述压缩区存储在所述对象存储装置中，
其中所述对象存储装置是持久性存储装置。


6.根据权利要求1所述的系统，其中将数据存储在所述对象存储装置中的所述请求是从计算设备接收的。


7.根据权利要求6所述的系统，其中所述多个后端微服务在可操作地连接至所述计算设备的云平台上执行。


8.根据权利要求7所述的系统，其中所述多个前端微服务不在所述云平台上执行。


9.一种管理对象存储装置的方法，包括：
由前端微服务获得将数据存储在对象存储装置中的请求；
由所述前端微服务将所述数据划分为多个分片；
由所述前端微服务向多个后端微服务发送分片分析请求，其中所述分片分析请求包括所述多个分片的一分片的草图和所述多个分片的该分片的每个分段的指纹；
由所述前端微服务获得所述多个分片的所述分片中的未存储在所述对象存储装置中的分段的列表；和
由所述前端微服务将由所述分段的列表指定的分段添加到压缩区中。


10.根据权利要求9所述的方法，其中将所述数据划分为多个分片包括：
将所述数据的一部分划分为多个分段；
将所述多个分段中的一部分分段编组为所述分片；
生成部分地指定所述分片的对象模板；和
将所述对象模板存储在对象模板存储装置中。
...

【专利技术属性】
技术研发人员：格兰特·R·华莱士，
申请(专利权)人：EMC知识产权控股有限公司，
类型：发明
国别省市：美国;US