分布式存储系统的数据的处理方法、装置及系统制造方法及图纸

本发明专利技术提供了一种分布式存储系统的数据的处理方法、装置及系统，该方法包括：获取目标数据的第一模式结构和源数据的第二模式结构；根据上述第一模式结构和上述第二模式结构将上述源数据处理为上述第一模式结构的结构化数据。本发明专利技术解决了相关技术中分布式存储系统中数据模式结构描述不灵活的问题，具有提高数据模式结构描述灵活性从而提高数据处理效率的有益效果。

【技术实现步骤摘要】
分布式存储系统的数据的处理方法、装置及系统
本专利技术涉及通信领域，具体而言，涉及一种分布式存储系统的数据的处理方法、装置及系统。
技术介绍
云计算(CloudComputing)是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorageTechnologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统。分布式存储是云计算范畴中的一个领域，其作用是提供海量数据的分布式存储服务以及高速读写访问的能力。数据是有模式结构的，在关系型数据库中，数据的模式结构是数据库来维护的，但是在非关系型的数据存储系统中，通常不感知数据的模式结构。于是，在存储数据时，要根据模式结构将数据转换为二进制数据流，然后存入分布式存储系统中；读取数据时，从分布式存储系统中取出二进制数据流，要根据一定规则还原为可以使用的数据。以上，数据的转换和还原，通常也称之为数据的序列化和反序列化过程。在分布式的应用中，数据的写入者和数据的读取者可能不是同一个程序。如果数据模式结构永远不变，读取者随时都可以根据自己本地的数据模式结构正确的还原出写入者的数据。但通常随着程序的升级，数据的模式结构通常是要发生变化的。而分布式存储中往往是海量数据，难以短时间内全部读出并修改数据的模式结构；此外在某些场景中，在升级过程中需要保持业务不中断，也会同时出现不同版本的写入者和读取者。此时，数据的读取者如何还原出任意写入者的数据，是比较难以解决的关键问题。而能够还原任意写入者的数据的特性，通常称为模式自由(Schema-free)。在相关技术方案中，实现模式自由通常有以下几种方法：方案一、数据的模式结构内部固定一个字段表示数据的版本，缺点是新版本的新增内容只能添在旧版本的尾部，读取者中要实现已知所有版本模式结构的还原方法；方案二、传统的标签长度值(Tag-Length-Value，简称TLV)法，依次记录数据模式结构各字段的标识符(Tag)，长度(Length)，二进制数据流(Value)，其缺点是表示不了复杂的数据结构，尤其是嵌套结构。方案三，自描述型表示方式，如JAVA脚本对象表示法(JAVAScriptObjectNotation，简称JSON)，优点是可以表示任意复杂的数据模式结构，缺点是它是解释型的数据描述方式，效率较差。针对相关技术中相关技术中分布式存储系统中数据模式结构描述不灵活的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术提供了一种分布式存储系统的数据的处理方法、装置及系统，以至少解决上述问题。根据本专利技术的一个方面，提供了一种分布式存储系统的数据的处理方法，包括：获取目标数据的第一模式结构和源数据的第二模式结构；根据所述第一模式结构和所述第二模式结构将所述源数据处理为所述第一模式结构的结构化数据。优选地，所述第一模式结构是对所述目标数据中的每个元素的模式结构的文本描述，所述第二模式结构是对所述源数据中的每个元素的模式结构的文本描述。优选地，所述第一模式结构的文本描述包括以下至少之一：所述目标数据中的每个元素的名称，所述目标数据中的所述每个元素的类型，所述目标数据中的所述每个元素的合法取值范围，所述目标数据中的所述每个元素的嵌套关系，所述目标数据中的各个所述每个元素的顺序；和/或所述第二模式结构的文本描述包括以下至少之一：所述源数据中的每个元素的名称，所述源数据中的所述每个元素的类型，所述源数据中的所述每个元素的合法取值范围，所述源数据中的所述每个元素的嵌套关系，所述源数据中的各个所述每个元素的顺序。优选地，根据所述第一模式结构和所述第二模式结构将所述源数据处理为所述第一模式结构的所述结构化数据包括：判断所述第一模式结构和所述第二模式结构是否一致；当判断结果为一致时，按照所述第一模式结构或所述第二模式结构将所述源数据处理成所述结构化数据；当判断结果为不一致时，确定所述第一模式结构与所述第二模式结构的差异，并根据所述第一模式结构、所述第二模式结构和所述差异，将所述源数据处理成所述结构化数据。优选地，判断所述第一模式结构和所述第二模式结构是否一致包括：比较所述第一模式结构的第一标识号和所述第二模式结构的第二标识号；如果所述第一标识号与所述第二标识号一致，则所述第一模式结构与所述第二模式结构一致；如果所述第一标识号与所述第二标识号不一致，则所述第一模式结构与所述第二模式结构不一致；其中，所述第一标识号和所述第二标识号由分布式存储模式管理服务器统一分配。优选地，当向存储空间写入数据时，所述目标数据为所述存储空间支持的数据，所述源数据为待写入的数据；和/或当从所述存储空间读取数据时，所述目标数据为读取所要得到的数据，所述源数据为所述存储空间中存储的数据。根据本专利技术的另一方面，提供了一种分布式存储系统的数据的处理方法，包括：获取源数据的模式结构和所述模式结构的标识，其中，所述源数据为待写入的数据；根据所述模式结构将所述源数据写入存储空间，并将所述标识写入所述存储空间。优选地，所述模式结构是对所述源数据中的每个元素的模式结构的文本描述。优选地，所述文本描述包括以下至少之一：所述每个元素的名称，所述每个元素的类型，所述每个元素的合法取值范围，所述每个元素的嵌套关系，各个所述每个元素的顺序。优选地，获取所述源数据的模式结构和所述模式结构的标识包括：生成所述模式结构；向分布式存储模式管理服务器发送所述模式结构；接收所述分布式存储模式管理服务器根据所述模式结构返回的所述标识，其中，在所述分布式存储模式管理服务器在本地的现有模式结构中匹配到所述模式结构的情况下，所述标识为所匹配到的所述现有模式结构的标识，否则所述标识为新分配的标识。根据本专利技术的又一方面，提供了一种分布式存储系统的数据的处理装置，包括：获取模块，用于获取目标数据的第一模式结构和源数据的第二模式结构；还原模块，用于根据所述第一模式结构和所述第二模式结构将所述源数据处理为所述第一模式结构的结构化数据。优选地，所述还原模块还用于判断所述第一模式结构和所述第二模式结构是否一致，当判断结果为一致时，按照所述第一模式结构或所述第二模式结构将所述源数据处理成所述结构化数据，当判断结果为不一致时，确定所述第一模式结构与所述第二模式结构的差异，并根据所述第一模式结构、所述第二模式结构和所述差异，将所述源数据处理成所述结构化数据。优选地，所述还原模块还用于比较所述第一模式结构的第一标识号和所述第二模式结构的第二标识号，如果所述第一标识号与所述第二标识号一致，则所述第一模式结构与所述第二模式结构一致，如果所述第一标识号与所述第二标识号不一致，则所述第一模式结构与所述第二模式结构不一致，其中，所述第一标识号和所述第二标识号由分布式存储模式管理服务器统一分配。根据本专利技术的又一方面，提供了一种分布式存储系统的数据的处理装置，包括：模式获取模块，用于获取源数据的模式结构和所述模式结构的标识，其中，所述源数本文档来自技高网...

【技术保护点】
一种分布式存储系统的数据的处理方法，其特征在于，包括：获取目标数据的第一模式结构和源数据的第二模式结构；根据所述第一模式结构和所述第二模式结构将所述源数据处理为所述第一模式结构的结构化数据。

【技术特征摘要】
1.一种分布式存储系统的数据的处理方法，其特征在于，包括：获取目标数据的第一模式结构和源数据的第二模式结构；根据所述第一模式结构和所述第二模式结构将所述源数据处理为所述第一模式结构的结构化数据；其中，所述第一模式结构的第一标识号和所述第二模式结构的第二标识号由分布式存储模式管理服务器统一分配；其中，所述第二标识号是通过如下方式获取的：向所述分布式存储模式管理服务器发送所述第二模式结构；接收所述分布式存储模式管理服务器根据所述第二模式结构返回的所述第二标识号，其中，在所述分布式存储模式管理服务器在本地的现有模式结构中匹配到所述第二模式结构的情况下，所述第二标识号为所匹配到的所述现有模式结构的标识，否则所述第二标识号为新分配的标识。2.根据权利要求1所述的方法，其特征在于，所述第一模式结构是对所述目标数据中的每个元素的模式结构的文本描述，所述第二模式结构是对所述源数据中的每个元素的模式结构的文本描述。3.根据权利要求2所述的方法，其特征在于，所述第一模式结构的文本描述包括以下至少之一：所述目标数据中的每个元素的名称，所述目标数据中的所述每个元素的类型，所述目标数据中的所述每个元素的合法取值范围，所述目标数据中的所述每个元素的嵌套关系，所述目标数据中的各个所述每个元素的顺序；和/或所述第二模式结构的文本描述包括以下至少之一：所述源数据中的每个元素的名称，所述源数据中的所述每个元素的类型，所述源数据中的所述每个元素的合法取值范围，所述源数据中的所述每个元素的嵌套关系，所述源数据中的各个所述每个元素的顺序。4.根据权利要求1至3中任一项所述的方法，其特征在于，根据所述第一模式结构和所述第二模式结构将所述源数据处理为所述第一模式结构的所述结构化数据包括：判断所述第一模式结构和所述第二模式结构是否一致；当判断结果为一致时，按照所述第一模式结构或所述第二模式结构将所述源数据处理成所述结构化数据；当判断结果为不一致时，确定所述第一模式结构与所述第二模式结构的差异，并根据所述第一模式结构、所述第二模式结构和所述差异，将所述源数据处理成所述结构化数据。5.根据权利要求4所述的方法，其特征在于，判断所述第一模式结构和所述第二模式结构是否一致包括：比较所述第一模式结构的所述第一标识号和所述第二模式结构的所述第二标识号；如果所述第一标识号与所述第二标识号一致，则所述第一模式结构与所述第二模式结构一致；如果所述第一标识号与所述第二标识号不一致，则所述第一模式结构与所述第二模式结构不一致。6.根据权利要求1所述的方法，其特征在于，当向所述分布式存储系统的存储空间写入数据时，所述目标数据为所述存储空间支持的数据，所述源数据为待写入的数据；和/或当从所述存储空间读取数据时，所述目标数据为读取所要得到的数据，所述源数据为所述存储空间中存储的数据。7.一种分布式存储系统的数据的处理方法，其特征在于，包括：获取源数据的模式结构和所述模式结构的标识，其中，所述源数据为待写入的数据；根据所述模式结构将所述源数据写入存储空间，并将所述标识写入所述存储空间；其中，所述模式结构的所述标识由分布式存储模式管理服务器统一分配；其中，获取所述源数据的模式结构和所述模式结构的标识包括：生成所述模式结构；向分布式存储模式管理服务器发送所述模式结构；接收所述分布式存储模式管理...

【专利技术属性】
技术研发人员：郭斌，陈正华，韩银俊，高洪，程宁，
申请(专利权)人：南京中兴新软件有限责任公司，
类型：发明
国别省市：江苏;32