一种数据管理方法及存储系统技术方案

本发明专利技术公开了数据管理方法，包括存入方法：通过统一接口获取数据的存储指令并进行解析，获取容器名称及对象名称；将数据进行序列化；根据容器名称，查找该容器是否已存在；若存在，根据解析出的对象的名称，在该容器中查找是否存在解析的对象，若查找不到该对象，则根据解析的对象名称，在容器中建立一个对象；若容器不存在，根据解析的容器名称及对象名称，建立一个新容器并在该新容器中建立一个对象；将数据的描述信息存储在对象的元数据中；将数据内容以数据块的形式存储在对象的数据部分；存储成功后，返回数据块编号，并存储于相应的对象的元数据部分。本发明专利技术将不同类型的数据，包括视频、音频、图片或文档，通过统一入口进行存储及管理。

Data management method and storage system

The invention discloses a data management method, including deposit method: storing instruction data acquisition through a unified interface and analysis, get the container name and object name; the data will be serialized; according to the container name, to find whether the container already exists; if there is, according to the analysis of the object name, search in the container the existence of analytic object, if can not find the object, according to the analysis of the object name, build an object in the container; if the vessel does not exist, according to the analysis of the container name and object name, the establishment of a new container and the establishment of a new object in the container; the description of data information storage in the object metadata; some of the data content stored in a data block in object data storage; after the success of the returned data block number, which is stored in the corresponding Metadata section of the object. The invention stores different types of data, including video, audio, pictures or documents, and stores and manages them through a unified portal.

【技术实现步骤摘要】

本专利技术涉及数据存储领域，尤其涉及一种数据管理方法及存储系统。
技术介绍
大数据时代，移动互联、社交网络、数据分析、云服务等应用的迅速普及，对数据的存储提出革命性的需求，存储基础架构已经成为IT核心之一。尤其是在电信、金融等行业，几乎已经到了“数据就是业务本身”的地步。数据的价值日益凸显，数据已经成为不可或缺的资产。作为数据载体和驱动力量，存储系统成为大数据基础架构中最为关键的核心。NoSQL数据库是大数据应用的首选，但是由于不同数据库存储的数据模型不同，而现有的存储方案都是根据本身的业务需求，设定特定的存储数据模型，而且用户使用之前要花费大量的时间和精力学习如何使用和操作数据库。目前行业的方案是针对不同的数据类型，分别提供不同的存储数据模型，从而进行分类型的存储。该方案的缺点是用户需要自行根据数据类型调用多种API接口，而且用户一般要学习如何使用数据库，无法使用统一的API达到对不同数据类型的统一存储，进一步的统一管理。
技术实现思路
本专利技术提供一种数据管理方法及数据存储系统，解决了用户需要自行根据数据类型调用多种API接口，而且用户一般要学习如何使用数据库，无法使用统一的API达到对不同数据类型的统一管理的难题。本专利技术一种数据管理方法，包括：S10数据存入方法；包括步骤：S110通过统一接口获取所述数据的存储指令，解析所述存储指令，获取所述存储指令中的容器的名称及对象的名称；S120将所述数据进行序列化操作，变换成可存储的状态；S130根据所述容器的名称，查找所述容器是否已存在；S140当所述容器已存在时，根据所述存储指令中的对象的名称，在所述容器中查找是否存在所述存储指令中的对象；S145当所述容器中不存在所述存储指令中的对象时，根据所述存储指令中的对象的名称，在所述容器中建立一个对象，所述对象包括元数据部分和数据部分，随后进入步骤S160；S150当所述容器不存在时，根据所述存储指令中的容器的名称，建立一个新容器；S155根据所述存储指令中的对象的名称，在所述新容器中建立一个对象，所述对象包括元数据部分和数据部分；S160将所述数据的描述信息存储在所述对象的元数据中；将所述数据内容以数据块的形式存储在所述对象的数据部分；S170存储成功后，返回所述数据存储的数据块编号，并存储于相应的对象的元数据部分。目前行业的方案是针对不同的数据类型，分别提供不同的存储数据模型，从而进行分类型的存储。用户需要自行根据数据类型调用多种API接口，而且用户一般要学习如何使用数据库，无法使用统一的API达到对不同数据类型的统一存储。而本方案不区分数据文件的类型，通过同一接口统一存储，最大程度简化用户设计数据存储模型和熟悉并学习操作数据库的过程，而且达到使其他不同的语言都可以调用的目的。本方案中的数据管理均使用同一个接口，即统一的接口来获取管理指令，进行后续的管理。进一步的，所述步骤S160包括步骤：S161判断所述数据的大小是否大于预设的数据块大小，若是，则进入步骤S162；否则进入步骤S163；S162将所述数据分割成若干数据块，并依次对所述数据块进行编号，将所述带编号的数据块存储于所述对象的数据部分；将所述数据的描述信息存储于所述对象的元数据部分；S163将所述数据存入一个数据块，所述数据块编号后存储于对象的数据部分；将所述数据的描述信息存储于对象的元数据部分。进一步的，包括方法S20数据删除方法，包括步骤：S210通过统一接口获取所述数据的删除指令，解析所述删除指令，获取所述删除指令中的容器的名称及对象的名称；S220根据所述删除指令，查找到相应的容器；并进一步在所述容器中查找到相应的对象；S230查看所述对象的元数据部分，进而找到对应的数据部分，并获取所述数据部分的数据块编号；S240根据所述数据块编号，删除所述对象的数据部分的数据块及所述对象的元数据，保留所述对象删除后的空位。同样的，通过统一接口统一删除数据，由于容器和对象的名称唯一性，查找简单，删除操作易简单可行。保留空位可尽可能的不影响同一容器中其他对象的数据块编号。进一步的，所述S20还包括步骤：S250判断所述容器中存在的空位是否超过预设的数值，若是，则去除所有空位，并将所有剩余的数据部分的数据块重新编号；S260同步更改所述容器中所述对象的元数据部分存储的所述对象的编号信息。对于容器中空位过多时，为增强容器的利用率，可适时统一进行调整，去除空位，重新编号。进一步的，包括S30数据更新方法，包括步骤：S310通过统一接口获取所述数据的更新指令；解析所述更新指令，获取所述更新指令中的容器的名称及对象的名称；S320将所述数据进行序列化操作，变换成可存储的状态；S330根据所述更新指令，查找到相应的容器；并进一步在所述容器中查找到相应的对象；S340执行步骤S230、S240，判断所述数据所需的数据块数量是否比查找到的对象对应的数据块数量多，若是，则进入步骤S350，否则，进入步骤S360；S350重新建立一个新对象，将所述数据存储在所述对象的数据部分，将所述数据的描述信息存储在所述对象的元数据部分；S360将所述数据存储在所述保留的空位上。同样的，通过统一接口更新数据，方便管理。进一步的，包括步骤：S142当所述容器中存在所述存储指令中的对象时，推送是否继续存储的确认界面，所述确认界面包含查找到的已存储的所述对象、及待存储的数据的对比信息；S143当用户确认继续存储所述数据且保留原对象时，在同一容器中创建新对象；S144当用户确认继续存储且删除原对象时，进入步骤S340；S145当用户确认取消存储所述数据时，结束操作。若存储过程中，发现已存在同样的数据，则需与用户确认后续的操作，避免用户的误操作或者重复存储。进一步的，包括：S40数据读取方法，包括步骤：S410通过统一接口获取所述数据的读取指令，解析所述读取指令，获取所述读取指令中的容器的名称及对象的名称；S420根据所述读取指令，查找到相应的容器；并进一步在所述容器中查找到相应的对象；S430查看所述对象的元数据部分，获取所述数据部分的数据块编号，进而找到对应的数据部分；S440根据所述数据块编号，将所述查询到的对应的数据部分进行排序，依次读取所述数据部分存储的对象内容。通过统一接口读取数据，根据容器名和对象名，查找到对象，再根据存储的数据块编号排序读取。进一步的，还包括S00权限管理方法，包括步骤：S010设置所述容器的读写权限；S020当执行所述数据存储方法或所述数据读取方法时，判断用户是否具备对待存储或读取的容器的读写权限；S030根据所述权限执行或驳回所述用户的请求。设置权限，保护用户数据的隐私性及数据的安全性。进一步的，所述对象的名称是根据指用户指定的名称或系统生成的所述对象的名称，所述对象的名称在所在的容器中唯一存在；所述容器的名称是根据用户指定的名称或系统生成的所述容器的名称，所述容器的名称在所在的存储系统中唯一存在；所述数据的描述信息包括：对象的名称、创建时间、大小、文件类型、及所述对象的数据部分对应的数据块编号。容器名和对象名的唯一性，相当于一个数据的身份标识，用户可通过这个身份标识，方便快捷的查找到对应的数据。另外，由于存储数据繁多，而对象的元数据部分，就相当于目录本文档来自技高网...

【技术保护点】
一种数据管理方法，其特征在于，包括：S10数据存入方法；包括步骤：S110通过统一接口获取所述数据的存储指令，解析所述存储指令，获取所述存储指令中的容器的名称及对象的名称；S120将所述数据进行序列化操作，变换成可存储的状态；S130根据所述容器的名称，查找所述容器是否已存在；S140当所述容器已存在时，根据所述存储指令中的对象的名称，在所述容器中查找是否存在所述存储指令中的对象；S145当所述容器中不存在所述存储指令中的对象时，根据所述存储指令中的对象的名称，在所述容器中建立一个对象，所述对象包括元数据部分和数据部分，随后进入步骤S160；S150当所述容器不存在时，根据所述存储指令中的容器的名称，建立一个新容器；S155根据所述存储指令中的对象的名称，在所述新容器中建立一个对象，所述对象包括元数据部分和数据部分；S160将所述数据的描述信息存储在所述对象的元数据中；将所述数据内容以数据块的形式存储在所述对象的数据部分；S170存储成功后，返回所述数据存储的数据块编号，并存储于相应的对象的元数据部分。

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：S10数据存入方法；包括步骤：S110通过统一接口获取所述数据的存储指令，解析所述存储指令，获取所述存储指令中的容器的名称及对象的名称；S120将所述数据进行序列化操作，变换成可存储的状态；S130根据所述容器的名称，查找所述容器是否已存在；S140当所述容器已存在时，根据所述存储指令中的对象的名称，在所述容器中查找是否存在所述存储指令中的对象；S145当所述容器中不存在所述存储指令中的对象时，根据所述存储指令中的对象的名称，在所述容器中建立一个对象，所述对象包括元数据部分和数据部分，随后进入步骤S160；S150当所述容器不存在时，根据所述存储指令中的容器的名称，建立一个新容器；S155根据所述存储指令中的对象的名称，在所述新容器中建立一个对象，所述对象包括元数据部分和数据部分；S160将所述数据的描述信息存储在所述对象的元数据中；将所述数据内容以数据块的形式存储在所述对象的数据部分；S170存储成功后，返回所述数据存储的数据块编号，并存储于相应的对象的元数据部分。2.根据权利要求1所述的一种数据管理方法，其特征在于，所述步骤S160包括步骤：S161判断所述数据的大小是否大于预设的数据块大小，若是，则进入步骤S162；否则进入步骤S163；S162将所述数据分割成若干数据块，并依次对所述数据块进行编号，将所述带编号的数据块存储于所述对象的数据部分；将所述数据的描述信息存储于所述对象的元数据部分；S163将所述数据存入一个数据块，所述数据块编号后存储于对象的数据部分；将所述数据的描述信息存储于对象的元数据部分。3.根据权利要求1所述的一种数据管理方法，其特征在于，包括方法S20数据删除方法，包括步骤：S210通过统一接口获取所述数据的删除指令，解析所述删除指令，获取所述删除指令中的容器的名称及对象的名称；S220根据所述删除指令，查找到相应的容器；并进一步在所述容器中查找到相应的对象；S230查看所述对象的元数据部分，进而找到对应的数据部分，并获取所述数据部分的数据块编号；S240根据所述数据块编号，删除所述对象的数据部分的数据块及所述对象的元数据，保留所述对象删除后的空位。4.根据权利要求3所述的一种数据管理方法，其特征在于，所述S20还包括步骤：S250判断所述容器中存在的空位是否超过预设的数值，若是，则去除所有空位，并将所有剩余的数据部分的数据块重新编号；S260同步更改所述容器中所述对象的元数据部分存储的所述对象的编号信息。5.根据权利要求3所述的一种数据管理方法，其特征在于，包括S30数据更新方法，包括步骤：S310通过统一接口获取所述数据的更新指令；解析所述更新指令，获取所述更新指令中的容器的名称及对象的名称；S320将所述数据进行序列化操作，变换成可存储的状态；S330根据所述更新指令，查找到相应的容器；并进一步在所述容器中查找到相应的对象；S340执行步骤S230、S240，判断所述数据所需的数据块数量是否比查找到的对象对应的数据块数量多，若是，则进入步骤S350，否则，进入步骤S360；S350重新建立一个新对象，将所述数据存储在所述对象的数据部分，将所述数据的描述信息存储在所述对象的元数据部分；S360将所述数据存储在所述保留的空位上。6.根据权利要求3所述的一种数据管理方法，其特征在于，包括步骤：S142当所述容器中存在所述存储指令中的对象时，推送是否继续存储的确认界面，所述确认界面包含查找到的已存储的所述对象、及待存储的数据的对比信息；S143当用户确认继续存储所述数据且保留原对象时，在同一容器中创建新对象；S144当用户确认继续存储且删除原对象时，进入步骤S340；S145当用户确认取消存储所述数据时，结束操作。7.根据权利要求1-6任一项所述的一种数据管理方法，其特征在于，包括：S40数据读取方法，包括步骤：S410通过统一接口获取所述数据的读取指令，解析所述读取指令，获取所述读取指令中的容器的名称及对象的名称；S420根据所述读取指令，查找到相应的容器；并进一步在所述容器中查找到相应的对象；S430查看所述对象的元数据部分，获取所述数据部分的数据块编号，进而找到对应的数据部分；S440根据所述数据块编号，将所述查询到的对应的数据部分进行排序，依次读取所述数据部分存储的对象内容。8.根据权利要求7所述的一种数据管理方法，其特征在于，还包括S00权限管理方法，包括步骤：S010设置所述容器的读写权限；S020当执行所述数据存储方法或所述数据读取方法时，判断用户是否具备对待存储或读取的容器的读写权限；S030根据所述权限执行或驳回所述用户的请求。9.根据权利要求1所述的一种数据方法，其特征在于，所述对象的名称是根据指用户指定的名称或系统生成的所述对象的名称，所述对象的名称在所在的容器中唯一存在；所述容器的名称是根据用户指定的名称或系统生成的所述容器的名称，所述容器的名称在所在的存储系统中唯一存在；所述数据的描述信息包括：对象的名称、创建时间、大小、文件类型、及所述对象的数据部分对应的数据块编号。10.根据权利要求1所述的一种数据管理方法，其特征在于，所述统一接口为rest接口。11.一种数据存储系统，其特征在于，包括接口模块、与所述接口模块相连的服务管理模块、及与所述服务管理装置相连的存储模块，所述服务管理模块包括解析单元、及与所述解析单元分别相连的序列化单元、查找单元、创建单元，所述创建单元还与所述查找单元相连；所述存储模块中含有容器，用于存储对象，其中：所述数据存储系统将数据存入包括：通过所述接口模块获取所述数据的存储指令后，所述服务管理模块的解析单元解析所述存储指令，获取所述存储指令中的容器名称及对象的名称；所述序列化单元将所述数据进行序列化操作，变换成可存储的状态；所述查找单元根据所述解析单元解析获取的所述容器的名称，在所述存储模块的中查找所述容器是否已存在；当所述查找单元查找到所述容器时，所述查找单元进一步在所述容器中查找是否存在所述解析单元解析所述存储指令获取的对象；当所述查找单元在所述容器中查找不到所述解析单元解析所述存储指令获取的对象时，所述创建单元根据所述解析单元解析获取的对象的名称，在所述容器中建立一个对象，所述对象包括元数据部分和数据部分；当所述查找单元查找不到所述容器...

【专利技术属性】
技术研发人员：尚薇薇，
申请(专利权)人：上海斐讯数据通信技术有限公司，
类型：发明
国别省市：上海;31