一种基于超融合结构的分布式存储方法、系统及存储介质技术方案

本发明专利技术公开了一种基于超融合结构的分布式存储方法、系统及存储介质，方法包括：获取待存储数据，并根据待存储数据生成日志统计信息；根据日志统计信息，确定预设的统一资源池中是否存在与日志统计信息相同或相似的文件，并在确认统一资源池中不存在相同或者相似的文件时，对待存储数据进行整合与标记，得到整合标记文件；通过商用服务器对整合标记文件进行拆分，得到拆分文件，并获取拆分文件的类型信息，从统一资源池中选择与类型信息所匹配的目标存储磁盘，将拆分文件存储至目标存储磁盘中。本发明专利技术可自动实现对数据的分布式存储，实现资源自动分配，实现高效通信。实现高效通信。实现高效通信。

【技术实现步骤摘要】
一种基于超融合结构的分布式存储方法、系统及存储介质


[0001]本专利技术涉及数据存储
，尤其涉及一种基于超融合结构的分布式存储方法、系统及存储介质。

技术介绍

[0002]存储系统是计算机的重要组成部分之一。存储系统提供写入和读出计算机工作需要的信息（程序和数据）的能力，实现计算机的信息记忆功能。现代计算机系统中常采用寄存器、高速缓存、主存、外存的多级存储体系结构；计算机存储系统的核心是存储器，存储器是计算机中必不可少、用来存储程序和数据的记忆设备；内部存储器（简称内存）主要存储计算机当前工作需要的程序和数据，包括高速缓冲存储器（Cache，简称缓存）和主存储器。目前构成内存的主要是半导体存储器。外部存储器（简称外存）主要有磁性存储器、光存储器和半导体存储器三种实现方式，存储介质有硬磁盘、光盘、磁带和移动存储器等。
[0003]但是，在现有技术中，对于数据的存储的效率比较低，且当数据发生变化或者需要更新时，可能需要将所有数据进行重新分布。
[0004]因此，现有技术还有待改进和提高。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于超融合结构的分布式存储方法，旨在解决现有技术中对于数据的存储的效率比较低，且当数据发生变化或者需要更新时，可能需要将所有数据进行重新分布的问题。
[0006]为了解决上述技术问题，本专利技术所采用的技术方案如下：第一方面，本专利技术提供一种基于超融合结构的分布式存储方法，其特征在于，所述方法包括：获取待存储数据，对所述待存储数据进行临时保存，并根据所述待存储数据生成日志统计信息，所述日志统计信息用于反映所述待存储数据中的属性信息；根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，并在确认所述统一资源池中不存在与所述日志统计信息相同或者相似的文件时，对所述待存储数据进行整合与标记，得到整合标记文件；通过商用服务器对所述整合标记文件进行拆分，得到拆分文件，并获取所述拆分文件的类型信息，并从所述统一资源池中选择与所述类型信息所匹配的目标存储磁盘，将所述拆分文件存储至所述目标存储磁盘中。
[0007]在一种实现方式中，所述根据所述待存储数据生成日志统计信息，包括：获取所述待存储数据中的文件名称、关键词、文件大小以及文件类型；根据所述文件名称、关键词、文件大小以及文件类型生成所述日志统计信息。
[0008]在一种实现方式中，所述根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，包括：
依次根据所述文件名称、关键词、文件大小以及文件类型，在所述统一资源池中进行搜索，确定所述统一资源中分别与所述文件名称、关键词、文件大小以及文件类型所匹配的候选文件；若所述候选文件中存在与所述文件名称、关键词、文件大小以及文件类型均相同的文件，则确定所述统一资源池中存在与所述日志统计信息相同的文件；若所述候选文件中不存在与所述文件名称、关键词、文件大小以及文件类型均相同的文件，则确定所述统一资源池中不存在与所述日志统计信息相同的文件。
[0009]在一种实现方式中，所述根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，包括：依次将所述文件名称、关键词、文件大小以及文件类型与所述统一资源池中的已有文件进行相似性分析；若所述已有文件中存在与所述文件名称、关键词、文件大小以及文件类型之间相似性超过阈值，则确定所述统一资源池中存在与所述日志统计信息相似的文件；若所述已有文件中不存在与所述文件名称、关键词、文件大小以及文件类型之间相似性超过阈值，则确定所述统一资源池中不存在与所述日志统计信息相似的文件。
[0010]在一种实现方式中，所述方法，还包括：若所述统一资源池中存在与所述日志统计信息相同或相似的文件，则提示选择项，所述选择项包括：替换相似文件、另存为新文件或不保存文件；接收输入的指令，确定所述指令所对应的选择项，并执行所述选择项所对应的操作。
[0011]在一种实现方式中，所述通过商用服务器对所述整合标记文件进行拆分，得到拆分文件，包括：通过所述商用服务器中计算节点确定所述整合标记文件的不同处，以及通过所述商用服务器中融合节点确定所述整合标记文件的相同处；基于所述相同处与所述不同处对所述整合标记文件进行拆分，得到所述拆分文件。
[0012]在一种实现方式中，所述获取所述拆分文件的类型信息，并从所述统一资源池中选择与所述类型信息所匹配的目标存储磁盘，将所述拆分文件存储至所述目标存储磁盘中，包括：基于所述日志统计信息中的所述文件类型，确定所述拆分文件的所述类型信息；根据所述类型信息，从所述统一资源池中找出与所述类型信息具有相同存储类型的所述目标存储磁盘；将所述拆分文件存储至所述目标存储磁盘中。
[0013]第二方面，本专利技术实施例还提供一种基于超融合结构的分布式存储系统，其中，所述系统包括：超融合一体机、与所述超融合一体机连接的商用服务器以及与所述商用服务器连接的统一资源池；其中，所述超融合一体机包括：日志统计信息获取模块，用于获取待存储数据，对所述待存储数据进行临时保存，并根据所述待存储数据生成日志统计信息，所述日志统计信息用于反映所述待存储数据中的属性信息；
整合标记文件获取模块，用于根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，并在确认所述统一资源池中不存在与所述日志统计信息相同或者相似的文件时，对所述待存储数据进行整合与标记，得到整合标记文件；文件拆分与存储模块，用于通过商用服务器对所述整合标记文件进行拆分，得到拆分文件，并获取所述拆分文件的类型信息，并从所述统一资源池中选择与所述类型信息所匹配的目标存储磁盘，将所述拆分文件存储至所述目标存储磁盘中。
[0014]第三方面，本专利技术实施例还提供一种超融合一体机，所述超融合一体机包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于超融合结构的分布式存储程序，所述处理器执行所述基于超融合结构的分布式存储程序时，实现如上述方案中任一项所述的基于超融合结构的分布式存储方法的步骤。
[0015]第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于超融合结构的分布式存储程序，所述基于超融合结构的分布式存储程序被处理器执行时，实现如上述方案中任一项所述的基于超融合结构的分布式存储方法的步骤。
[0016]有益效果：与现有技术相比，本专利技术提供了一种基于超融合结构的分布式存储方法，本专利技术获取待存储数据，对所述待存储数据进行临时保存，并根据所述待存储数据生成日志统计信息，所述日志统计信息用于反映所述待存储数据中的属性信息。然后，根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，并在确认所述统一资源池中不存在与所述日志统计信息相同或者相似的文件时，对所述待存储数据进行整合与标记，得到整合标记文件。最后，通过商用服务器对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超融合结构的分布式存储方法，其特征在于，所述方法包括：获取待存储数据，对所述待存储数据进行临时保存，并根据所述待存储数据生成日志统计信息，所述日志统计信息用于反映所述待存储数据中的属性信息；根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，并在确认所述统一资源池中不存在与所述日志统计信息相同或者相似的文件时，对所述待存储数据进行整合与标记，得到整合标记文件；通过商用服务器对所述整合标记文件进行拆分，得到拆分文件，并获取所述拆分文件的类型信息，并从所述统一资源池中选择与所述类型信息所匹配的目标存储磁盘，将所述拆分文件存储至所述目标存储磁盘中。2.根据权利要求1所述的基于超融合结构的分布式存储方法，其特征在于，所述根据所述待存储数据生成日志统计信息，包括：获取所述待存储数据中的文件名称、关键词、文件大小以及文件类型；根据所述文件名称、关键词、文件大小以及文件类型生成所述日志统计信息。3.根据权利要求2所述的基于超融合结构的分布式存储方法，其特征在于，所述根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，包括：依次根据所述文件名称、关键词、文件大小以及文件类型，在所述统一资源池中进行搜索，确定所述统一资源中分别与所述文件名称、关键词、文件大小以及文件类型所匹配的候选文件；若所述候选文件中存在与所述文件名称、关键词、文件大小以及文件类型均相同的文件，则确定所述统一资源池中存在与所述日志统计信息相同的文件；若所述候选文件中不存在与所述文件名称、关键词、文件大小以及文件类型均相同的文件，则确定所述统一资源池中不存在与所述日志统计信息相同的文件。4.根据权利要求3所述的基于超融合结构的分布式存储方法，其特征在于，所述根据所述日志统计信息，确定预设的统一资源池中是否存在与所述日志统计信息相同或相似的文件，包括：依次将所述文件名称、关键词、文件大小以及文件类型与所述统一资源池中的已有文件进行相似性分析；若所述已有文件中存在与所述文件名称、关键词、文件大小以及文件类型之间相似性超过阈值，则确定所述统一资源池中存在与所述日志统计信息相似的文件；若所述已有文件中不存在与所述文件名称、关键词、文件大小以及文件类型之间相似性超过阈值，则确定所述统一资源池中不存在与所述日志统计信息相似的文件。5.根据权利要求1所述的基于超融合结构的分布式存储方法，其特征在于，所述方法，还包括：若所述统一资源池中存在与所述日志统计信息相同或相似的文件，则提示选择项，所述选择项包括：替换相似文件、另存为新文...

【专利技术属性】
技术研发人员：刘江，龚立义，郭军，
申请(专利权)人：柏科数据技术深圳股份有限公司，
类型：发明
国别省市：