基于分布式架构的数据存储方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，公开了一种基于分布式架构的数据存储方法、装置、设备及存储介质，用于提高数据存储的效率和安全性。所述方法包括：对数据存储请求进行拦截和解析，获取与数据存储请求对应的存储节点集群；对存储节点集群进行分析，获取数据存储任务；根据数据存储任务对存储节点集群中多个数据节点的存储类型进行语义分析，得到多个数据状态类型；通过多个数据状态类型进行数据源匹配，得到目标数据源；通过存储节点集群及多个数据状态类型创建每个数据状态类型对应的目标数据存储引擎；根据目标数据存储引擎进行数据生成，生成多个目标数据；将目标数据源中的多个原始数据替换为多个目标数据，得到目标存储文件。得到目标存储文件。得到目标存储文件。

【技术实现步骤摘要】
基于分布式架构的数据存储方法、装置、设备及存储介质


[0001]本专利技术涉及大数据领域，尤其涉及一种基于分布式架构的数据存储方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的迅速发展、社会信息化水平的飞速提高、以及物联网、云计算等先进技术的广泛应用，对数据存储的需求发生了显著的变化。数据总量爆炸式增长，数据类型中的非结构化数据所占比例越来越大。
[0003]目前，随着数据量不断增加、各类应用日益复杂，现有数据存储不具有高度的安全性、容错性和并发访，即，现有方案的存储效率和安全性较低。

技术实现思路

[0004]本专利技术提供了一种基于分布式架构的数据存储方法、装置、设备及存储介质，用于提高数据存储的效率和安全性。
[0005]本专利技术第一方面提供了一种基于分布式架构的数据存储方法，所述基于分布式架构的数据存储方法包括：接收目标终端发送的数据存储请求，并对所述数据存储请求进行拦截和解析，获取与所述数据存储请求对应的存储节点集群；对所述存储节点集群进行分析，获取与所述存储节点集群对应的数据存储任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式架构的数据存储方法，其特征在于，所述基于分布式架构的数据存储方法包括：接收目标终端发送的数据存储请求，并对所述数据存储请求进行拦截和解析，获取与所述数据存储请求对应的存储节点集群；对所述存储节点集群进行分析，获取与所述存储节点集群对应的数据存储任务；根据所述数据存储任务对所述存储节点集群中多个数据节点的存储类型进行语义分析，得到多个数据状态类型；通过所述多个数据状态类型进行数据源匹配，得到与所述多个数据状态类型匹配的目标数据源；通过所述存储节点集群及所述多个数据状态类型创建每个数据状态类型对应的目标数据存储引擎；根据所述每个数据状态类型对应的目标数据存储引擎进行数据生成，生成多个目标数据；将所述目标数据源中的多个原始数据替换为所述多个目标数据，得到目标存储文件。2.根据权利要求1所述的基于分布式架构的数据存储方法，其特征在于，所述对所述存储节点集群进行分析，获取与所述存储节点集群对应的数据存储任务，包括：对所述存储节点集群中的数据按照预设的结构类型进行分组，得到多个节点组；将每个节点组中的数据结构按照业务类型维度进行划分，得到多个节点类别；将每个节点类别对应的数据存储在同一列中，并生成与所述存储节点集群对应的数据存储任务。3.根据权利要求1所述的基于分布式架构的数据存储方法，其特征在于，所述根据所述数据存储任务对所述存储节点集群中多个数据节点的存储类型进行语义分析，得到多个数据状态类型，包括：通过所述数据存储任务从预置数据库中获取标准数据节点信息及预设数据状态信息；通过所述标准数据节点信息对所述存储节点集群中多个数据的进行匹配分析，得到与所述预设数据状态信息相匹配的多个数据状态类型。4.根据权利要求1所述的基于分布式架构的数据存储方法，其特征在于，所述通过所述多个数据状态类型进行数据源匹配，得到与所述多个数据状态类型匹配的目标数据源，包括：对所述多个数据状态类型进行状态类型分析，得到对应的目标信息；对所述目标信息进行特征处理，得到对应的分析结果，当所述分析结果为表格型数据类型时，从预置数据库中获取与所述表格型数据类型对应的第一数据源；当所述分析结果为流化型数据类型时，对所述多个目标类型进行分析，获取对应的多个字段信息并通过所述多个字段信息生成与所述多个数据状态类型匹配的第二数据源；将所述第一数据源和所述第二数据源作为所述目标数据源。5.根据权利要求1所述的基于分布式架构的数据存储方法，其特征在于，所述通过所述存储节点集群及所述多个数据状态类型创建每个数据状态类型对应的目标数据存储引擎，包括：对所述存储节点集群进行节点聚类分析，确定对应的目标节点参数；

【专利技术属性】
技术研发人员：秦姝琦，郑岩，
申请(专利权)人：深圳矩阵起源科技有限公司，
类型：发明
国别省市：