一种基于分布式数据库的非结构化数据存储方法及装置制造方法及图纸

本发明专利技术公开了一种基于分布式数据库的非结构化数据存储方法及装置，其中所述方法包括：获取非结构化数据；将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据；确定所述冷热分层处理后的非结构化数据所要存储的数据节点；所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片；基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本；将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点。本发明专利技术通过分布式数据库存储海量非结构化数据，提高了存储性能，实现文件的高可靠性、高性能和安全存储。高性能和安全存储。高性能和安全存储。

【技术实现步骤摘要】
一种基于分布式数据库的非结构化数据存储方法及装置


[0001]本专利技术涉及分布式存储
，尤其涉及一种基于分布式数据库的非结构化数据存储方法及装置。

技术介绍

[0002]随着计算机信息技术的普及与互联网用户数量的增多，使得数据量的增长速度越来越快，传统数据库与集中式存储技术已无法适应海量信息处理的需求。为了改善传统数据存储技术的局限性，研发了分布式存储技术，分布式存储技术增强了数据库的处理能力与处理效率。使用分布式数据库对非结构化数据进行存储，不但能满足大规模数据存储的需要，并且能够提高存储的性能，实现了文件的高可靠性、高性能和安全存储。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于分布式数据库的非结构化数据存储方法及装置，通过分布式数据库存储海量非结构化数据，提高了存储性能，实现文件的高可靠性、高性能和安全存储。
[0004]为了解决上述技术问题，本专利技术实施例提供了一种基于分布式数据库的非结构化数据存储方法，所述方法包括：
[0005]获取非结构化数据；
[0006]将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据；
[0007]确定所述冷热分层处理后的非结构化数据所要存储的数据节点；
[0008]所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片；
[0009]基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本；
[0010]将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中。
[0011]可选的，所述获取非结构化数据，包括：
[0012]基于数据引擎接口接收写入数据请求；
[0013]基于所述写入数据请求对数据进行提取处理，获得非结构化数据。
[0014]可选的，所述将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据，包括：
[0015]基于特定的时序规则对所述非结构化数据进行判断，获得冷热数据判断结果；
[0016]基于所述冷热数据判断结果使用Apache Doris技术进行冷热分层处理，获得冷热分层处理后的非结构化数据。
[0017]可选的，所述基于所述冷热数据判断结果使用Apache Doris技术进行冷热分层处理，包括：
[0018]基于实时流式投递技术创建Tablestore数据源表；
[0019]基于所述Tablestore数据源表进行TP查询处理，获得Tablestore数据源表的生命周期；
[0020]基于所述Tablestore数据源表的生命周期进行数据分离处理，获得冷热分层处理后的非结构化数据。
[0021]可选的，所述确定所述冷热分层处理后的非结构化数据所要存储的数据节点，包括：
[0022]基于异或运算方法计算所述冷热分层处理后的非结构化数据对应的哈希值；
[0023]基于所述哈希值确定非结构化数据所要存储的数据节点。
[0024]可选的，所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片，包括：
[0025]所述数据节点基于水平分片对所述冷热分层处理后的非结构化数据进行横向切分，其中横向切分的分区通过HASH算法计算哈希索引，基于所述哈希索引确定切分的分区，获得非结构化数据分片。
[0026]可选的，所述基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本，包括：
[0027]基于多副本机制对所述非结构化数据分片进行多副本复制备份处理，确定主副本与备副本；
[0028]采用同步复制方式对所述主副本与备副本进行数据复制处理，获得所述非结构化数据分片对应的多个副本。
[0029]可选的，所述采用同步复制方式对所述主副本与备副本进行数据复制处理，包括：
[0030]将写请求发送给主副本，主副本接收写请求；
[0031]主副本基于复制日志将所述写请求同步给备副本，备副本进行同步处理，并将同步处理信息反馈至主副本；
[0032]主副本接收反馈信息，获得对应的备副本。
[0033]可选的，所述将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中，包括：
[0034]将所述非结构化数据分片及所述对应的多个副本进行映射处理，获得分卷标识；
[0035]基于所述分卷标识将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中。
[0036]另外，本专利技术实施例还提供了一种基于分布式数据库的非结构化数据存储装置，所述装置包括：
[0037]获取模块：获取非结构化数据；
[0038]冷热分层模块：将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据；
[0039]数据节点模块：确定所述冷热分层处理后的非结构化数据所要存储的数据节点；
[0040]水平分片模块：所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片；
[0041]副本模块：基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述
非结构化数据分片对应的多个副本；
[0042]存储模块：将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中。
[0043]在本专利技术实施例中，通过使用分布式数据库对非结构化数据进行存储，可以满足大规模数据存储的需要，而且分布式存储技术支持冷热数据分层处理，可以提高存储性能和进一步提升数据安全性；也支持多副本机制，采用多副本机制可以保障数据库的高可用与容灾；并且可以通过数据分片的方式，对数据引擎层的存储进行弹性水平扩展，从而实现高性能与无限水平弹性扩展能力；因此，采用分布式数据库存储数据不但提高了存储的可靠性和可用性，而且将通用硬件引入的不稳定因素降到最低，从而实现文件的高性能和安全存储。
附图说明
[0044]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0045]图1是一种基于分布式数据库的非结构化数据存储方法的流程示意图；
[0046]图2是一种基于分布式数据库的非结构化数据存储装置的结构组成示意图。
具体实施方式
[0047]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述方法包括：获取非结构化数据；将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据；确定所述冷热分层处理后的非结构化数据所要存储的数据节点；所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片；基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本；将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中。2.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述获取非结构化数据，包括：基于数据引擎接口接收写入数据请求；基于所述写入数据请求对数据进行提取处理，获得非结构化数据。3.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据，包括：基于特定的时序规则对所述非结构化数据进行判断，获得冷热数据判断结果；基于所述冷热数据判断结果使用Apache Doris技术进行冷热分层处理，获得冷热分层处理后的非结构化数据。4.根据权利要求3所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述基于所述冷热数据判断结果使用Apache Doris技术进行冷热分层处理，包括：基于实时流式投递技术创建Tablestore数据源表；基于所述Tablestore数据源表进行TP查询处理，获得Tablestore数据源表的生命周期；基于所述Tablestore数据源表的生命周期进行数据分离处理，获得冷热分层处理后的非结构化数据。5.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述确定所述冷热分层处理后的非结构化数据所要存储的数据节点，包括：基于异或运算方法计算所述冷热分层处理后的非结构化数据对应的哈希值；基于所述哈希值确定非结构化数据所要存储的数据节点。6.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述数据节点基于水平分片的方式对所述冷热分层处理后的...

【专利技术属性】
技术研发人员：杜家兵，王晶，宋才华，吴丽贤，皇甫汉聪，关兆雄，陈旭宇，庞伟林，庞维欣，
申请(专利权)人：广东电网有限责任公司佛山供电局，
类型：发明
国别省市：