【技术实现步骤摘要】
本申请涉及数据存储，特别涉及一种海量数据存储处理方法、系统、电子设备及存储介质。
技术介绍
1、目前，现有技术中通常是基于单一结构化数据库，例如mysql数据库，进行表信息管理及创建来实现数据存储，存在以下技术问题：
2、1.存储限制问题：海量数据的数据存储需要定制大量存储字段，定制大量存储字段的数据存储对于单表增加及扩展有局限性，数据行存储于数据页中，当字段所占字节超过页大小时，只能拆表或者降低字段长度，增加了后续进行字段搜索的复杂程度和性能下降风险；
3、2.查询性能问题：对于体量大或者异构数据查询存在不便，io开销及查询的性能下降。
4、基于上述技术问题，现有技术无法满足海量数据的数据存储要求。
技术实现思路
1、为了解决至少一个上述相关技术中存在的技术问题，本申请实施例提出了一种海量数据存储处理方法、系统、电子设备及存储介质，旨在满足海量数据的数据存储要求，解决海量数据的数据存储限制问题，提高数据存储的扩展性，提升数据查询效率。
2、一方面，本申请实施例提出了一种海量数据存储处理方法，所述方法包括以下步骤：
3、获取待存储数据；
4、获取第一数据库中存储的第一存储管理表信息和第二存储管理表信息；所述第一数据库为结构化数据库；
5、根据所述第一存储管理表信息和所述第二存储管理表信息，在第二数据库中同步构建多个存储数据表；所述第二数据库为非结构化数据库；
6、从多个所述存储数据表中确
7、在一些实施例中，在执行所述获取第一数据库中存储的第一存储管理表信息和第二存储管理表信息这一步骤之前，所述方法还包括步骤：
8、在所述第一数据库中构建所述第一存储管理表和所述第二存储管理表；
9、获取表结构信息和所述表结构信息对应的字段信息；
10、将所述表结构信息写入至所述第一存储管理表中，获得所述第一存储管理表信息；
11、将所述第一存储管理表与所述第二存储管理表建立关联，根据所述第一存储管理表信息，将所述字段信息写入至所述第二存储管理表中，获得所述第二存储管理表信息。
12、在一些实施例中，所述方法还包括：
13、对所述第一存储管理表和所述第二存储管理表执行信息同步处理操作，同步更新所述第一存储管理表信息和所述第二存储管理表信息；
14、根据更新后的所述第一存储管理表信息和更新后的所述第二存储管理表信息，执行数据同步操作，同步更新所述第二数据库中的多个所述存储数据表。
15、在一些实施例中，所述信息同步处理操作包括信息同步添加操作、信息同步修改操作、信息同步删除操作和信息同步停用操作，所述对所述第一存储管理表和所述第二存储管理表执行信息同步处理操作，同步更新所述第一存储管理表信息和所述第二存储管理表信息这一步骤，具体包括：
16、当所述信息同步处理操作为所述信息同步添加操作时，获取预添加表结构信息和对应于所述预添加表结构信息的预添加字段信息，将所述预添加表结构信息写入至所述第一存储管理表中，将所述预添加字段信息写入至所述第二存储管理表中，更新所述第一存储管理表信息和所述第二存储管理表信息，获得信息同步添加后的第一存储管理表信息和第二存储管理表信息；
17、当所述信息同步处理操作为所述信息同步修改操作时，确定第一目标表结构信息和第一目标字段信息，同步修改所述第一目标表结构信息和所述第一目标字段信息，获得信息同步修改后的第一存储管理表信息和第二存储管理表信息；所述第一目标表结构信息为所述第一存储管理表信息中预进行信息修改的所述表结构信息；所述第一目标字段信息为所述第二存储管理表信息中与所述第一目标表结构信息关联的字段信息；
18、当所述信息同步处理操作为所述信息同步停用操作时，确定第二目标表结构信息和第二目标字段信息，在所述第一存储管理表中停用所述第二目标表结构信息，并将所述第二目标表结构信息的信息状态设置为已停用，在所述第二存储管理表中停用所述第二目标字段信息，并将所述第二目标表结构信息的信息状态设置为已停用；所述第二目标表结构信息为所述第一存储管理表信息中已完成信息停用的所述表结构信息；所述第二目标字段信息为所述第二存储管理表信息中与所述第二目标表结构信息关联的字段信息；
19、当所述信息同步处理操作为所述信息同步删除操作时，确定第三目标表结构信息和第三目标字段信息，在所述第一存储管理表中删除所述第三目标表结构信息，在所述第二存储管理表中删除所述第三目标字段信息；所述第二目标表结构信息为所述第一存储管理表信息中预进行信息删除的所述表结构信息；所述第二目标字段信息为所述第二存储管理表信息中与所述第三目标表结构信息关联的字段信息。
20、在一些实施例中，所述方法还包括：
21、对所述第二数据库执行信息搜索处理操作，同步查询第四目标字段信息、第四目标表结构信息以及目标存储数据，对所述目标存储数据执行数据处理相关操作；所述第四目标字段结构为所述第二存储管理表信息中被查询的所述字段信息；所述第四目标表结构信息为所述第一存储管理表信息中与所述第四目标字段信息关联的所述第四目标表结构信息。
22、在一些实施例中，所述对所述第二数据库执行信息搜索处理操作，同步查询第四目标字段信息、第四目标表结构信息以及目标存储数据，对所述目标存储数据执行数据处理相关操作这一步骤，具体包括：
23、对所述第二数据库执行信息搜索处理操作，获取信息筛选条件；
24、针对所述第一存储管理表、所述第二存储管理表和所述第二数据库中的各所述存储数据表，执行信息筛选操作，根据所述信息筛选条件，确定所述第四目标字段信息、所述第四目标表结构信息和所述目标存储数据；
25、对所述目标存储数据执行数据处理相关操作；所述数据处理相关操作至少包括数据修改操作和数据删除操作。
26、在一些实施例中，所述第一存储管理表信息包括多个实体表信息，所述第二存储管理表信息包括各所述实体表信息对应的字段信息，所述根据所述第一存储管理表信息和所述第二存储管理表信息，在第二数据库中同步构建多个存储数据表这一步骤，具体包括：
27、根据所述第一存储管理表信息中包含的各所述实体表信息和所述第二存储管理表信息中包含的各所述实体表信息对应的字段信息，确定各所述存储数据表的具体表结构信息；
28、根据各所述存储数据表的具体表结构信息，在所述第二数据库中构建各所述存储数据表。
29、另一方面，本申请实施例提出了一种海量数据存储处理系统，所述系统包括：
30、第一模块，用于获取待存储数据；
31、第二模块，用于获取第一数据库中存储的第一存储管理表信息和第二存储管理表信息；所述第一数据库为结构化数据库；
32、第三模块，用于根据本文档来自技高网...
【技术保护点】
1.一种海量数据存储处理方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的海量数据存储处理方法，其特征在于，在执行所述获取第一数据库中存储的第一存储管理表信息和第二存储管理表信息这一步骤之前，所述方法还包括步骤：
3.根据权利要求2所述的海量数据存储处理方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的海量数据存储处理方法，其特征在于，所述信息同步处理操作包括信息同步添加操作、信息同步修改操作、信息同步删除操作和信息同步停用操作，所述对所述第一存储管理表和所述第二存储管理表执行信息同步处理操作，同步更新所述第一存储管理表信息和所述第二存储管理表信息这一步骤，具体包括：
5.根据权利要求1所述的海量数据存储处理方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的海量数据存储处理方法，其特征在于，所述对所述第二数据库执行信息搜索处理操作，同步查询第四目标字段信息、第四目标表结构信息以及目标存储数据，对所述目标存储数据执行数据处理相关操作这一步骤，具体包括：
7.根据权利要求2所述
8.一种海量数据存储处理系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的海量数据存储处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的海量数据存储处理方法。
...【技术特征摘要】
1.一种海量数据存储处理方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的海量数据存储处理方法，其特征在于，在执行所述获取第一数据库中存储的第一存储管理表信息和第二存储管理表信息这一步骤之前，所述方法还包括步骤：
3.根据权利要求2所述的海量数据存储处理方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的海量数据存储处理方法，其特征在于，所述信息同步处理操作包括信息同步添加操作、信息同步修改操作、信息同步删除操作和信息同步停用操作，所述对所述第一存储管理表和所述第二存储管理表执行信息同步处理操作，同步更新所述第一存储管理表信息和所述第二存储管理表信息这一步骤，具体包括：
5.根据权利要求1所述的海量数据存储处理方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的海量数据存储处理方法，其特征在于，所述对所述第二数据库执行信息搜索处理操作，...
【专利技术属性】
技术研发人员：柯建生，戴振军，陈学斌，
申请(专利权)人：广州极点三维信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。