大数据存储方法、装置、电子设备及介质制造方法及图纸

本发明专利技术提供了一种大数据存储方法、装置、电子设备及介质，包括：在预设时间，基于初始化的日志推数分表的表结构生成当前月份的日志推数分表；将当前月份的日志推数分表插入日志推数主表中；基于预先确定的日志推数主表的插入策略，将当前月份的待存储数据存储至当前月份的日志推数分表；基于日志推数分表和日志推数主表进行数据查询。本发明专利技术提高了数据存储以及日志查询的效率。及日志查询的效率。及日志查询的效率。

【技术实现步骤摘要】
大数据存储方法、装置、电子设备及介质


[0001]本专利技术涉及大数据处理
，尤其是涉及一种大数据存储方法、装置、电子设备及介质。

技术介绍

[0002]目前，会计档案系统平台会接入各类第三方电子会计档案数据，如记账凭证、原始单据、银行电子回单、增值税发票等信息。一般一家企业的不同类型的电子会计档案数据，在一整个会计年的数据量可能达到几百万甚至上千万条，档案推数日志表数据将越变越大。由于数据量的增加，导致在数据查询时效率不高，因此给日志查询排查带来了不少的困扰；同时，数据量的增加也会导致数据的插入变得异常卡顿。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种大数据存储方法、装置、电子设备及介质，以提高了数据存储以及日志查询的效率。
[0004]为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种大数据存储方法，包括：在预设时间，基于初始化的日志推数分表的表结构生成当前月份的日志推数分表；将当前月份的日志推数分表插入日志推数主表；基于预先确定的日志推数主表的插入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据存储方法，其特征在于，包括：在预设时间，基于初始化的日志推数分表的表结构生成当前月份的日志推数分表；将所述当前月份的日志推数分表插入日志推数主表；基于预先确定的日志推数主表的插入策略，将所述当前月份的待存储数据存储至所述当前月份的日志推数分表；基于所述日志推数分表和所述日志推数主表进行数据查询。2.根据权利要求1所述的方法，其特征在于，在预设时间，基于初始化的日志推数分表的表结构生成当前月份的日志推数分表之前，所述方法还包括：初始化日志推数主表和日志推数分表的表结构，并确定所述日志推数主表的插入策略。3.根据权利要求1所述的方法，其特征在于，基于初始化的日志推数分表的表结构生成当前月份的日志推数分表，包括：在预设时间，获取目标格式的当前年月时间，并基于所述当前年月时间创建当前月份的日志推数分表的表名；基于所述当前月份的日志推数分表的表名判断所述日志推数分表是否存在；如果所述日志推数分表不存在，则基于初始化的所述日志推数分表的表结构，生成所述当前月份的日志推数分表。4.根据权利要求3所述的方法，其特征在于，基于初始化的所述日志推数分表的表结构，生成所述当前月份的日志推数分表之后，所述方法还包括：查询所述日志推数主表中的所有日志推数分表，并按照时间顺序将所述日志推数分表进行排序和组装，得到分表字符串；基于所述分表字符串和预设的SQL语句，将所述日志推数分表添加到所述日志推...

【专利技术属性】
技术研发人员：马春荃，俞德明，陈常雨，柴晓男，
申请(专利权)人：北京合思信息技术有限公司，
类型：发明
国别省市：