本发明专利技术提供一种数据存储方法、查询方法、装置、电子设备及介质，包括：在每产生操作数据时，将所述操作数据进行预处理后，存储到主表中；其中，所述预处理用于减少所述操作数据的数据量；在检测到所述主表的数据量超过预设数据量时，将主表中的多个操作数据各自所包括的描述信息进行映射处理；将所述映射处理后的操作数据转存到至少一个子表中，并清空所述主表，以进行新的操作数据的存储；其中，所述映射处理用于减少所述描述信息的数据量。旨在提供一种操作数据存储空间占用小、查询效果高且支持时间跨度较大的查询的方法。持时间跨度较大的查询的方法。持时间跨度较大的查询的方法。
【技术实现步骤摘要】
数据存储方法、查询方法、装置、电子设备及介质
[0001]本专利技术涉及大数据库
，特别是涉及一种数据存储方法、查询方法、装置、电子设备及介质。
技术介绍
[0002]当前主流管理系统大多使用数据库工具存放用户操作记录，便于跟踪用户操作日志。然而，随着系统的运行时间增加，用户操作数据持续增加，数据库所存储的数据相应地持续增加。
[0003]大量的操作数据占用了大量的存储空间，并且，在存储的操作数据达到千万级别时，对于数据的查询极易出现请求超时进而查询失败的情况。
[0004]目前的操作数据存储通常采用数据库分区或者数据表分表的方法。然而这样的方法并没有减少数据整体所占用的存储空间，对于时间跨度较大的查询，仍效率较低、成功率较低。
技术实现思路
[0005]有鉴于此，本专利技术旨在提出一种数据存储方法、查询方法、装置、电子设备及介质，以解决目前操作数据占用大量存储空间，且无法进行时间跨度较大的查询的问题。
[0006]为达到上述目的，本专利技术的技术方案是这样实现的：
[0007]一种数据存储方法，应用于服务端，所述方法包括：
[0008]在每产生操作数据时，将所述操作数据进行预处理后，存储到主表中；其中，所述预处理用于减少所述操作数据的数据量；
[0009]在检测到所述主表的数据量超过预设数据量时，将所述主表中的多个操作数据各自所包括的描述信息进行映射处理；
[0010]将所述映射处理后的操作数据转存到至少一个子表中，并清空所述主表，以进行新的操作数据的存储；
[0011]其中，所述映射处理用于减少所述描述信息的数据量。
[0012]进一步地，所述将所述操作数据进行预处理，包括：
[0013]基于预设的规范化标签库，将所述操作数据的描述信息存储为对应的规范化标签。
[0014]进一步地，所述将所述主表中的多个操作数据各自所包括的描述信息进行映射处理，包括：
[0015]依次将多个所述操作数据所包括的描述信息与预设的数据字典表进行比对，所述数据字典表用于存储所述操作数据的描述信息与对应键值之间的关联关系；
[0016]将所述描述信息映射为对应的键值。
[0017]进一步地，在所述将所述映射处理后的操作数据转存到至少一个子表中之后，所述方法还包括：
[0018]对转存记录表进行更新，所述转存记录表至少包括所述子表的名称和转存数据的时间范围。
[0019]相对于现有技术，本专利技术所提供的数据存储方法具有如下优势：
[0020]本专利技术通过在每产生操作数据时，将所述操作数据进行预处理后，存储到主表中；其中，所述预处理用于减少所述操作数据的数据量；在检测到所述主表的数据量超过预设数据量时，将主表中的多个操作数据各自所包括的描述信息进行映射处理；将所述映射处理后的操作数据转存到至少一个子表中，并清空所述主表，以进行新的操作数据的存储；其中，所述映射处理用于减少所述描述信息的数据量。
[0021]由于在存储操作数据时对操作数据进行了预处理，使得操作数据的数据量得到一定程度的减小。又由于在对操作数据进行转存时，对操作数据所包括的描述信息进行映射处理，进一步减小了操作数据的数据量，大大减少了操作数据所占用的存储空间，提高了对于历史操作数据查询的效率，实现了时间跨度较大的历史操作数据的查询。
[0022]本专利技术的另一目的在于提供一种数据查询方法，以解决目前操作数据占用大量存储空间，且无法进行时间跨度较大的查询的问题。
[0023]为达到上述目的，本专利技术的技术方案是这样实现的：
[0024]一种数据查询方法，应用于服务端，所述方法包括：
[0025]响应于客户端的查询请求，确定待查询的数据；
[0026]在主表和/或至少一个子表中，获取所述待查询的数据；
[0027]将所述待查询的数据封装后，返回至所述客户端；
[0028]其中，所述主表和所述至少一个子表是根据上述任一所述的方法得到的。
[0029]进一步地，在所述确定待查询的数据之前，所述方法还包括：
[0030]基于所述查询请求，生成编码，并将所述编码返回至所述客户端；
[0031]所述将所述待查询的数据封装后，返回至所述客户端，包括：
[0032]将所述待查询的数据和所述编码封装为一个封装数据，返回至所述客户端。
[0033]进一步地，所述在所述主表和/或至少一个子表中，获取所述待查询的数据之前，所述方法还包括：
[0034]确定所述待查询的数据的时间范围；
[0035]基于所述时间范围，确定所述待查询的数据所位于的目标表，所述目标表包括至少一个所述子表和/或所述主表。
[0036]进一步地，所述在所述主表和/或至少一个子表中，获取所述待查询的数据，包括：
[0037]调用多个线程对所述主表和/或至少一个所述子表同时进行查询，以获取所述待查询的数据；
[0038]其中，一个所述线程对应执行一个表的查询。
[0039]所述的数据查询方法与上述的数据存储方法相对于现有技术具有相同优势，在此不再赘述。
[0040]本专利技术的另一目的在于提供一种数据查询方法，以解决目前操作数据占用大量存储空间，且无法进行时间跨度较大的查询的问题。
[0041]为达到上述目的，本专利技术的技术方案是这样实现的：
[0042]一种数据查询方法，应用于客户端，所述方法包括：
[0043]生成查询请求，并将所述查询请求发送至服务端；
[0044]接收所述服务端返回的封装数据；
[0045]对所述封装数据进行解析后，渲染至查询页面。
[0046]进一步地，在所述接收所述服务端返回的封装数据之前，所述方法还包括：
[0047]接收所述服务端发送的编码，所述编码与所述查询请求关联；
[0048]所述对所述封装数据进行解析，包括：
[0049]基于所述封装数据中包含的编码，对所述封装数据进行验证；
[0050]在所述封装数据中包含的编码与所述服务端发送的编码一致的情况下，验证通过。
[0051]所述的数据查询方法与上述的数据存储方法相对于现有技术具有相同优势，在此不再赘述。
[0052]本专利技术的另一目的在于提供一种数据存储装置，以解决目前操作数据占用大量存储空间，且无法进行时间跨度较大的查询的问题。
[0053]为达到上述目的，本专利技术的技术方案是这样实现的：
[0054]一种数据存储装置，应用于服务端，所述装置包括：
[0055]预处理模块，用于在每产生操作数据时，将所述操作数据进行预处理后，存储到主表中；其中，所述预处理用于减少所述操作数据的数据量；
[0056]映射处理模块，用于在检测到所述主表的数据量超过预设数据量时，将所述主表中的多个操作数据各自所包括的描述信息进行映射处理；
[0057]转存模块，用于将所述映射处理后的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于服务端，所述方法包括：在每产生操作数据时，将所述操作数据进行预处理后，存储到主表中；其中，所述预处理用于减少所述操作数据的数据量；在检测到所述主表的数据量超过预设数据量时，将所述主表中的多个操作数据各自所包括的描述信息进行映射处理；将所述映射处理后的操作数据转存到至少一个子表中，并清空所述主表，以进行新的操作数据的存储；其中，所述映射处理用于减少所述描述信息的数据量。2.根据权利要求1所述的方法，其特征在于，所述将所述操作数据进行预处理，包括：基于预设的规范化标签库，将所述操作数据的描述信息存储为对应的规范化标签。3.根据权利要求1所述的方法，其特征在于，所述将所述主表中的多个操作数据各自所包括的描述信息进行映射处理，包括：依次将多个所述操作数据所包括的描述信息与预设的数据字典表进行比对，所述数据字典表用于存储所述操作数据的描述信息与对应键值之间的关联关系；将所述描述信息映射为对应的键值。4.根据权利要求1所述的方法，其特征在于，在所述将所述映射处理后的操作数据转存到至少一个子表中之后，所述方法还包括：对转存记录表进行更新，所述转存记录表至少包括所述子表的名称和转存数据的时间范围。5.一种数据查询方法，其特征在于，应用于服务端，所述方法包括：响应于客户端的查询请求，确定待查询的数据；在主表和/或至少一个子表中，获取所述待查询的数据；将所述待查询的数据封装后，返回至所述客户端；其中，所述主表和所述至少一个子表是根据权利要求1至4任一所述的方法得到的。6.根据权利要求5所述的方法，其特征在于，在所述确定待查询的数据之前，所述方法还包括：基于所述查询请求，生成编码，并将所述编码返回至所述客户端；所述将所述待查询的数据封装后，返回至所述客户端，包括：将所述待查询的数据和所述编码封装为一个封装数据，返回至所述客户端。7.根据权利要求5所述的方法，其特征在于，所述在所述主表和/或至少一个子表中，获取所述待查询的数据之前，所述方法还包括：确定所述待查询的数据的时间范围；基于所述时间范围，确定所述待查询的数据所位于的目标表，所述目标表包括至少一个所述子表和/或所述主表。8.根据权利要求5所述的方法，其特征在于，所述在所述主表和/或至少一个子表中，获取所述待查询的数据，包括：调用多个线程对所述主表和/或至少一个所述子表同时进行查询，以获取所述待查询的数据；其中，一个所述线程对应执行一个...
【专利技术属性】
技术研发人员：张建刚，谢鹏，郭坤，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。