一种实时数据的存储方法及系统技术方案

本发明专利技术提供一种实时数据的存储方法及系统，包括：接收预定协议格式的实时数据，所述实时数据包含数据域字段和时间戳字段；解析所述实时数据中各字段的数据类型；从所述实时数据中提取数据域字段的内容和时间戳字段的内容，所述数据域字段的内容用于表示接入的数据域，所述时间戳字段的内容用于表示实时数据的采集时间；根据所述数据域字段定义索引名称，根据所述时间戳字段定义索引的时间后缀，生成唯一性的索引；基于解析出的数据类型为所述实时数据添加所述索引；对添加索引后的实时数据进行存储。通过采用自动索引的技术，提高了数据接入的效率和索引吞吐量，从而能够大幅提升实时数据分析时对字符类型数据的查询性能，提升实时数据分析的效率。实时数据分析的效率。实时数据分析的效率。

【技术实现步骤摘要】
一种实时数据的存储方法及系统


[0001]本专利技术涉及大数据
，具体涉及一种实时数据的存储方法及系统。

技术介绍

[0002]实时大数据分析是指对规模巨大的数据进行分析，利用大数据技术高效的快速完成分析，达到近似实时的效果，更及时的反映数据的价值和意义。一般认为，对于实时数据分析来说，数据从产生到可以分析展示出来，理想的情况下延迟应控制在在秒级。当前，业界常用实时数据分析系统(如Superset、Kibana等)来解决数据分析结果展示的问题。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]现有技术未解决数据索引问题，导致了实时数据分析的效率较低，对于大型分布式数据库交互分析来说，查询响应一般在分钟级。

技术实现思路

[0005]本专利技术实施例提供一种实时数据的存储方法及系统，用以解决现有的实时数据分析的效率较低的问题。
[0006]为达到上述目的，一方面，本专利技术实施例提供一种实时数据的存储方法，包括：接收预定协议格式的实时数据，所述实时数据包含数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时数据的存储方法，其特征在于，包括：接收预定协议格式的实时数据，所述实时数据包含数据域字段和时间戳字段；解析所述实时数据中各字段的数据类型；从所述实时数据中提取数据域字段的内容和时间戳字段的内容，所述数据域字段的内容用于表示接入的数据域，所述时间戳字段的内容用于表示实时数据的采集时间；根据所述数据域字段定义索引名称，根据所述时间戳字段定义索引的时间后缀，生成唯一性的索引；基于解析出的数据类型为所述实时数据添加所述索引；对添加索引后的实时数据进行存储。2.如权利要求1所述的实时数据的存储方法，其特征在于，所述基于解析出的数据类型为所述实时数据添加索引，具体包括：选定所述实时数据中除所述数据域字段外的所有字符数据类型字段；为每个选定的字符数据类型字段分别添加所述唯一性的索引。3.如权利要求1所述的实时数据的存储方法，其特征在于，根据所述数据域字段定义索引名称，根据所述时间戳字段定义索引的时间后缀，生成唯一性的索引，具体包括：将所述数据域字段的内容和所述时间戳字段的内容进行拼接，将拼接结果作为所述唯一性的索引。4.如权利要求1所述的实时数据的存储方法，其特征在于，所述预定协议格式的实时数据是指JSON格式数据；在接收符合预定协议格式的实时数据之前，还包括：确定所述实时数据的采集时间、以及接入的数据域；将所述采集时间添加到所述时间戳字段中，以及将接入的数据域添加到所述数据域字段中。5.如权利要求2所述的实时数据的存储方法，其特征在于，所述对添加索引后的实时数据进行存储之前，还包括：根据实时数据流量和预定的索引保存时限确定实时数据总量；根据预定的分片存储容量和所述实时数据总量确定分片数量并设置相应数量的分片，所述分片用于存储添加所述索引后的实时数据。...

【专利技术属性】
技术研发人员：刘楠，
申请(专利权)人：微梦创科网络科技中国有限公司，
类型：发明
国别省市：