时序数据处理方法、系统、存储介质和电子设备技术方案

本发明专利技术公开了一种时序数据处理方法、系统、存储介质和电子设备。其中，该方法包括：响应客户端请求，从时序数据库中获取待处理的时序数据，其中，时序数据为由数据源按照时间周期产生，并存储在时序数据库中；在消息队列中存储时序数据对应的分片结果，其中，分片结果用于使消息队列存储对应的日志文件；将从消息队列中读取到的分片结果写入至内存。本发明专利技术解决了数据存储的效率低的技术问题。决了数据存储的效率低的技术问题。决了数据存储的效率低的技术问题。

【技术实现步骤摘要】
时序数据处理方法、系统、存储介质和电子设备


[0001]本专利技术涉及分布式计算、数据处理领域，具体而言，涉及一种时序数据处理方法、系统、存储介质和电子设备。

技术介绍

[0002]目前，在对时序数据进行存储时，日志存储和数据存储紧耦合在同一个数据节点上，当需要对数据节点进行水平扩容或者提高数据的副本数时，会使得日志的副本数也会提高，从而导致数据存储的效率低的问题。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种时序数据处理方法、系统、存储介质和电子设备，以至少解决数据存储的效率低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种时序数据处理方法，包括：响应客户端请求，从时序数据库中获取待处理的时序数据，其中，时序数据为由数据源按照时间周期产生，并存储在时序数据库中；在消息队列中存储时序数据对应的分片结果，其中，分片结果用于使消息队列存储对应的日志文件；将从消息队列中读取到的分片结果写入至内存。
[0006]可选地，该方法包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据处理方法，其特征在于，包括：响应客户端请求，从时序数据库中获取待处理的时序数据，其中，所述时序数据为由数据源按照时间周期产生，并存储在所述时序数据库中；在消息队列中存储所述时序数据对应的分片结果，其中，所述分片结果用于使所述消息队列存储对应的日志文件；将从所述消息队列中读取到的所述分片结果写入至内存。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述时序数据进行分片处理，得到所述分片结果。3.根据权利要求2所述的方法，其特征在于，对所述时序数据进行分片处理，得到所述分片结果，包括：确定所述时序数据的时间戳所匹配到的第一分片信息，其中，所述第一分片信息用于表征第一时段与所述第一分片信息中的分片之间的映射关系，所述第一时段包括所述时序数据的时间戳；基于所述第一分片信息对所述时序数据进行分片处理，得到所述分片结果。4.根据权利要求3所述的方法，其特征在于，基于所述第一分片信息对所述时序数据进行分片处理，得到所述分片结果，包括：基于所述第一分片信息中的分片的数量和所述时序数据对应的键，确定所述时序数据对应的目标分片，得到所述分片结果。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于新增分片、所述新增分片对应的时间戳和所述第一分片信息生成第二分片信息，其中，所述第二分片信息用于表征第二时段与由所述第一分片信息中的分片和所述新增分片得到的分片集之间的映射关系，所述第二时段与所述新增分片对应的时间戳相关联。6.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于存储节点的数量确定所述第一分片信息；其中，将从所述消息队列中读取到的所述时序数据写入至内存，包括：基于所述存储节点将从所述消息队列中读取到的所述时序数据写入至内存。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：基于所述第一分片信息在所述消息队列中至少创建第一分片；在所述存储节点上创建和所述消息队列中所述第一分片的数量相同的第二分片，其中，所述第二分片和所述第一分片一一对应。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：向所述消息队列中增加与新增存储节点的数量对应的第三分片；基于所述第三分片的数量、所述新增存储节点对应的时间戳和所述消息队列中的所述第一分片的数量确定第三分片信息，其中，所...

【专利技术属性】
技术研发人员：胡建洪，杨成虎，张友东，伊翼，崔园，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：