一种数据库预降采样方法、装置、电子设备和存储介质制造方法及图纸

技术编号:45747141 阅读:18 留言:0更新日期:2025-07-08 21:38
本申请涉及数据处理技术领域,尤其涉及一种数据库预降采样方法、装置、电子设备和存储介质,可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。其中,方法包括:将时序数据写入存储节点的各存储分片后,获取预设的多个预降采样任务,每个预降采样任务用于对时序数据执行相应的预降采样处理;将多个预降采样任务中与同一存储分片关联的多个分片任务进行合并,获得各合并任务;针对每个合并任务,指示计算节点从该合并任务关联的存储分片中,拉取写入的目标数据,并按照该合并任务,对目标数据执行相应的预降采样处理,将获得的预降采样数据写入存储节点中。本申请可以节省存储节点的内存,提高了时序数据库集群的可用性。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种数据库预降采样方法、装置、电子设备和存储介质


技术介绍

1、近年来,时间序列数据库(简称时序数据库)的应用越来越广泛。时序数据库用于存储和处理带时间标签的数据,该带时间标签的数据随时间发生变化,也称为时间序列数据(简称时序数据)。

2、目前,时序数据库中存储的数据量较大,使得数据查询速度较慢。为了提高数据查询速度,在向时序数据库写入时序数据时,可以对写入的时序数据按照设定规则进行预降采样,并存储预降采样后的数据。预降采样是一种预计算的方法,可以将写入的数据降低精度后进行存储;例如,写入的时序数据为一天内每小时采集的数据,假设预降采样的设定规则为每一小时计算一次平均值,则经过预降采样后,获得24个平均值,即降低了数据精度。这样,在数据查询时,可以按查询条件中指定的降采样精度查询预降采样后的数据,以减少查询需要计算的数据量,从而提高数据查询速度。

3、相关技术中,针对包含存储节点的时序数据库集群,将时序数据写入存储节点后,由存储节点对写入的时序数据执行预降采样,该存储节点用于存储以及查询数据,由于预降采本文档来自技高网...

【技术保护点】

1.一种数据库预降采样方法,其特征在于,应用于时序数据库集群中的调度节点,所述时序数据库集群还包括至少一个存储节点和至少一个计算节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多个预降采样任务各自对应的时间采样窗口相同;

3.根据权利要求2所述的方法,其特征在于,当N为大于1的整数时,在获取到最新的一个时间采样窗口内的采样数据之后,还包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,在按照所述至少一个合并任务,分别对所述目标数据执行相应的预降采样处理的过程中,还包括:

5.根据权利要求4所述的方法,其特征在于,...

【技术特征摘要】

1.一种数据库预降采样方法,其特征在于,应用于时序数据库集群中的调度节点,所述时序数据库集群还包括至少一个存储节点和至少一个计算节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述多个预降采样任务各自对应的时间采样窗口相同;

3.根据权利要求2所述的方法,其特征在于,当n为大于1的整数时,在获取到最新的一个时间采样窗口内的采样数据之后,还包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,在按照所述至少一个合并任务,分别对所述目标数据执行相应的预降采样处理的过程中,还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,在将所述任一预降采样任务的最新的执行状态发送给相应的查询端之后,还包括:

7.根据权利要求4任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述若确定执行所述一个新的分片任务所用的内存,不大于所述目标合并任务所在的计算节点的剩余内存,则将所述一个新的分片任务划分至所述目标合并任务,包括:

10.一种数据库预降采样方法,其特征在于,应用于时序数据库集...

【专利技术属性】
技术研发人员:李兆龙
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1