加速农业大规模时序数据查询的方法、装置、设备及介质制造方法及图纸

技术编号:40271908 阅读:28 留言:0更新日期:2024-02-02 22:58
本发明专利技术提供一种加速农业大规模时序数据查询的方法、装置、设备及介质,属于数据处理技术领域,所述方法步骤如下:对原始农业时序数据进行数据分片及物化分片,并在物化分片进行时间分桶;以数据更新作为事件驱动方式启动预计算,更新物化分片;将查询时间窗与数据分片、物化分片及时间分桶进行比对,确定完全落入查询时间窗的物化分片、时间分桶的数据作为第一数据,确定部分落入查询时间窗的时间分桶的第二数据及未落盘的第三数据,从数据分片查询第二数据后与第三数据聚合,再与第一数据合并后输出。本发明专利技术通过物化分片内进行时间分桶,提高了查询时预计算数据的占比,提高了数据查询效率,通过事件驱动方式维护物化数据与原始数据的一致性。

【技术实现步骤摘要】

本专利技术属于数据处理,具体涉及一种加速农业大规模时序数据查询的方法、装置、设备及介质


技术介绍

1、随着农业及互联网技术的发展,从农业生产到农产品加工、仓储、物流运输以及销售的各个环节均可通过农业互联网平台进行统筹管理。农业互联网平台可对接各作为农业参与主体的用户,进行农产生产过程管理、农产品加工过程管理、农产品运输过程管理、农产品交易管理、以及农产品溯源管理,在管理过程中会产生大量的数据,这些数据通常以时序进行存储,称为农业时序数据。

2、农业互联网平台为存储的农业时序数据进行保存的同时,还提供给各用户进行查询,以进一步进行数据分析,因此数据查询速度是关系到数据分析质量的关键因素。常用的数据分析前的查询加速方法主要有以下几种:一是缓存,通过将数据从慢存储介质缓存到快存储介质,例如内存中,可以在分析数据过程中获得更快的数据读取响应,从而实现加速效果。二是并行计算和分布式计算方式,将多个计算任务分解为多个子任务并行处理,重复利用计算资源,提高分析查询的速度和效率。三是数据分区和索引,检索查询时需要扫描和分析的数据量,从而达到加速的效果。...

【技术保护点】

1.一种加速农业大规模时序数据查询的方法,其特征在于,包括如下步骤:

2.如权利要求1所述的加速农业大规模时序数据查询的方法,其特征在于,步骤S1具体步骤如下:

3.如权利要求2所述的加速农业大规模时序数据查询的方法,其特征在于,分片参数包括分片的开始时间、结束时间、分片的最大时间间隔以及分片字段。

4.如权利要求2所述的加速农业大规模时序数据查询的方法,其特征在于,步骤S2具体步骤如下:

5.如权利要求4所述的加速农业大规模时序数据查询的方法,其特征在于,步骤S21中确定预计算的触发条件为数据分片存在新数据或达到设定的预计算设定周期。...

【技术特征摘要】

1.一种加速农业大规模时序数据查询的方法,其特征在于,包括如下步骤:

2.如权利要求1所述的加速农业大规模时序数据查询的方法,其特征在于,步骤s1具体步骤如下:

3.如权利要求2所述的加速农业大规模时序数据查询的方法,其特征在于,分片参数包括分片的开始时间、结束时间、分片的最大时间间隔以及分片字段。

4.如权利要求2所述的加速农业大规模时序数据查询的方法,其特征在于,步骤s2具体步骤如下:

5.如权利要求4所述的加速农业大规模时序数据查询的方...

【专利技术属性】
技术研发人员:张健张厚森
申请(专利权)人:浪潮山东农业互联网有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1