数据查询方法、装置及设备、存储介质制造方法及图纸

技术编号:30709600 阅读:32 留言:0更新日期:2021-11-10 11:00
本发明专利技术提供一种数据查询方法、装置及设备、存储介质,可以满足应用对中间处理数据的需求。该方法包括:当查询到原始数据时,按照指定处理逻辑对原始数据进行处理得到第一处理数据,并按照第一数据结构将所有第一处理数据存储至数据库;第一数据结构包括第一关键字Key和第一值Value,第一Key包括逻辑标识、日期、数据维值,第一Value被定义为哈希Hash结构,Hash结构的哈希关键字HashKey依据满足第一Key的原始数据的时间区间确定,Hash结构的哈希值HashValue包括满足HashKey的原始数据所对应的第一处理数据;当接收到请求任务时,依据请求任务在第一数据结构中确定对应的目标Key和目标Value,并在目标Value中确定出对应的目标HashKey,在目标HashKey对应的目标HashValue中查询到目标第一处理数据。HashValue中查询到目标第一处理数据。HashValue中查询到目标第一处理数据。

【技术实现步骤摘要】
数据查询方法、装置及设备、存储介质


[0001]本专利技术涉及大数据
,尤其涉及的是一种数据查询方法、装置及设备、存储介质。

技术介绍

[0002]物联网领域拥有着繁多的业务类型以及海量增长的数据,从前端传感器采集数据,到后台对数据进行处理得到结果,整个过程耗时较长。而许多业务对结果的时效性有着较高的要求,如交通领域中,一些业务需要对某区域的套牌车辆进行监管,倘若对历史数据进行套牌车处理并上报,显然错过了最佳监管时机。
[0003]流式计算框架是一种重要的大数据处理手段,可以实时地获取数据,并对数据进行处理得到结果,可以避免错过上述的最佳监管时机。因此,可以将流式计算框架应用在物联网场景中,来应对海量流数据的处理。
[0004]在相关的方式中,虽然可以应对流数据的处理,但是只能提供数据处理的最终结果,最终结果之前的中间处理数据无法通过查询获取。然而在一些应用中,有可能会需要这些中间处理数据,所以上述方式无法满足这些应用的需求。

技术实现思路

[0005]有鉴于此,本专利技术提供一种数据查询方法、装置及设备、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法,其特征在于,包括:当在数据库中查询到至少一个原始数据时,按照指定处理逻辑对原始数据进行处理得到各原始数据对应的第一处理数据,并按照第一数据结构将所有第一处理数据存储至数据库;第一数据结构包括:第一关键字Key和第一值Value,第一Key至少包括指定处理逻辑的逻辑标识、原始数据对应的日期、原始数据中指定数据维度对应的数据维值,第一Value被定义为哈希Hash结构,Hash结构的哈希关键字HashKey依据满足第一Key的原始数据的时间区间确定,Hash结构的哈希值HashValue至少包括满足HashKey的原始数据所对应的第一处理数据;当接收到查询第一处理数据的请求任务时,依据请求任务在第一数据结构中确定对应的第一目标Key和第一目标Key对应的第一目标Value,并依据所述请求任务在第一目标Value中确定出对应的目标HashKey,依据所述请求任务在所述目标HashKey对应的目标HashValue中查询到对应的目标第一处理数据。2.如权利要求1所述的数据查询方法,其特征在于,该方法之前,进一步包括:当在设定时间窗口接收到外部输入的源数据时,对源数据进行过滤得到待存储的原始数据并按照第二数据结构进行存储;第二数据结构包括第二Key和第二Value,第二Key至少包括所述设定时间窗口、数据类型、数据维度、所述数据维度对应的数据维值;第二Value至少包括满足第二Key的原始数据;所述在数据库中查询到至少一个原始数据包括:当检测到查询事件时,确定所述查询事件对应的目标时间窗口;依据所述目标时间窗口、查询事件对应的数据类型和数据维度,在所述第二数据结构中确定第二目标Key,在所述第二目标Key对应的第二目标Value中查询到对应的原始数据。3.如权利要求1所述的数据查询方法,其特征在于,该方法之前,进一步包括:当在设定时间窗口接收到外部输入的源数据时,对源数据进行过滤得到待存储的原始数据并按照第三数据结构进行存储;第三数据结构包括第一Key-Value组合和第二Key-Value组合,第一Key-Value组合包括第三Key和第三Value,第三Key至少包括所述设定时间窗口、数据类型、数据维度,第三Value至少包括满足所述第三Key的数据维值;数据维值为与第三Key中数据维度对应的数据维值;第二Key-Value组合包括第四Key和第四Value,第四Key至少包括第三Key和第三Value,第四Value至少包括满足第四Key的原始数据;所述在数据库中查询到至少一个原始数据包括:当检测到查询事件时,确定所述查询事件对应的目标时间窗口;依据所述目标时间窗口、查询事件对应的数据类型、数据维度在所述第三数据结构中确定第三目标Key和所述第三目标Key对应的第三目标Value,并依据第三目标Key和第三目标Value在所述第三数据结构中确定第四目标Key,在所述第四目标Key对应的第四目标Value中查询到对应的原始数据。4.如权利要求2或3所述的数据查询方法,其特征在于,所述按照指定处理逻辑对原始数据进行处理得到各原始数据对应的第一处理数据,包括:将查询到的各原始数据进行分组,每一组中的原始数据中指定数据维度对应的数据维值相同,并按照指定处理逻辑对每组原始数据进行处理得到第一处理数据。5.如权利要求2或3所述的数据查询方法,其特征在于,所述日期是指查询到的原始数
据所处的时...

【专利技术属性】
技术研发人员:陈魏欣
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1