数据流查询方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:27975473 阅读:19 留言:0更新日期:2021-04-06 14:09
本申请涉及一种数据流查询方法、装置、计算机设备和存储介质。该方法包括:接收多个数据查询请求,每一数据查询请求中携带有查询划分码集合,查询划分码集合为数据流的属性键值集合;根据各数据查询请求中携带的查询划分码集合生成候选划分码集合;根据候选划分码集合获取全历史数据流的对应属性列数据,计算任意两个属性列数据间的相关性值,根据预设的相关性阈值得到不同属性列数据间的相关性结果;根据相关性结果对应合并查询划分码集合,得到联合划分码集合,并根据联合划分码集合对全历史数据流进行划分,得到数据流划分结果;将数据流划分结果分别发送给不同的处理节点进行处理,得到查询结果。采用本方法能够提高数据流查询准确性。

【技术实现步骤摘要】
数据流查询方法、装置、计算机设备和存储介质
本申请涉及数据查询
,特别是涉及一种数据流查询方法、装置、计算机设备和存储介质。
技术介绍
随着互联网技术的不断发展,互联网上的数据量在急剧增长,出现了数据查询技术,针对用户输入的查询请求,根据每个查询请求携带的划分码与数据属性值对同一数据源的数据进行划分,得到不同的数据处理任务,进而将不同的数据处理任务分发给不同的处理节点,分别得到查询结果。然而,目前的数据查询方式,仅针对数据查询窗口中的数据进行数据查询划分,查询窗口内的被查询数据不具有全面性和数据分布均匀性造成查询结果不准确。
技术实现思路
基于此,有必要针对上述技术问题,提供一种数据流查询方法、装置、计算机设备和存储介质。一种数据流查询方法,所述方法包括:接收多个数据查询请求,每一所述数据查询请求中携带有查询划分码集合,所述查询划分码集合为数据流的属性键值集合;根据各所述数据查询请求中携带的所述查询划分码集合生成候选划分码集合;根据所述候选划分码集合,获取全历史数据流的对应属性列本文档来自技高网...

【技术保护点】
1.一种数据流查询方法,其特征在于,所述方法包括:/n接收多个数据查询请求,每一所述数据查询请求中携带有查询划分码集合,所述查询划分码集合为数据流的属性键值集合;/n根据各所述数据查询请求中携带的所述查询划分码集合生成候选划分码集合;/n根据所述候选划分码集合,获取全历史数据流的对应属性列数据,计算任意两个属性列数据间的相关性值,根据预设的相关性阈值,得到不同属性列数据间的相关性结果;/n根据所述相关性结果,对应合并所述查询划分码集合,得到联合划分码集合,并根据所述联合划分码集合对所述全历史数据流进行划分,得到数据流划分结果;/n将所述数据流划分结果分别发送给不同的处理节点进行处理,得到查询结...

【技术特征摘要】
1.一种数据流查询方法,其特征在于,所述方法包括:
接收多个数据查询请求,每一所述数据查询请求中携带有查询划分码集合,所述查询划分码集合为数据流的属性键值集合;
根据各所述数据查询请求中携带的所述查询划分码集合生成候选划分码集合;
根据所述候选划分码集合,获取全历史数据流的对应属性列数据,计算任意两个属性列数据间的相关性值,根据预设的相关性阈值,得到不同属性列数据间的相关性结果;
根据所述相关性结果,对应合并所述查询划分码集合,得到联合划分码集合,并根据所述联合划分码集合对所述全历史数据流进行划分,得到数据流划分结果;
将所述数据流划分结果分别发送给不同的处理节点进行处理,得到查询结果。


2.根据权利要求1所述的方法,其特征在于,所述根据各所述数据查询请求中携带的所述查询划分码集合生成候选划分码集合,包括:
获取各所述数据查询请求中携带的查询划分码集合;
根据预设的析取范式原则以及各所述数据查询请求携带的查询划分码集合,生成候选划分码集合。


3.根据权利要求1所述的方法,其特征在于,所述根据所述候选划分码集合,获取全历史数据流的对应属性列数据,计算任意两个属性列数据间的相关性值,根据预设的相关性阈值,得到不同属性列数据间的相关性结果,包括:
根据所述候选划分码集合中包含的各划分码,在全历史数据流全部维度属性集合中,确定目标属性;
根据所述目标属性,获取所述目标属性列数据;
根据所述全历史数据流中的时间戳信息,计算任意两个目标属性列中各时间戳下属性数据间的相关性值;
若所述相关性值大于预设的相关性阈值,则两个目标属性列间的属性数据具有相关关系。


4.根据权利要求1所述的方法,其特征在于,所述根据所述相关性结果,对应合并所述查询划分码集合,得到联合划分码集合,并根据所述联合划分码集合对所述全历史数据流进行划分,得到数据流划分结果,包括:
若两个属性列数据间的相关性结果为具有正相关关系,则将两个所述属性列数据对应的不同数据查询请求划分依据的查询划分码集合进行合并,得到联合划分码集合;
根据所述联合划分码集合对全历史数据流进行数据流划分,得到数据流划分结果。


5.根据权利要求3所述的方法,其特征在于,所述若所述相关性值大于预设的相关性阈值,则两个目标属性列间的属性数据具有相关关系,包括:
根据预设的不平衡因子算法,计算所述任意两个目标属性列中各时间戳下属性数据间的平衡程度值;
若...

【专利技术属性】
技术研发人员:王春凯冯键
申请(专利权)人:中国再保险集团股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1