【技术实现步骤摘要】
数据筛选控制方法及装置、非易失性存储介质
本专利技术涉及数据处理领域,具体而言,涉及一种数据筛选控制方法及装置、非易失性存储介质。
技术介绍
数据筛选在数据处理过程中属于基础和重要的环节,在各种场景下,如电商系统的商品推荐,广告系统的精准广告等以不同的方式被广泛应用。随着生产能力和技术的发展,实时处理、准实时处理的概念被广泛提及和应用,在大数据领域通过数据聚合计算、机器学习等实时决策成为越来越重要的部分。在大数据的实时决策系统中,数据流是一个非常必要的条件,时序因素在流式数据也是至关重要的特性和需要充分考虑影响的部分。通过实时或历史数据的计算或者是基于机器学习的预测判定,能够基于数据本身的时间点来调整决策,但很难考虑数据序列相互作用。通常决策系统本身更专注于决策本身,而由于时间影响下数据流的随机性和离散性,决策结果很可能达不到业务系统的需要。针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据筛选控制方法及装置、非易失性存储介质,以至少解决现有技术中由 ...
【技术保护点】
1.一种数据筛选控制方法,其特征在于,包括:/n获取决策系统产生的第一时序数据;/n将所述第一时序数据暂存至时序队列,并采用所述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理,其中,所述第二时序数据包括所述第一时序数据;/n采用排序队列筛选出所述多个第二时序数据中的目标时序数据,其中,所述目标时序数据为不满足业务系统的业务需求的数据。/n
【技术特征摘要】
1.一种数据筛选控制方法,其特征在于,包括:
获取决策系统产生的第一时序数据;
将所述第一时序数据暂存至时序队列,并采用所述时序队列对历史时段内暂存的多个第二时序数据进行滚动更新处理,其中,所述第二时序数据包括所述第一时序数据;
采用排序队列筛选出所述多个第二时序数据中的目标时序数据,其中,所述目标时序数据为不满足业务系统的业务需求的数据。
2.根据权利要求1所述的方法,其特征在于,将所述第一时序数据暂存至时序队列,包括:
在接收到的第一时序数据时,检测所述时序队列是否存储已满;
若检测结果为否,则将所述第一时序数据暂存至所述时序队列的第一端;
若检测结果为是,则删除暂存于所述时序队列的第二端的第三时序数据,并对所述时序队列进行数据移动之后,再将所述第一时序数据暂存至所述时序队列的第一端。
3.根据权利要求2所述的方法,其特征在于,在将所述第一时序数据暂存至所述时序队列的第一端之后,所述方法还包括:
将所述第一时序数据插入至所述排序队列中的目标位置,其中,所述排序队列的队列长度值基于单位时间流量和时间窗口需求确定;
基于所述时序数据的预定阈值个数和预定阈值大小,确定所述排序队列的阈值位置。
4.根据权利要求3所述的方法,其特征在于,采用排序队列筛选出所述多个第二时序数据中的目标时序数据,包括:
比较所述目标位置和所述阈值位置,得到比较结果;
若所述比较结果指示所述目标位置大于所述阈值位置,则确定所述目标位置对应的第二时序数据为所述目标时序数据,若所述比较结果指示所述目标位置小于或等于所述阈值位置,则确定所述目标位置对应的第二时序数据并非所述目标时序数据。
5.根据权利...
【专利技术属性】
技术研发人员:丁亮,彭喜喜,
申请(专利权)人:加和北京信息科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。