【技术实现步骤摘要】
一种流数据处理方法、装置及设备
[0001]本专利技术实施例涉及数据处理
，尤其涉及一种流数据处理方法、装置及设备。
技术介绍
[0002]在大数据时代，流数据蕴含着巨大的商业价值和社会价值，如何从大规模的流数据中挖掘出有价值的信息，是企业和组织机构数字化转型面临的主要问题。为了充分挖掘大数据的价值，数据处理技术主要经历了离线批处理、准实时增量处理和实时流式处理这三个阶段。其中实时流式数据处理，是在移动互联网和物联网时代兴起的一种新的数据密集型应用，即数据以大量、快速、时变的流形式持续到达；而实时流处理技术，就是为了低时延地处理这一类流式数据，以达到实时监测数据变化情况，快速响应特定事件等目的。
[0003]在现阶段对于流数据进行处理的过程中，通常只使用一种时间窗口来对流数据中特定事件的响应情况进行检测，但是，如果仅使用滚动时间窗口，当事件A和事件B处于两个连续的窗口中时，则无法准确判断事件B是否超时；如果仅使用滑动时间窗口，则会出现重复检测的情况，容易造成检测结果不准确或无法实时进行检测的问题。
专利...
【技术保护点】
【技术特征摘要】
1.一种流数据处理方法，其特征在于，所述流数据处理方法包括：抓取实时流数据；利用滚动时间窗口从所述实时流数据中提取目标流数据，其中，所述滚动时间窗口为相邻的两个时间窗口是连续且无重叠的时间窗口，所述目标流数据为所述实时流数据中依照事件发生序列所抓取的至少两个间隔时间最短的顺序事件；基于滑动时间窗口判断所述目标流数据中的顺序事件的事件发生序列是否存在异常，其中，所述滑动时间窗口为相邻的两个时间窗口之间存在重叠的时间窗口，所述滑动时间窗口的窗口长度大于所述滑动时间窗口的滑动长度。2.根据权利要求1所述的流数据处理方法，其特征在于，所述利用滚动时间窗口从所述实时流数据中提取目标流数据包括：提取每一个所述滚动时间窗口中出现时间最大的第一事件；提取每一个所述滚动时间窗口中距离所述第一事件发生时间最短的第二事件，其中，所述第一事件先于所述第二事件发生，所述第一事件和所述第二事件为所述目标流数据。3.根据权利要求2所述的流数据处理方法，其特征在于，所述流数据处理方法还包括：若在一个所述滚动时间窗口之内不存在所述第二事件，则确定所述第二事件的发生出现异常，执行预警提示动作。4.根据权利要求2所述的流数据处理方法，其特征在于，所述基于滑动时间窗口判断所述目标流数据中的顺序事件的事件发生序列是否存在异常包括：基于所述滑动时间窗口确定所述目标流数据的发生时间落入所述滑动时间窗口的位置，得到位置信息；基于所述位置信息确定所述目标流数据中的顺序事件的事件发生序列是否存在异常。5.根据权利要求4所述的流数据处理方法，其特征在于，所述基于所述位置信息确定所述目标流数据中的顺序事件的事件发生序列是否存在异常包括：若所述第一事件落入第一滑动时间窗口内，所述第二事件落入第一滑动时间窗口与第二滑动时间窗口的重叠位置处，则计算所述第一事件与所述第二事件的第一间隔时长，其中，所述第一滑动时间窗口先于所述第二滑动时间窗口；将所述第一间隔时长与预设间隔时长进行对比，确定所述第一事件与所述第二事件的事件发生序列是否存在异常。6.根据权利要求4所述的流数据处理方法，其特征在于，所述基于所述位置信息确定所述目标流数据中的顺序事件的事件发生序列是否存在异常包括：若所述第一事件落入第一滑动时间窗口与第二滑动时间窗口的重叠位置处，所述第二事件落入第...
【专利技术属性】
技术研发人员：邱耿峰，陈青山，崔庆文，郑晓华，许国良，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。