本发明专利技术公开了一种针对时序数据在多个执行阶段基于时间协调的处理方法及装置，该方法对数据定义协同时间窗口约束，让数据处在多个执行阶段，仍然能协调数据处理的平衡状态。保证下游处理不受上游处理过快或上游数据处理不受下游数据处理过慢的影响，并且上下游均保持数据一致性，同时在系统资源缺乏的情况下，让系统资源更加专注于延迟任务的运行，保持局部慢任务的资源稳定，保证时序数据并行处理效率的同时，大幅度提高系统指标质量。本发明专利技术适用于时序数据处理技术、流式处理技术、批式处理技术等领域，解决时序数据无法在各执行阶段进行协调处理又要保证系统超高并行度的问题。进行协调处理又要保证系统超高并行度的问题。进行协调处理又要保证系统超高并行度的问题。
【技术实现步骤摘要】
一种针对时序数据在多个执行阶段基于时间协调的处理方法及装置
[0001]本专利技术是涉及时序数据处理技术、流式处理技术、批式处理技术等领域，尤其涉及一种针对时序数据在多个执行阶段基于时间协调的处理方法及装置。
技术介绍
[0002]在以往的时序数据处理领域，对数据在不同阶段的处理往往是支持在有限的时间长度内保证最新的中间态数据可用，指标存储队列中存储时间过长的中间态数据只能舍弃，难以保证数据质量；由于上下游任务没有任何协调，很可能造成上游消费极快，下游处理缓慢的不稳定后果，对于流式处理及批式处理的运用极不友好。任务之间没有进行相互约束，很大程度上也对时序数据处理带来诸多不利因素。在反欺诈场景中，对指标的准确性要求都很高，从上游数据推入规则引擎进行计算到下游基于原始数据进行指标抽取，若指标抽取效率低下，往往会丢失部分指标，影响系统准确识别交易风险，直至做出有误决策。现有平台均没有做到在几乎不影响系统整体并行度的前提下，对时序数据基于时间协调上下游的处理，保证数据质量。
技术实现思路
[0003]本专利技术的目的在于针对现有技术的不足，提出了一种针对时序数据在多个执行阶段基于时间协调的处理方法，通过时序数据所携带的时间戳，协调数据在多个执行阶段保持一致性，并有效提升时序处理的数据处理的服务节点指标质量。
[0004]本专利技术的目的是通过以下技术方案来实现的：第一方面，本专利技术提供了一种针对时序数据在多个执行阶段基于时间协调的处理方法，时序数据携带有时间戳，基于时间戳协调时序数据在各个执行阶段处理过程中保持一致性；对于一个时序数据集合P＝{(t1,m1)，(t2,m2)，(t3,m3)，
…
，(tn,mn)}，其中tn代表第n个事件时间，m代表对应事件按时间排序的序列号；对该时序数据集合基于时间协调上下游处理，具体包括以下步骤：
[0005](1)根据数据特点对数据集合进行定义需协调的时间窗口大小T，该窗口会根据各阶段数据处理的快慢进行平移滑动，且时序数据集合P中每个元素所处的上游任务与下游任务受窗口大小T的约束；
[0006](2)在上游处理阶段，数据处理的服务节点会把当前需要处理的数据时间戳进行记录，记作上游任务的游标值，并存储在缓存节点；
[0007](3)在下游处理阶段，数据处理的服务节点会把当前正在处理的数据时间戳进行记录，记作下游任务的游标值，同样存储在缓存节点；
[0008](4)步骤(2)中的上游处理阶段需要校验步骤(3)中下游处理阶段的游标值，并结合协调窗口中定义的窗口大小T进行判断是否超出协调窗口的限制；若未超出限制，上游任务与下游任务继续并行执行，反之就需要上游任务进行等待，直至下游任务处理完成部分数据后推动窗口的移动，上游任务继续执行。
[0009]进一步地，步骤(1)中，数据特点包括流式数据、批式数据、增量数据和全量数据。
[0010]进一步地，所述步骤(1)中，上游任务与下游任务为同一任务的不同数据处理的服务节点，或者是不同任务的不同数据处理的服务节点。
[0011]进一步地，所述步骤(2)与步骤(3)中，上游处理阶段和下游处理阶段为两个阶段，或者是多个阶段之间的协调处理。
[0012]进一步地，时序数据协调处理适用于单节点，也适用于多节点。
[0013]第二方面，本专利技术还提供了一种针对时序数据在多个执行阶段基于时间协调的处理装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现所述的针对时序数据在多个执行阶段基于时间协调的处理方法的步骤。
[0014]第三方面，本专利技术还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的针对时序数据在多个执行阶段基于时间协调的处理方法的步骤。
[0015]本专利技术的有益效果：本专利技术提供了一种针对时序数据在多个执行阶段基于时间协调的处理方法，对数据定义协同时间窗口约束，让数据处在的多个执行阶段，仍然能协调数据处理的平衡状态。最为重要的是对整个系统执行阶段的协调，保证时序数据并行处理效率的同时，大幅度提高系统指标质量。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0017]图1为本专利技术一种针对时序数据在多个执行阶段基于时间协调的处理方法的原理图。
[0018]图2为本专利技术方法和传统方法实施效果对比图。
[0019]图3为本专利技术一种针对时序数据在多个执行阶段基于时间协调的处理装置的结构图。
具体实施方式
[0020]下面结合附图和具体实施例对本专利技术作进一步详细说明。
[0021]本专利技术提供了一种针对时序数据在多个执行阶段基于时间协调的处理方法，时序数据协调处理适用于单节点，也适用于多节点；时序数据携带有时间戳，基于时间戳协调时序数据在各个执行阶段处理过程中保持一致性；对于一个时序数据集合P＝{(t1,m1)，(t2,m2)，(t3,m3)，
…
，(tn,mn)}，其中tn代表第n个事件时间，m代表对应事件按时间排序的序列号；对该时序数据集合基于时间协调上下游处理，具体包括以下步骤：
[0022](1)根据数据特点对数据集合进行定义需协调的时间窗口大小T，该窗口会根据各阶段数据处理的快慢进行平移滑动，且时序数据集合P中每个元素所处的上游任务与下游任务受窗口大小T的约束；数据特点包括流式数据、批式数据、增量数据和全量数据。上游任
务与下游任务为同一任务的不同数据处理的服务节点，或者是不同任务的不同数据处理的服务节点。“上游”和“下游”可以是不同的服务节点内的执行阶段，也可以是同一系统中不同的执行阶段，比如数据push并计算结果到内存中(上游处理阶段)，以及extra查询数据结果(下游处理阶段)这两个过程。上游处理阶段和下游处理阶段为两个阶段，或者是多个阶段之间的协调处理，多个阶段同样需要受限于同一个协调窗口，多个阶段中执行最快的一个阶段同样需要在窗口范围内等待执行最慢的另一个阶段，所以两个阶段与多个阶段的协调方式是一致的。
[0023](2)在上游处理阶段，数据处理的服务节点会把当前需要处理的数据时间戳进行记录，记作上游任务的游标值，并存储在缓存节点；
[0024](3)在下游处理阶段，数据处理的服务节点会把当前正在处理的数据时间戳进行记录，记作下游任务的游标值，同样存储在缓存节点；
[0025](4)步骤(2)中的上游处理阶段需要校验步骤(3)中下游处理阶段的游标值，并结合协调窗口中定义的窗口大小T进行判断是否超出协调窗口的限制；若未超出限制，上游任务与下游任务继续并行执行，反之就需要上游任务进行等待，直至下游任务处理完成部分数据后推动窗口的移动，上游任务继续本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种针对时序数据在多个执行阶段基于时间协调的处理方法，其特征在于，时序数据携带有时间戳，基于时间戳协调时序数据在各个执行阶段处理过程中保持一致性；对于一个时序数据集合P＝{(t1,m1)，(t2,m2)，(t3,m3)，
…
，(tn,mn)}，其中tn代表第n个事件时间，m代表对应事件按时间排序的序列号；对该时序数据集合基于时间协调上下游处理，具体包括以下步骤：(1)根据数据特点对数据集合进行定义需协调的时间窗口大小T，该窗口会根据各阶段数据处理的快慢进行平移滑动，且时序数据集合P中每个元素所处的上游任务与下游任务受窗口大小T的约束；(2)在上游处理阶段，数据处理的服务节点会把当前需要处理的数据时间戳进行记录，记作上游任务的游标值，并存储在缓存节点；(3)在下游处理阶段，数据处理的服务节点会把当前正在处理的数据时间戳进行记录，记作下游任务的游标值，同样存储在缓存节点；(4)步骤(2)中的上游处理阶段需要校验步骤(3)中下游处理阶段的游标值，并结合协调窗口中定义的窗口大小T进行判断是否超出协调窗口的限制；若未超出限制，上游任务与下游任务继续并行执行，反之就需要上游任务进行等待，直至下游任务处理完成部分数据后推动窗口的移动，上游任务继续执行。2.根据权利要求1所述的一种针对时序数据在多个...
【专利技术属性】
技术研发人员：王新宇，王新根，宋泉河，王刚，周岚亭，
申请(专利权)人：浙江邦盛科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。