一种数据处理方法及装置制造方法及图纸
【技术实现步骤摘要】
一种数据处理方法及装置
本公开涉及计算机处理
，具体地，涉及一种数据处理方法及装置。
技术介绍
管道-过滤器(Pipe-And-Filter)模式主要用于数据流的处理分析。参见图1所示示意图，管道-过滤器模式可以包括多个过滤器处理单元，且多个过滤器处理单元之间通过管道连接。其中，管道用于进行数据传递，过滤器处理单元用于进行数据加工与处理。具体地，数据源中的数据经由最上游的过滤器处理单元流入链路中，经过逐级传递、处理，最终由最下游的过滤器处理单元完成数据处理后进行结果输出。通常，如果数据能够逐条在链路中传递，那么数据的流入速度与流出速度是相互匹配的，也就是说，整条链路的数据处理过程非常顺畅平滑，具备很好的响应性。但在实际应用中，对于数据分组、聚合计算、数据排序等需要对全量数据进行全局处理的场景，过滤器处理单元会对接收到的数据进行数据截断，并在确定接收到全量数据之后才进行后续处理。如此，可能会造成管道阻塞，影响数据处理的响应性，特别是在链路中存在多个需要全局计算的过滤器处理单元时，这一问题会变的尤为明显。
技术实现思路
本公开的目的是提供一种数据处理方法及装置，有助...
【技术保护点】
一种数据处理方法，其特征在于，包括：当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态；如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；所述当前过滤器处理单元清零所述当前数据状态。
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：当前过滤器处理单元判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；如果接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，则所述当前过滤器处理单元判断当前数据状态是否达到预设状态；如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；所述当前过滤器处理单元清零所述当前数据状态。2.根据权利要求1所述的方法，其特征在于，所述预设状态为预设数据量、预设分段时长、相邻两个数据之间的预设时间间隔中的至少一个。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：所述当前过滤器处理单元向下游链路发送所述控制信号以及所述当前阶段的数据处理结果。4.根据权利要求1或2所述的方法，其特征在于，如果接收到所述控制信号，且所述当前过滤器处理单元用于进行非全局处理，所述方法还包括：所述当前过滤器处理单元对接收到的数据进行数据处理，得到所述数据的处理结果；所述当前过滤器处理单元向下游链路发送所述控制信号以及所述数据的处理结果。5.根据权利要求1或2所述的方法，其特征在于，如果未接收到所述控制信号，且所述当前过滤器处理单元用于进行全局处理，所述方法还包括：所述当前过滤器处理单元判断当前数据状态是否达到预设状态；如果所述当前数据状态达到所述预设状态，所述当前过滤器处理单元对当前已接收的数据进行数据处理，得到当前阶段的数据处理结果，所述当前已接收的数据包括本阶段接收的数据以及本阶段之前累计接收的数据；所述当前过滤器处理单元生成所述控制信号，向下游链路发送所述控制信号以及所述当前阶段的数据处理结果，并清零所述当前数据状态。6.一种数据处理装置，其特征在于，所述数据处理装置属于当前过滤器处理单元，所述装置包括：第一判断模块，用于判断是否接收到控制信号，所述控制信号用于表示分阶段数据处理；第二判断模块，用于在所述当前过滤器处理单元用于进行全局处理，且所述第一判断模块判定接收到所述控制信号时...
【专利技术属性】
技术研发人员：于明光，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。