一种流式处理方法及装置制造方法及图纸

本发明专利技术提供了一种流式处理方法及装置，其中，该方法包括：根据在图形化界面中接收到的配置流处理任务的配置指令配置初始有向无环图DAG图；通过匹配高阶算子的方式对所述初始DAG图进行优化处理，得到目标DAG图，其中，所述目标DAG图与所述初始DAG图的连接关系相同；通过所述目标DAG图对所述流处理任务的进度进行监控，可以解决相关技术中将流式计算中的SQL计算部分抽象成DAG，SQL的变化导致的DAG变化，用户无法感知，给调试和问题定位带来不便的问题，采用图形化的流处理配置，用户不需要编码和学习成本即可上手完成流处理任务的配置，在运维上可监控流处理过程中DAG图上各节点的状态及进度。

【技术实现步骤摘要】
一种流式处理方法及装置
本专利技术涉及数据处理领域，具体而言，涉及一种流式处理方法及装置。
技术介绍
随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。大数据流式计算的应用场景较多，按照数据产生方式、数据规模大小以及技术成熟度高低这3个不同维度,金融银行业应用、互联网应用以及物联网应用。目前，业界成熟的实时流式处理系统有很多。有成熟的商业产品，也有公司、组织或个人开源出来的产品，这些产品有的已经经过生产验证，有些只是原型产品，并且开放出来供调用的接口过多。这种产品现状导致，面对如此众多的、令人眼花缭乱的产品，身为一线的代码开发人员，在前期产品选型、试用，后期产品学习、使用等方面面临诸多困难和压力，增加了开发人员的学习曲线，并且调用过程过于复杂。因此，业界又面临着如何简化现有的流式处理产品的问题流式处理：业务系统实时操作生成事件(消息/调用)，经过一本文档来自技高网...

【技术保护点】
1.一种流式处理方法，其特征在于，包括：/n根据在图形化界面中接收到的配置流处理任务的配置指令配置初始有向无环图DAG图；/n通过匹配高阶算子的方式对所述初始DAG图进行优化处理，得到目标DAG图，其中，所述目标DAG图与所述初始DAG图的连接关系相同；/n通过所述目标DAG图对所述流处理任务的进度进行监控。/n

【技术特征摘要】
1.一种流式处理方法，其特征在于，包括：
根据在图形化界面中接收到的配置流处理任务的配置指令配置初始有向无环图DAG图；
通过匹配高阶算子的方式对所述初始DAG图进行优化处理，得到目标DAG图，其中，所述目标DAG图与所述初始DAG图的连接关系相同；
通过所述目标DAG图对所述流处理任务的进度进行监控。


2.根据权利要求1所述的方法，其特征在于，通过匹配高阶算子的方式对所述初始DAG图进行优化处理，得到目标DAG图包括：
将所述初始DAG图中的节点抽象为基本算子；
通过将所述图形化界面中获取到的所述基本算子上的扩展功能抽象为高阶算子的方式，对所述初始DAG图进行优化处理，得到所述目标DAG图；或者
通过所述图形化界面中获取到的高阶算子或自定义算子对所述初始DAG图进行优化处理，得到所述目标DAG图。


3.根据权利要求2所述的方法，其特征在于，通过将所述图形化界面中获取到的所述基本算子上的扩展功能抽象为高阶算子的方式，对所述初始DAG图进行优化处理，得到所述目标DAG图包括：
通过将所述基本算子上的扩展功能抽象为错误处理算子和/或统计算子对所述初始DAG图进行优化处理，得到所述目标DAG图；
通过将所述基本算子上的扩展功能抽象为日志处理算子、远程调用算子和/或信令算子对所述初始DAG图进行优化处理，得到所述目标DAG图，其中，所述信令算子用于控制所述流处理任务的起始和停止。


4.根据权利要求3所述的方法，其特征在于，在通过将所述基本算子上的扩展功能抽象为错误处理算子和/或统计算子对所述初始DAG图进行优化处理，得到所述目标DAG图之后，所述方法还包括：
对所述目标DAG图中的每个节点进行计算，得到计算结果；
根据所述错误处理算子对所述计算结果进行错误处理，得到处理结果；和/或
根据所述统计算子进行信息统计。


5.根据权利要求4所述的方法，其特征在于，在根据所述错误处理算子对所述...

【专利技术属性】
技术研发人员：郝凯，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33