一种数据处理方法、计算机设备、存储介质技术

本申请实施例公开了一种数据处理方法和装置。所述方法包括：获取待处理数据，根据待处理数据携带的处理流程信息确定处理节点，来对待处理数据进行处理，使得处理节点的流程定义不再需要预先部署在各个处理节点上或处理节点组成的处理系统上，打破了各个处理节点只能为预先部署的一种处理流程提供处理的限制，不同的待处理数据可以携带不同的处理流程信息，无须重新进行部署，就可以灵活地实时变更处理流程，各个处理节点实现了同时为多种处理流程进行处理，对于各个处理节点的扩容或缩量，不再仅对预先部署的一种处理流程有效，而可以对多种处理流程统一生效，提高资源的利用效率。

A data processing method, computer equipment and storage medium

【技术实现步骤摘要】
一种数据处理方法、计算机设备、存储介质
本申请涉及数据处理
，具体涉及一种数据处理方法、一种计算机设备、一种计算机可读存储介质。
技术介绍
流式计算是不同于批量计算的一种计算方式，流式计算更加强调计算数据流和低时延。在流式计算中，无法确定数据的到来时刻和到来顺序，不同于批量计算等待数据集成全部就绪后才启动计算处理，流式计算是一种常驻计算服务，一旦启动将一直处于等待事件触发的状态，一旦有小批量数据进入流式数据存储，处理节点立刻处理并迅速得到结果。目前的流式计算框架中，流式计算系统可以对待处理数据执行多种处理，需要有多种处理节点，每种处理节点可以由多个服务器组成，流式计算流程需要由多种处理节点来处理待处理数据。申请人经研究发现，对于流式计算流程来说，通常必须预先设计流式计算流程的路由定义(即计算逻辑)，根据流式计算流程的路由定义，来部署流式计算系统。在整个运行期间，流式计算的路由定义不可更改。这样的流式计算系统存在的缺点是流程的路由定义是预先部署确定的，一旦流程需要发生变化，就要重新部署整个系统，无法灵活变更。为一种流程部署的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待处理数据；/n根据所述待处理数据携带的处理流程信息，确定处理节点；/n将所述待处理数据发送到处理节点进行处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取待处理数据；
根据所述待处理数据携带的处理流程信息，确定处理节点；
将所述待处理数据发送到处理节点进行处理。


2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理数据携带的处理流程信息，确定处理节点包括：
根据所述处理流程信息包括的处理结果与处理节点的关系信息，查找当前处理节点产生的处理结果对应的下一个处理节点。


3.根据权利要求1所述的方法，其特征在于，所述处理节点包括第一处理节点，所述根据所述待处理数据携带的处理流程信息，确定处理节点包括：
根据所述处理流程信息，确定第一处理节点；
所述将所述待处理数据发送到处理节点进行处理包括：
将所述待处理数据发送给第一处理节点；
由所述第一处理节点对待处理数据进行处理，得到第一处理结果。


4.根据权利要求3所述的方法，其特征在于，所述处理流程信息包括第一处理结果与第二处理节点的关系信息，所述处理节点包括第二处理节点，所述根据所述待处理数据携带的处理流程信息，确定处理节点还包括：
根据所述处理流程信息和第一处理结果，确定第二处理节点；
所述将所述待处理数据发送到处理节点进行处理还包括：
将所述待处理数据发送给第二处理节点；
由所述第二处理节点对待处理数据进行处理，得到第二处理结果。


5.根据权利要求3或4所述的方法，其特征在于，所述处理流程信息包括处理结果与处理流程结束的关系信息，所述根据所述待处理数据携带的处理流程信息，确定处理节点还包括：
根据所述第一处理结果或第二处理结果，以及处理流程信息，确定所述处理流程结束。


6.根据权利要...

【专利技术属性】
技术研发人员：程峰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY