流计算服务系统及其控制方法和装置制造方法及图纸

本申请提供一种流计算服务系统及其控制方法和装置，控制方法包括，流计算服务系统启动后，实时监听配置中心的元数据是否被更新；若配置中心的元数据被更新，用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据，使执行端基于更新后的元数据处理输入数据流；元数据包括对输入数据流的处理方式和输入数据流中有效数据的数据标签。本方案通过实时监听配置中心的元数据的更新情况并在发生更新后，用更新后的元数据替换执行端当前的元数据，使得用户在系统运行过程中更新的元数据可以在不重启流计算服务系统的前提下生效，有效的提高了流计算服务系统的数据处理效率。

【技术实现步骤摘要】
流计算服务系统及其控制方法和装置
本专利技术涉及流计算
，特别涉及一种流计算服务系统及其控制方法和装置。
技术介绍
流计算服务，是目前常用的一种数据处理系统的架构，采用流计算服务结构的数据处理系统可以称为流计算服务系统。流计算服务系统启动后，系统的控制端会将配置中心的用户预先配置的元数据下发至执行端，元数据包括指定的处理方式和有效数据(即需要处理的数据)的数据标签，执行端获得元数据后，就可以基于元数据的控制处理流计算服务系统的输入数据流，从而获得当前数据处理任务的处理结果，即流计算服务系统的输出数据流。现有的这种控制方法中，若用户在系统运行过程中更新了配置中心的元数据，则必须重启流计算服务系统才能使更新后的元数据生效，导致流计算服务系统的数据处理效率在发生元数据的更新时明显降低。
技术实现思路
基于上述现有技术的问题，本申请提供一种流计算服务系统及其控制方法和装置，以解决现有的流计算服务系统在发生元数据更新时数据处理效率较低的问题。本专利技术提供一种流计算服务系统的控制方法，应用于流计算服务系统的控制端本文档来自技高网...

【技术保护点】
1.一种流计算服务系统的控制方法，其特征在于，应用于流计算服务系统的控制端，所述控制方法包括：/n流计算服务系统启动后，实时监听配置中心的元数据是否被更新；/n若监听到所述配置中心的元数据被更新，用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，使所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流；其中，所述元数据包括对所述输入数据流的处理方式和所述输入数据流中有效数据的数据标签。/n

【技术特征摘要】
1.一种流计算服务系统的控制方法，其特征在于，应用于流计算服务系统的控制端，所述控制方法包括：
流计算服务系统启动后，实时监听配置中心的元数据是否被更新；
若监听到所述配置中心的元数据被更新，用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，使所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流；其中，所述元数据包括对所述输入数据流的处理方式和所述输入数据流中有效数据的数据标签。


2.根据权利要求1所述的控制方法，其特征在于，还包括：
若所述流计算服务系统的缓存中存储有未知数据标签，所述控制端将所述未知数据标签发送至业务终端，以触发所述业务终端更新所述配置中心的元数据；其中，所述配置中心的更新后的元数据包括，所述未知数据标签是否为无效数据标签。


3.根据权利要求1所述的控制方法，其特征在于，所述元数据包括多项参数；
其中，所述用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，包括：
检测出所述更新后的元数据包含的更新后的参数；
针对每一个所述执行端，用每一项所述更新后的参数替换所述执行端当前的元数据中对应的参数。


4.根据权利要求1所述的控制方法，其特征在于，所述实时监听配置中心的元数据是否被更新，包括：
启动对所述配置中心的监听线程，通过所述监听线程实时监听所述配置中心对所述元数据的写入事件是否被处罚；
其中，若监听到所述配置中心对所述元数据的写入事件被触发，则确定所述配置中心的元数据被更新。


5.根据权利要求1所述的控制方法，其特征在于，所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流的过程，包括：
检测所述输入数据流的每一项数据的数据标签是否为未知数据标签；其中，所述未知数据标签指代不属于所述更新后的元数据的数据标签；
每检测到一项对应的数据标签是未知数据标签的数据，从所述输入数据流提取出所述数据和所述数据的数据标签，并将所述...

【专利技术属性】
技术研发人员：刘彬，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11