【技术实现步骤摘要】
本申请涉及大数据领域，特别涉及一种数据处理方法、数据处理装置、数据处理系统、计算设备集群以及存储介质。
技术介绍
1、在线业务系统的业务量通会在一定的时间周期内会出现流量波动，例如天级流量波动、月级流量波动和由于业务系统维护带来的流量波动等，具体的：
2、(1)天级流量波动：在一个自然天内存在流量的高峰，波峰会是平均流量的数倍。常见的有互联网的用户访问量，例如购物网站可能会在一天中出现集中的访问流量。
3、(2)月级流量波动：在一个自然月内，月底会出现流量突增。常见的有订单系统、结算系统、对账系统等，这些系统会在月底进行集中的数据处理，导致处理数据量剧增，是日常流量的几十倍甚至上百倍。
4、(3)业务系统维护：由于业务系统正常运维需要，需要进行数据回放或者数据补偿操作，从而导致流量的剧增。
5、然而，现有的数据处理技术处于两级分化，在对数据处理任务的处理模式上明显分为流式(streaming)和批量(batch)。批量计算模式延时大，处理能力强，而流式计算模式处理时效高，但是处理数据量低，...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于大数据集群的主节点，所述大数据集群包括所述主节点和一个或多个从节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述作业用于处理上游业务发送的数据，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述切换策略为第二策略，所述第二策略包括：
4.根据权利要求1所述的方法，其特征在于，所述切换策略为第三策略，所述第三策略包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述主节点根据所述作业请求完成自身的配置，包括：
6.根据权利要求1-...
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于大数据集群的主节点，所述大数据集群包括所述主节点和一个或多个从节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述作业用于处理上游业务发送的数据，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述切换策略为第二策略，所述第二策略包括：
4.根据权利要求1所述的方法，其特征在于，所述切换策略为第三策略，所述第三策略包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述主节点根据所述作业请求完成自身的配置，包括：
6.根据权利要求1-4任一项所述的方法，其特征在于，所述作业请求中还包括所述作业的应用程序，所述主节点根据所述作业请求完成自身配置，包括：
7.根据权利要求1-6任一项所述的方法，其特征在于，所述大数据集群中还包括共享状态存储模块，所述主节点将所述作业的执行模式由所述第一执行模式切换到所述第二执行模式，包括：
8.根据权利要求7所述的方法，其特征在于，所述作业用于处理上游业务发送的数据，所述状态数据包括：已处理的数据的偏移量和中间计算结果。
9.根据权利要求1-8任一项权利要求所述的方法，其特征在于，所述将所述作业的执行模式由所述第一执行模式切换到第二执行模式，还包括：
10.根据权利要求1-9任一项权利要求所述的方法，所述作业请求中还包括用户配置的流式处理模式对应的第一计算资源和批量处理模式对应的第二计算资源。
11.一种数据处理装置，其特征在于，所述装置包括：
12.根据权利要求11所述的装置，所述作业用于处理上游业务发送的数据，
13.根据权利要求11所述的装置，其特征在于，所述切换策略为第二策略，所述第二策略包括：
14.根据权利要求11所述的装置，其特征在于，所述切换策略为第三策略，所述第三策略包括：
15.根据权利要求11-14任一项所述的装置，所述配置模块，用于：
16.根据权利要求11-14任一项所述的装置，所述作业请求中还包括所述作业的应用程序，所述配置模块还用于：
17.根据权利要求11...
【专利技术属性】
技术研发人员：受春柏，徐礼锋，崔博，张帅，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。