【技术实现步骤摘要】
本专利技术涉及互联网领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
1、随着互联网和移动设备的普及，海量的数据和信息正在以前所未有的速度和规模增长着，传统的数据处理方式是一对一的kafka集群消费模式，即一个消费实例对应一个下游处理任务，使得下游处理任务所需的数据全来自其对应的一个消费实例，导致该消费实例需要清洗的数据规模巨大的同时清洗流程也将及其复杂。所以这样的消费模型势必会带来巨大的资源使用成本的问题，也会影响数据处理效率。因此如何在减小资源使用成本的情况下完成大规模的数据处理任务是一个亟需解决的问题。
技术实现思路
1、本专利技术实施例所要解决的技术问题在于，提供一种数据处理方法、装置、设备及存储介质，实现了在仅使用少量资源的情况下，完成大规模的数据清洗与流量分发工作。
2、第一方面，本专利技术实施例提供了一种数据处理方法，包括：
3、调用消费服务器中的任一消费实例，接收任一消费实例对应的业务集群产生的业务数据；其中，任一消费实例对应的业务集群包括至少一个业务服务器；
4、通过任一消费实例对接收到的业务数据进行数据清洗，得到清洗后的业务数据；
5、将清洗后的业务数据发送至任一消费实例对应的任务处理设备，以使任务处理设备对来自任务处理设备对应的各个消费实例的清洗后的业务数据进行处理，得到消费数据，任务处理设备将消费数据发送至任务处理设备对应的客户端；其中，一个任务处理设备对应多个消费实例。
6、可见，
7、在一种可选的实施方式中，该方法还包括：
8、接收系统集群中的各个系统服务器广播的消费实例更新消息；其中，消费实例更新消息是各个系统服务器基于元数据管理中心发送的比对结果生成的，比对结果是元数据管理中心将元数据管理中心存储的关于消费集群中部署的各个消费实例的元数据，与需部署的关于消费实例的全量数据进行比对得到的；
9、基于消费实例更新消息，判断是否对任一消费服务器中的消费实例进行更新；
10、基于判断结果，对任一消费服务器中的消费实例进行管理。
11、在一种可选的实施方式中，基于消费实例更新消息，判断是否对任一消费服务器中的消费实例进行更新包括：
12、若消费实例更新消息指示创建新的消费实例，则判断任一消费服务器的优先级，优先级包括第一优先级或者第二优先级，第一优先级表征：相应消费服务器具备部署一类业务集群对应的消费实例的权限，第二优先级表征：相应消费服务器具备部署多类业务集群对应的消费实例的权限；
13、若任一消费服务器的优先级为第一优先级，且任一消费服务器未部署消费实例或者任一消费服务器部署的消费实例的实例类型与消费实例更新消息指示创建的消费实例的实例类型相同，则确定对任一消费服务器中的消费实例进行更新；
14、若任一消费服务器的优先级为第一优先级，且任一消费服务器部署的消费实例的实例类型与消费实例更新消息指示创建的消费实例的实例类型不相同，则确定不对任一消费服务器中的消费实例进行更新；
15、若任一消费服务器的优先级为第二优先级，则确定对任一消费服务器中的消费实例进行更新。
16、在一种可选的实施方式中，基于判断结果，对任一消费服务器中的消费实例进行管理包括：
17、若判断结果指示对任一消费服务器中的消费实例进行更新，则从元数据管理中心的令牌桶中获取令牌；
18、若成功获取到令牌，且令牌的令牌标识不为门限值，则确定对任一消费服务器中的消费实例进行更新；
19、若未成功获取到令牌，或者成功获取到令牌但令牌的令牌标识为门限值，则确定不对任一消费服务器中的消费实例进行更新。
20、在一种可选的实施方式中，基于消费实例更新消息，判断是否对任一消费服务器中的消费实例进行更新包括：
21、若判断结果指示创建新的消费实例，则从元数据管理中心的令牌桶中获取令牌；
22、若成功获取到令牌，且令牌的令牌标识不为门限值，则确定对任一消费服务器中的消费实例进行更新；
23、若未成功获取到令牌，或者成功获取到令牌但令牌的令牌标识为门限值，则确定不对任一消费服务器中的消费实例进行更新。
24、在一种可选的实施方式中，该方法还包括：
25、在成功创建新的消费实例之后，释放令牌，并向元数据管理中心发送通知消息，以使元数据管理中心在确定通知消息指示任一消费服务器成功创建新的消费实例之后，对令牌的令牌标识进行更新，元数据管理中心基于更新后的令牌标识对令牌桶中的令牌标识进行更新。
26、在一种可选的实施方式中，该方法还包括：
27、在成功创建新的消费实例之后，将新创建的消费实例的元数据发送至元数据管理中心，以使元数据管理中心对关于消费集群中部署的各个消费实例的元数据进行更新。
28、在一种可选的实施方式中，基于判断结果，对任一消费服务器中的消费实例进行管理包括：
29、若任一消费服务器的优先级为第二优先级，且判断结果指示对任一消费服务器中的消费实例进行更新，则从任一消费服务器部署的消费实例中确定目标领导消费实例，目标领导消费实例的实例类型与消费实例更新消息指示创建的消费实例的实例类型相同，且目标领导消费实例用于对待创建的同类型消费实例进行管理；
30、在成功创建新的消费实例之后，通过目标领导消费实例，检测任一消费服务器新创建的同类型消费实例的数量总和是否等于消费实例更新消息指示的同类型消费实例的数量；
31、若通过目标领导消费实例检测到任一消费服务器新创建的同类型消费实例的数量总和等于消费实例更新消息指示的同类型消费实例的数量，则停止创建同类型消费实例。
32、在一种可选的实施方式中，该方法还包括：
33、检测任一消费服务器中的任一消费实例的状态；
34、若检测到任一消费服务器中的任一消费实例处于异常状态，则中断消费实例；
35、创建消费本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述数据处理方法应用于消费集群中的任一消费服务器中，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述基于所述消费实例更新消息，判断是否对所述任一消费服务器中的消费实例进行更新，包括：
4.如权利要求3所述的方法，其特征在于，所述基于判断结果，对所述任一消费服务器中的消费实例进行管理，包括：
5.如权利要求2所述的方法，其特征在于，所述基于所述消费实例更新消息，判断是否对所述任一消费服务器中的消费实例进行更新，包括：
6.如权利要求4或5所述的方法，其特征在于，所述方法还包括：
7.如权利要求4所述的方法，其特征在于，所述方法还包括：
8.如权利要求3所述的方法，其特征在于，所述基于判断结果，对所述任一消费服务器中的消费实例进行管理，包括：
9.如权利要求1所述的方法，其特征在于，所述方法还包括：
10.一种数据处理装置，其特征在于，所述装置包括：
11.一种服
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法应用于消费集群中的任一消费服务器中，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述基于所述消费实例更新消息，判断是否对所述任一消费服务器中的消费实例进行更新，包括：
4.如权利要求3所述的方法，其特征在于，所述基于判断结果，对所述任一消费服务器中的消费实例进行管理，包括：
5.如权利要求2所述的方法，其特征在于，所述基于所述消费实例更新消息，判断是否对所述任一消费服务器中的消费实例进行更新，包括：
6.如权利要求4或5所述的方法，其特征在于，所述方法还包括：
7.如权利要求4所述的方法，其特...
【专利技术属性】
技术研发人员：滕康全，
申请(专利权)人：行吟信息科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。