数据处理方法及装置、存储介质及电子设备制造方法及图纸

本发明专利技术提供了一种数据处理方法及装置、存储介质及电子设备，该方法应用于消息中间件，包括：当检测到客户端向第一服务器上传目标函数时，确定部署策略；基于部署策略选择目标函数对应的第一执行容器；生成目标函数对应的数据流，并将数据流存储至分布式存储系统中；在第一执行容器中生成执行对象，并触发所有执行容器订阅该数据流；当检测到消费端向第二服务器发送数据流对应的消费指令时，基于部署策略，启动消费指令对应的第二执行容器，使得第二执行容器触发执行对象向消费端输出数据流。应用本发明专利技术提供的方法，通过消息中间件对进行简单的数据处理，根据不同的函数输出对应的数据，无需消费端消费所有的数据后再进行过滤等一系列操作。一系列操作。一系列操作。

【技术实现步骤摘要】
数据处理方法及装置、存储介质及电子设备


[0001]本专利技术涉及消息中间件
，特别是涉及一种数据处理方法及装置、存储介质及电子设备。

技术介绍

[0002]消息中间件在我们日常工作中使用得非常多。在日常应用中，消息中间件可以用于对大量数据的接收和发布，以缓解网络的压力。
[0003]现有对于常规的消息中间件的应用过程中，我们没有办法在服务端进行一些常用的数据处理操作，只能在生产前或者消费后对数据进行一些增强处理，例如：一个有1000万条数据的流，我们预期的是指希望获取其中某一部分数据，若符合条件的为10万条，消费端需要将整个数据流中的数据进行提取后在进行对应的数据计算才能获得最终所需的数据，而消费端在消费数据时，消费的其中990万条数据都是浪费网络流量。因此，应用现有技术中的方法，容易增加消费端的网络流量。

技术实现思路

[0004]有鉴于此，本专利技术提供一种数据处理方法，通过该方法，通过消息中间件对进行简单的数据处理，根据不同的函数输出对应的数据流，无需消费端消费所有的数据后再进行过滤等一系列操作。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于消息中间件，所述消息中间件包含服务器集群和容器集群，所述服务器集群中包含至少一个服务器，所述容器集群中包含至少一个执行容器，所述方法包括：当检测到客户端向所述服务器集群中的第一服务器上传目标函数时，确定所述消息中间件中所述容器集群对应的部署策略；基于所述部署策略，在所述容器集群中选择所述目标函数对应的第一执行容器；生成所述目标函数对应的数据流，并将所述数据流存储至预先设置的分布式存储系统中；在所述第一执行容器中生成所述数据流对应的执行对象，并触发所述容器集群中的所有执行容器订阅所述数据流；当检测到消费端向所述服务器集群中的第二服务器，发送所述数据流对应的消费指令时，基于所述部署策略，启动所述消费指令对应的第二执行容器，使得所述第二执行容器触发所述执行对象向所述消费端输出所述数据流。2.根据权利要求1所述的方法，其特征在于，所述确定所述消息中间件中所述容器集群对应的部署策略，包括：检测所述容器集群中各个所述执行容器在所述消息中间件的部署位置；当所述容器集群中的各个执行容器的部署位置为内置部署时，确定所述消息中间件中所述容器集群对应的部署策略为内置模式，所述内置部署表征所述容器集群中的各个执行容器一一对应部署于所述服务器集群的各个服务器内；当所述容器集群中的各个执行容器的部署位置为独立部署时，确定所述消息中间件中所述容器集群对应的部署策略为独立模式，所述独立模式表征所述容器集群中的各个执行容器均独立部署于所述服务器集群之外。3.根据权利要求2所述的方法，其特征在于，所述基于所述部署策略，在所述容器集群中选择所述目标函数对应的第一执行容器，包括：当所述消息中间件中所述容器集群对应的部署策略为内置模式时，选择所述第一服务器中内置的执行容器为所述目标函数对应的第一执行容器。4.根据权利要求2所述的方法，其特征在于，所述基于所述部署策略，在所述容器集群中选择所述目标函数对应的第一执行容器，包括：当所述消息中间件中所述容器集群对应的部署策略为独立模式时，选择所述容器集群中的任意一个执行容器为所述目标函数对应第一执行容器。5.根据权利要求2或3所述的方法，其特征在于，所述启动所述消费指令对应的第二执行容器，使得所述第二执行容器触发所述执行对象向所述消费端输出所述数据流...

【专利技术属性】
技术研发人员：喻俊，彭一，张志广，王景飞，李小红，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：