数据处理方法和装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供的数据处理方法和装置、电子设备及计算机可读存储介质，涉及数据处理技术领域。在本申请实施例中，首先，对待处理的至少一个请求报文进行分发处理和打包处理，得到至少一个请求消息。其次，将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果。通过上述方法，可以提高数据处理的效率。

Data processing methods and devices, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法和装置、电子设备及计算机可读存储介质
本申请涉及数据处理
，具体而言，涉及一种数据处理方法和装置、电子设备及计算机可读存储介质。
技术介绍
在现有的大数据处理场景中，主要分成两大类，一类是针对大批量数据的批处理方式，另一类是针对实时流处理，基于这样的需求，许多的大数据开源组件都提供了这两类场景中的一类或者两类解决方案，如HadoopMapReduce、Storm、Spark、Flink等，而Spark正是其中比较优秀的大数据开源计算引擎之一，它通过Sparkcore和Sparksql两个子组件满足了大数据批量计算的需求，通过SparkStreaming和SparkStructuredStreaming两个子组件满足了大数据流式实时计算的需求。但是正是由于其分布式计算的特性，在执行Spark应用时往往需要通过脚本的方式将程序提交到Spark集群去执行，集群执行程序的业务逻辑，最终把结果保存到持久化存储系统(如：Hbase、Elasticsearch等)或者内存存储系统(如：Redis等)中，然后需要此结果数据的第三方应用再从这些本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n对待处理的至少一个请求报文进行分发处理和打包处理，得到至少一个请求消息；/n将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
对待处理的至少一个请求报文进行分发处理和打包处理，得到至少一个请求消息；
将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果。


2.如权利要求1所述的数据处理方法，其特征在于，所述对待处理的至少一个请求报文进行分发处理和打包处理，得到至少一个请求消息的步骤，包括：
通过负载均衡进程对待处理的至少一个请求报文进行分发处理；
通过至少一个请求消息前置进程对分发处理后的各请求报文统一进行打包处理，得到至少一个请求消息。


3.如权利要求2所述的数据处理方法，其特征在于，所述通过至少一个请求消息前置进程对分发处理后的各请求报文统一进行打包处理，得到至少一个请求消息的步骤，包括：
对各请求报文进行JSON打包处理，得到属于JSON文件格式的至少一个请求消息。


4.如权利要求1所述的数据处理方法，其特征在于，所述将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果的步骤，包括：
通过包括至少一个redis频道的redis进程将各请求消息发送至对应的各Spark应用进程，并通过各Spark应用进程将所述各请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果。


5.如权利要求1所述的数据处理方法，其特征在于，所述Spark集群设置有SparkSession进程，所述将所述至少一个请求消息发送至Spark集群进行计算，得到各请求消息对应的各计算结果的步骤，包括：...

【专利技术属性】
技术研发人员：李蔚，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11