一种基于ARM的实时流处理和分析方法、设备及储存介质技术

本发明专利技术公开了一种基于ARM的实时流处理和分析方法，该方法包括：将来自数据源中的流数据发送至数据接收模块；数据接收模块对来自数据源中的流数据缓存并进行预处理；利用流处理操作库模块构件流处理程序，通过流处理程序对预处理后的流数据进行处理；利用流数据矩阵运算和图计算模块构建流数据分析任务，通过流数据分析任务对预处理后的流数据进行处理；利用流计算框架模块构件流计算功能，通过流计算功能对预处理后的数据进行处理；将经过预处理后的数据通过数据输出模块输出。本发明专利技术的有益效果是：该方法可以对流数据进行实时的处理和分析。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，具体的说涉及到一种基于arm的实时流处理和分析方法、设备及储存介质。

技术介绍

1、流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点，流计算作为一类针对流数据的实时计算模型，可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。流处理作为一种重要的大数据处理手段，其主要特点是其处理的数据是源源不断且实时到来的。但现有的流处理方法进行数据处理时只能进行一些简单的处理，而无法对数据进行实时的处理和分析。

技术实现思路

1、为了克服现有技术的不足，本专利技术提供一种基于arm的实时流处理和分析方法，该方法可以对数据进行实时的处理和分析。

2、本专利技术解决其技术问题所采用的技术方案是：一种基于arm的实时流处理和分析方法，该方法包括：

3、将来自数据源中的流数据发送至数据接收模块；

4、数据接收模块对来自数据源中的流数据缓存并进行预处理；<本文档来自技高网...

【技术保护点】

1.一种基于ARM的实时流处理和分析方法，其特征在于，该方法包括：

2.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流数据进行预处理后并转换为统一的数据结构。

3.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流处理程序至少定义有一个输入流和输出流。

4.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流数据分析任务至少定义有一个输入流和输出流。

5.根据权利要求1所述的一种基于ARM的实时流处理和分析方法，其特征在于，所述流处理操作库模块包括数据并行、任务...

【技术特征摘要】

1.一种基于arm的实时流处理和分析方法，其特征在于，该方法包括：

2.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流数据进行预处理后并转换为统一的数据结构。

3.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流处理程序至少定义有一个输入流和输出流。

4.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流数据分析任务至少定义有一个输入流和输出流。

5.根据权利要求1所述的一种基于arm的实时流处理和分析方法，其特征在于，所述流处理操作库模块包括数据并行、任...

【专利技术属性】
技术研发人员：黄贵龙，梁平，刘虎，何志平，贾兵，周南，
申请(专利权)人：天固信息安全系统深圳有限公司，
类型：发明
国别省市：