大数据实时分析方法及系统技术方案

技术编号:41350474 阅读:23 留言:0更新日期:2024-05-20 10:04
本发明专利技术涉及数据分析领域,揭露了一种大数据实时分析方法及系统,所述方法包括:对实时数据进行数据清洗,得到实时清洗数据,分析应用场景的应用需求;构建实时清洗数据的流式处理框架,将实时清洗数据输入至流式处理框架中,得到框架实时清洗数据,对实时清洗数据进行分区,得到分区实时清洗数据;对分区实时清洗数据进行并行处理,得到并行处理实时清洗数据,对并行处理实时清洗数据进行数据转化,得到转化实时清洗数据,将转化实时清洗数据存储至数据实时分析系统对应消息队列,得到待分析实时数据;分析待分析实时数据的数据实时状态,构建待分析实时数据的数据分析报告。本发明专利技术可以提高对数据的实时分析效果。

【技术实现步骤摘要】

本专利技术涉及数据分析领域,尤其涉及一种大数据实时分析方法及系统


技术介绍

1、大数据实时分析是指使用高速计算机处理大量数据,并以接近实时的方式提取有用信息和洞察力。这通常涉及收集、存储、管理和分析来自各种来源的大量数据,以便快速识别模式、趋势和关联,从而支持决策制定和业务流程的改进。

2、目前大数据实时分析主要是通过对采集的数据上传至服务器进行统一的分析和挖掘,这种方法在数据很大的情况下,无法及时挖掘数据的关键信息,从而降低了大数据实时分析的精准性。


技术实现思路

1、本专利技术提供一种大数据实时分析方法及系统,其主要目的在于提高对数据的实时分析效果。

2、为实现上述目的,本专利技术提供的一种大数据实时分析方法,包括:

3、采集应用场景的实时数据,对所述实时数据进行数据清洗,得到实时清洗数据,基于所述实时清洗数据,分析所述应用场景的应用需求;

4、基于所述应用场景和所述应用需求,构建所述实时清洗数据的流式处理框架,将所述实时清洗数据输入至所述流式处理框架中,本文档来自技高网...

【技术保护点】

1.一种大数据实时分析方法,其特征在于,所述方法包括:

2.如权利要求1所述的大数据实时分析方法,其特征在于,所述对所述实时数据进行数据清洗,得到实时清洗数据,包括:

3.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述应用场景和所述应用需求,构建所述实时清洗数据的流式处理框架,包括:

4.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述系统负载和所述性能指标,对所述实时清洗数据进行分区,得到分区实时清洗数据,包括:

5.如权利要求4所述的大数据实时分析方法,其特征在于,所述将所述实时清洗数据划分至所述数据分片中...

【技术特征摘要】

1.一种大数据实时分析方法,其特征在于,所述方法包括:

2.如权利要求1所述的大数据实时分析方法,其特征在于,所述对所述实时数据进行数据清洗,得到实时清洗数据,包括:

3.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述应用场景和所述应用需求,构建所述实时清洗数据的流式处理框架,包括:

4.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述系统负载和所述性能指标,对所述实时清洗数据进行分区,得到分区实时清洗数据,包括:

5.如权利要求4所述的大数据实时分析方法,其特征在于,所述将所述实时清洗数据划分至所述数据分片中,得到数据划分流程,包括:

6.如权利要求1所述的大数据...

【专利技术属性】
技术研发人员:邹江威张睿
申请(专利权)人:众安标准数据技术深圳有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1