【技术实现步骤摘要】
本专利技术涉及数据分析领域,尤其涉及一种大数据实时分析方法及系统。
技术介绍
1、大数据实时分析是指使用高速计算机处理大量数据,并以接近实时的方式提取有用信息和洞察力。这通常涉及收集、存储、管理和分析来自各种来源的大量数据,以便快速识别模式、趋势和关联,从而支持决策制定和业务流程的改进。
2、目前大数据实时分析主要是通过对采集的数据上传至服务器进行统一的分析和挖掘,这种方法在数据很大的情况下,无法及时挖掘数据的关键信息,从而降低了大数据实时分析的精准性。
技术实现思路
1、本专利技术提供一种大数据实时分析方法及系统,其主要目的在于提高对数据的实时分析效果。
2、为实现上述目的,本专利技术提供的一种大数据实时分析方法,包括:
3、采集应用场景的实时数据,对所述实时数据进行数据清洗,得到实时清洗数据,基于所述实时清洗数据,分析所述应用场景的应用需求;
4、基于所述应用场景和所述应用需求,构建所述实时清洗数据的流式处理框架,将所述实时清洗数据输入至
...【技术保护点】
1.一种大数据实时分析方法,其特征在于,所述方法包括:
2.如权利要求1所述的大数据实时分析方法,其特征在于,所述对所述实时数据进行数据清洗,得到实时清洗数据,包括:
3.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述应用场景和所述应用需求,构建所述实时清洗数据的流式处理框架,包括:
4.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述系统负载和所述性能指标,对所述实时清洗数据进行分区,得到分区实时清洗数据,包括:
5.如权利要求4所述的大数据实时分析方法,其特征在于,所述将所述实时清洗数据
...【技术特征摘要】
1.一种大数据实时分析方法,其特征在于,所述方法包括:
2.如权利要求1所述的大数据实时分析方法,其特征在于,所述对所述实时数据进行数据清洗,得到实时清洗数据,包括:
3.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述应用场景和所述应用需求,构建所述实时清洗数据的流式处理框架,包括:
4.如权利要求1所述的大数据实时分析方法,其特征在于,所述基于所述系统负载和所述性能指标,对所述实时清洗数据进行分区,得到分区实时清洗数据,包括:
5.如权利要求4所述的大数据实时分析方法,其特征在于,所述将所述实时清洗数据划分至所述数据分片中,得到数据划分流程,包括:
6.如权利要求1所述的大数据...
【专利技术属性】
技术研发人员:邹江威,张睿,
申请(专利权)人:众安标准数据技术深圳有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。