一种基于数据分析的大数据处理方法及系统技术方案

本申请提出了一种基于数据分析的大数据处理方法及系统，涉及大数据分析技术领域。一种基于数据分析的大数据处理方法包括：对大数据库中的海量信息进行抽取和收集，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器；对边缘计算服务器接收到的数据进行预处理，预处理包括数据辨析、数据抽取和数据清洗，清楚异常数据；将预处理后的数据发送至大数据集群中，对大数据集群中数据进行对比和分类，然后按照标准统一存储。能够通过多次的分类、汇总和聚合，实现了数据细化，大大提高了后期数据提取的效率。此外本申请还提出了一种基于数据分析的大数据处理系统，包括：数据采集模块、预处理模块及分析存储模块。预处理模块及分析存储模块。预处理模块及分析存储模块。

【技术实现步骤摘要】
一种基于数据分析的大数据处理方法及系统


[0001]本申请涉及大数据分析
，具体而言，涉及一种基于数据分析的大数据处理方法及系统。

技术介绍

[0002]随着信息技术的飞速发展,数据成为了最重要的生产资料和业务升级依据，对数据的分析与处理成为目前研究的重点,数据挖掘技术更是成为了重中之重，大数据技术是能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度，大数据时代的到来使得企业业务数据化水平得到了极大的提升，在这个由物联网，社交媒体，边缘计算以及越来越多的计算能力(如量子计算)支持的数字时代，数据是众多企业最有价值的资产之一。
[0003]数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，这一过程也是质量管理体系的支持过程，在实用中，数据分析可以帮助人们做出判断，以便采取适当的行动，数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为现实，并使得数据分析得以推广，数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据分析的大数据处理方法，其特征在于，包括：对大数据库中的海量信息进行抽取和收集，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器；对边缘计算服务器接收到的数据进行预处理，预处理包括数据辨析、数据抽取和数据清洗，清楚异常数据；将预处理后的数据发送至大数据集群中，对大数据集群中数据进行对比和分类，然后按照标准统一存储。2.如权利要求1所述的一种基于数据分析的大数据处理方法，其特征在于，所述对大数据库中的海量信息进行抽取和收集，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器包括：对大数据库中抽取和收集的结构化、半结构化、非结构化的数据进行智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理。3.如权利要求2所述的一种基于数据分析的大数据处理方法，其特征在于，还包括：对多维结构化大数据信息通过高速高带宽的存储局域网络进行大数据分析，并通过Kafka消息队列为快速搜索接口，均衡转发到边缘计算服务器。4.如权利要求1所述的一种基于数据分析的大数据处理方法，其特征在于，所述对边缘计算服务器接收到的数据进行预处理，预处理包括数据辨析、数据抽取和数据清洗，清楚异常数据包括：将多种结构和类型的数据转化为单一的和/或便于处理的构型，以达到快速分析处理的目的。5.如权利要求4所述的一种基于数据分析的大数据处理方法，其特征在于，还包括：将边缘计算服务器接收到的数据进行筛选，将过期数据、错误数据、重复数据筛选出来后删除。6...

【专利技术属性】
技术研发人员：张军，
申请(专利权)人：张军，
类型：发明
国别省市：