基于云计算的大数据采集方法及系统技术方案

本发明专利技术公开了一种基于云计算的大数据采集方法及系统，涉及云计算与大数据处理技术领域，包括进行云端数据源监控采集数据并进行数据预处理；分析预处理后的数据相似性，对聚类后的相似性数据进行融合；对融合后的数据进行异常检测与处理；存储数据并进行管理。本发明专利技术通过构建自适应算法动态调整数据采集的频率，提取数据特征进行融合后对数据进行异常处理，有效提升数据采集的速度和质量，能够更有效地应对数据量的快速增长和数据类型的多样性，保证了数据的高可用性和准确性，整合大量原始数据中的有价值信息，降低了后续处理的数据量，提高了数据处理效率，使得数据分析更准确、更高效，为决策支持提供了更为可靠的数据基础。

【技术实现步骤摘要】

本专利技术涉及云计算与大数据处理，特别是一种基于云计算的大数据采集方法及系统。

技术介绍

1、随着云计算和大数据技术的快速发展，数据采集和处理技术在众多领域得到了广泛应用，从商业智能分析到社会科学研究，再到工业互联网和智能制造，都展现了这些技术的强大能力，云计算提供了一种灵活、可扩展的计算资源共享模式，极大地促进了大数据技术的发展和应用，大数据采集是大数据技术链中的第一环，其质量和效率直接关系到后续数据分析和应用的成效，现有的大数据采集方法及系统大多依赖于传统的数据中心，这些方法在处理高速生成的海量数据时往往会遇到资源分配不灵活、数据处理效率低下以及数据安全性问题。

技术实现思路

1、鉴于上述现有的基于云计算的大数据采集方法中存在的问题，提出了本专利技术。

2、因此，本专利技术所要解决的问题在于现有的大数据采集方法及系统大多依赖于传统的数据中心，这些方法在处理高速生成的海量数据时往往会遇到资源分配不灵活、数据处理效率低下以及数据安全性问题。

3、为解决上述技术问题，本专利技术提供如下技本文档来自技高网...

【技术保护点】

1.基于云计算的大数据采集方法，其特征在于：包括，

2.如权利要求1所述的基于云计算的大数据采集方法，其特征在于：所述进行云端数据源监控采集数据包括如下步骤，

3.如权利要求2所述的基于云计算的大数据采集方法，其特征在于：所述进行数据预处理指对采集到的数据进行清洗，包括去除无关数据、纠正错误数据和处理缺失值；

4.如权利要求3所述的基于云计算的大数据采集方法，其特征在于：所述分析预处理后的数据相似性包括如下步骤：

5.如权利要求4所述的基于云计算的大数据采集方法，其特征在于：所述对聚类后的相似性数据进行融合包括如下步骤：

6.如...

【技术特征摘要】

1.基于云计算的大数据采集方法，其特征在于：包括，

2.如权利要求1所述的基于云计算的大数据采集方法，其特征在于：所述进行云端数据源监控采集数据包括如下步骤，

3.如权利要求2所述的基于云计算的大数据采集方法，其特征在于：所述进行数据预处理指对采集到的数据进行清洗，包括去除无关数据、纠正错误数据和处理缺失值；

4.如权利要求3所述的基于云计算的大数据采集方法，其特征在于：所述分析预处理后的数据相似性包括如下步骤：

5.如权利要求4所述的基于云计算的大数据采集方法，其特征在于：所述对聚类后的相似性数据进行融合包括如下步骤：

6.如权利要求5所述的基于云计算的大数据采集方法，其特征在于：所...

【专利技术属性】
技术研发人员：曾宇，曾培栩，王德亮，
申请(专利权)人：江西清能高科技术有限公司，
类型：发明
国别省市：