一种基于边缘计算的大数据分析方法及系统技术方案

本发明专利技术公开了一种基于边缘计算的大数据分析方法及系统，涉及大数据分析技术领域，包括边缘节点接收各数据源发送的数据后对数据进行预处理，根据边缘节点的负载进行自动资源调配；将数据任务分配到不同的边缘节点对数据进行分析并整合数据分析结果，预测热点数据趋势进行数据缓存；将缓存数据上传至中心服务器进行存储并实施访问控制。本发明专利技术通过自动资源调配机制确保了各节点的负载均衡，避免了资源浪费和节点过载问题，将数据任务分配到不同的边缘节点进行分析并通过协同机制整合分析结果，能形成全面且准确的全局数据视角，构建预测模型预测热点数据趋势进行数据缓存，提升了系统的响应速度和数据访问效率。

【技术实现步骤摘要】

本专利技术涉及大数据分析，特别是一种基于边缘计算的大数据分析方法及系统。

技术介绍

1、随着物联网（iot）、云计算和大数据技术的快速发展，全球数据生成量呈现爆炸性增长，传统的集中式数据处理架构将数据从各种边缘设备传输到中心服务器进行存储和分析，这种架构虽然在初期满足了数据处理需求，但随着数据量和实时性要求的不断增加，集中式架构暴露出了诸多问题，为了应对这些挑战，边缘计算逐渐兴起，成为现代数据处理的重要手段，边缘计算将计算资源和数据处理能力下沉到网络边缘，即数据生成的源头，能够显著降低数据传输延迟，减轻中心服务器的负担，并提升数据处理的实时性和安全性，尽管边缘计算在数据处理的实时性和安全性方面具备显著优势，但现有的相关技术在实际应用中仍存在诸多不足之处，传统的边缘计算架构缺乏有效的资源调度机制，导致边缘节点间的负载分布不均匀，边缘节点在处理数据时缺乏有效的数据整合机制，难以形成全局视角，系统响应速度和数据访问效率也难以满足实际应用需求。

技术实现思路

1、鉴于上述现有的基于边缘计算的大数据分析方法及系统中存在本文档来自技高网...

【技术保护点】

1.一种基于边缘计算的大数据分析方法，其特征在于：包括，

2.如权利要求1所述的基于边缘计算的大数据分析方法，其特征在于：所述边缘节点接收各数据源发送的数据后对数据进行预处理指边缘节点通过安全传输协议与数据源节点建立连接接收来自数据源节点的数据，在接收到数据后进行数据完整性校验，对数据进行标准化处理后基于IQR方法检测异常值，去除数据中的异常值，通过中位数对缺失值进行填充，应用小波变换方法进行数据降噪，将降噪后的数据形成大数据任务集。

3.如权利要求2所述的基于边缘计算的大数据分析方法，其特征在于：所述根据边缘节点的负载进行自动资源调配指将边缘节点与监控系统建立连...

【技术特征摘要】

1.一种基于边缘计算的大数据分析方法，其特征在于：包括，

2.如权利要求1所述的基于边缘计算的大数据分析方法，其特征在于：所述边缘节点接收各数据源发送的数据后对数据进行预处理指边缘节点通过安全传输协议与数据源节点建立连接接收来自数据源节点的数据，在接收到数据后进行数据完整性校验，对数据进行标准化处理后基于iqr方法检测异常值，去除数据中的异常值，通过中位数对缺失值进行填充，应用小波变换方法进行数据降噪，将降噪后的数据形成大数据任务集。

3.如权利要求2所述的基于边缘计算的大数据分析方法，其特征在于：所述根据边缘节点的负载进行自动资源调配指将边缘节点与监控系统建立连接，实时监控cpu和内存使用率，根据监控数据，计算边缘节点的综合负载值b(t)：

4.如权利要求3所述的基于边缘计算的大数据分析方法，其特征在于：所述将数据任务分配到不同的边缘节点对数据进行分析指将预处理后的大数据任务划分为多个子任务：

5.如权利要求4所述的基于边缘计算的大数据分析方法，其特征在于：所述整合数据分析结果指从各边缘节点收集子任务数据分析结果，对收集到的子任...

【专利技术属性】
技术研发人员：曾宇，曾培栩，王德亮，
申请(专利权)人：江西清能高科技术有限公司，
类型：发明
国别省市：