【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种物联网数采边缘聚合方法。
技术介绍
1、随着物联网(iot)的发展，越来越多的设备被连接到网络，这些设备频繁地生成大量数据，从简单的温度传感器到复杂的机器视觉设备，对这些数据进行高效、实时的处理和分析变得至关重要；高频率的数据采集，尤其是毫秒级的采集周期，会生成大量数据，直接将这些数据上传到中央平台不仅会消耗大量的带宽，还会增加中央平台的计算负担；缘计算为数据提供了在产生地或接近产生地进行处理的能力，这大大减少了必须传输到中央数据中心的数据量，这种计算方法也为实时分析和快速响应提供了可能。
2、对于物联网数据聚合的方法有很多，姜勇等人提出的申请号：“cn202110880355.4”，专利技术名称：“一种物联网数据聚合、分析方法”，主要包括：制定特征规则，确定特征值；收集物联网设备行为数据；制定分类规则；提取特征值，进行分类；将分类好的特征值发送到kafka中；将特征值分类后通过flink进行数据解析、聚合处理；通过flink读取hbase系统中的实时动态数据，进行物联网设备状态分析，判断设备实时状态，预测故障，并预警通知并推送至显示器实时展示。该专利技术进行数据分析、清洗，提高了对数据实时查询和深度分析的效率；把不同的类型的数据进行统一规范化的收集，并通过不同分组对数据进行定制化隔离，做到数据处理的隔离性和峰值数据的承载性；可以用于设备预警、性能分析、故障预测多样化服务；解决在线水平扩展问题以及高并发问题。
3、但上述技术至少存在如下技术问题：聚合不够准确效率过低，以
技术实现思路
1、本申请实施例通过提供一种物联网数采边缘聚合方法，解决了现有技术中聚合不够准确效率过低，以及上传自适应性较低的技术问题，实现了高效准确的实现边缘聚合以及自适应上传数据的技术效果。
2、本申请提供了一种物联网数采边缘聚合方法，具体包括以下技术方案：
3、一种物联网数采边缘聚合方法，包括以下步骤：
4、s1. 对物联网设备数据进行采集，并对采集到的设备原始数据进行初步聚合，得到初步聚合数据；
5、s2. 基于初步聚合后的数据进行进一步聚合，得到进一步聚合后的数据；
6、s3. 基于进一步聚合后的数据，使用差异识别器来确定需要上传的数据部分；
7、s4. 基于需要上传的数据部分结合边缘网关上传历史数据进行模型训练，得到自动调整的边缘数据聚合和上传策略，使用优化后的策略进行数据聚合调整。
8、优选的，所述步骤s1，具体包括：
9、安装和配置边缘网关，并对物联网设备数据进行采集，基于采集到的物联网设备原始数据进行初步聚合，得到初步聚合数据。
10、优选的，在所述步骤s1中，还包括：
11、在对采集到的物联网设备原始数据进行初步的数据聚合时，使用加权移动平均进行数据平滑；引入修正矩阵，进行修正，得到初步聚合数据。
12、优选的，所述步骤s2，具体包括：
13、在对初步聚合后的数据进行进一步聚合时，对每个设备的数据进行瞬时变化的评估；对数据进行平滑处理，同时利用加权聚合和去除空间冗余来权衡数据的完整性与压缩率。
14、优选的，所述步骤s3，具体包括：
15、在使用差异识别器来进行上传确定时，利用矩阵运算的高维时间序列模型结合高次多项式模型进行数据变化的识别；通过高次多项式模型，得到对未来数据变化的估计，并利用正则化项进行正则化。
16、优选的，在所述步骤s3中，还包括：
17、在使用差异识别器来进行上传确定时，使用基于熵编码技术的高维向量压缩算法，进行压缩。
18、优选的，所述步骤s4，具体包括：
19、在进行模型训练过程中，使用正则化技术减少模型复杂度；使用自适应学习率和动量优化。
20、优选的，在所述步骤s4中，还包括：
21、经过模型训练，得到针对物联网数采边缘聚合优化的模型。
22、有益效果：
23、本申请实施例中提供的多个技术方案，至少具有如下技术效果或优点：
24、1、本申请使用加权移动平均方法，能有效地平滑数据并去除数据中的冗余，这样可以显著减少传输和存储所需的资源，并加速后续的数据处理速度，通过引入修正矩阵f，能够有效地纠正数据中的时间延迟问题，确保即便在数据传输或处理中出现延迟，最终得到的数据仍然能够反映真实的物理现象，通过有效地聚合数据、识别关键数据点并修正时间延迟，显著减少了需要传输和存储的数据量，并提高了整体系统的响应速度和效率。
25、2、本申请引入环境因素的考虑，增强了数据分析的实时性和准确性，基于数据变化频率和其在关键环境因子下的变化，给予数据动态权重，这使得数据聚合更具有针对性，同时确保关键数据得到更多的关注，通过相关性分析，此方法能够有效识别和去除冗余数据，进一步优化数据存储和传输；通过平滑处理和权重评估，能够减少噪声和误差，提高数据质量，为后续的数据应用提供更准确的输入。
26、3、本申请结合高维时间序列建模和高次多项式趋势分析能够精确地识别瞬时数据变化，从而实现对数据的实时监控和识别，经过高次多项式的数据分析和基于熵编码技术的压缩算法，仅选择那些发生显著变化的数据进行上传，从而大大减少了需要上传到平台的数据量，实现了物联网数采边缘聚合中高效的数据选择性上传。
27、4、本申请采用动量和自适应学习率优化，在模型训练过程中更快速地适应数据的变化，提高在线学习的效率和模型的收敛速度，模型预测的upload score可以明确哪些数据字段更为关键，从而优化数据上传的优先级，确保重要数据的及时上传，根据数据模式和趋势动态调整数据聚合策略，以确保仅上传关键数据，降低了数据传输的冗余性。
28、5、本申请的技术方案能够有效解决聚合不够准确效率过低，以及上传自适应性较低的技术问题，通过使用加权移动平均方法，能有效地平滑数据并去除数据中的冗余，这样可以显著减少传输和存储所需的资源，并加速后续的数据处理速度，通过引入修正矩阵f，能够有效地纠正数据中的时间延迟问题，确保即便在数据传输或处理中出现延迟，最终得到的数据仍然能够反映真实的物理现象，通过有效地聚合数据、识别关键数据点并修正时间延迟，显著减少了需要传输和存储的数据量，并提高了整体系统的响应速度和效率；引入环境因素的考虑，增强了数据分析的实时性和准确性，基于数据变化频率和其在关键环境因子下的变化，给予数据动态权重，这使得数据聚合更具有针对性，同时确保关键数据得到更多的关注，通过相关性分析，此方法能够有效识别和去除冗余数据，进一步优化数据存储和传输；通过平滑处理和权重评估，能够减少噪声和误差，提高数据质量，为后续的数据应用提供更准确的输入；结合高维时间序列建模和高次多项式趋势分析能够精确地识别瞬时数据变化，从而实现对数据的实时监控和识别，经过高次多项式的数据分析和基于熵编码技术本文档来自技高网...
【技术保护点】
1.一种物联网数采边缘聚合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种物联网数采边缘聚合方法，其特征在于，所述步骤S1，具体包括：
3.根据权利要求2所述的一种物联网数采边缘聚合方法，其特征在于，在所述步骤S1中，还包括：
4.根据权利要求1所述的一种物联网数采边缘聚合方法，其特征在于，所述步骤S2，具体包括：
5.根据权利要求1所述的一种物联网数采边缘聚合方法，其特征在于，所述步骤S3，具体包括：
6.根据权利要求5所述的一种物联网数采边缘聚合方法，其特征在于，在所述步骤S3中，还包括：
7.根据权利要求1所述的一种物联网数采边缘聚合方法，其特征在于，所述步骤S4，具体包括：
8.根据权利要求7所述的一种物联网数采边缘聚合方法，其特征在于，在所述步骤S4中，还包括：
【技术特征摘要】
1.一种物联网数采边缘聚合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种物联网数采边缘聚合方法，其特征在于，所述步骤s1，具体包括：
3.根据权利要求2所述的一种物联网数采边缘聚合方法，其特征在于，在所述步骤s1中，还包括：
4.根据权利要求1所述的一种物联网数采边缘聚合方法，其特征在于，所述步骤s2，具体包括：
5.根据权...
【专利技术属性】
技术研发人员：江晓，王聿隽，
申请(专利权)人：山东衡昊信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。