一种基于机器学习的物联网数据挖掘方法及系统技术方案

本发明专利技术涉及数据挖掘技术领域，尤其涉及一种基于机器学习的物联网数据挖掘方法及系统。对分布式物联网数据采集节点进行实时物联网数据采集及预处理，生成标准物联网数据；对标准物联网数据进行关键物联网数据提取，生成关键物联网数据；对关键物联网数据进行物联网特征数据提取及特征数据关联，生成关联物联网特征数据；利用决策树算法与关联物联网特征数据进行物联网数据的挖掘学习模型建立及优化，生成优化物联网数据挖掘模型；将优化物联网数据挖掘模型配置在分布式物联网数据采集节点进行数据节点的自动化数据挖掘分析，生成自动化数据挖掘学习模型。本发明专利技术使得物联网数据对数据挖掘更加精简及自动化。据挖掘更加精简及自动化。据挖掘更加精简及自动化。

【技术实现步骤摘要】
一种基于机器学习的物联网数据挖掘方法及系统


[0001]本专利技术涉及数据挖掘
，尤其涉及一种基于机器学习的物联网数据挖掘方法及系统。

技术介绍

[0002]物联网数据挖掘方法可以有效地从海量的物联网数据中提取有价值的信息和模式，实现智能化的决策和预测，帮助企业和组织更好地理解设备和传感器生成的数据，发现隐藏在数据背后的规律，优化运营和资源分配，提升系统的效率和性能，对于现代社会的物联网系统具有重要意义。然而，传统的物联网数据挖掘方法对于数据挖掘过于复杂，需要耗费大量的人力与财力，对于计算机的硬件压力太大，并且对于待挖掘的数据需要耗费大量的人工时间进行深度挖掘，增加了人工时间成本。

技术实现思路

[0003]基于此，本专利技术提供一种基于机器学习的物联网数据挖掘方法及系统，以解决至少一个上述技术问题。
[0004]为实现上述目的，一种基于机器学习的物联网数据挖掘方法，包括以下步骤：步骤S1：获取分布式物联网数据采集节点；对分布式物联网数据采集节点进行实时物联网数据采集，从而生成初始物联网数据包；步骤S2：对初始物联网数据包进行数字信号的编码转换，生成初始物联网数据；对初始物联网数据进行数据加密及数据序列格式转换，生成标准物联网数据；步骤S3：对标准物联网数据进行数据段事件复杂度计算，生成数据段事件复杂度；根据数据段事件复杂度对标准物联网数据进行关键物联网数据提取，生成关键物联网数据；步骤S4：对关键物联网数据进行物联网特征数据提取，生成物联网特征数据；利用K
‑
Means聚合算法对物联网特征数据进行物联网特征数据的数据关联，生成关联物联网特征数据；步骤S5：利用决策树算法与关联物联网特征数据进行物联网数据的挖掘学习模型建立，生成优化物联网数据挖掘模型；将优化物联网数据挖掘模型配置在分布式物联网数据采集节点进行数据节点的自动化数据挖掘分析，以生成自动化数据挖掘学习模型。
[0005]本专利技术通过获取分布式物联网数据采集节点，得以实现对分散在不同位置的数据源进行综合采集，丰富了数据的多样性和代表性，因为不同位置和环境下采集的数据反映了更全面的现实情况。实时物联网数据采集确保了数据的实时性，即数据几乎立即被捕获并传输至后续处理阶段，能够获取到最新的、实时变化的数据，有助于捕捉瞬时事件、趋势和突发情况提供了高质量、实时性和代表性的数据基础，为后续的分析和挖掘奠定了坚实的基础。对初始物联网数据包进行数字信号的编码转换，这个过程将原始数据从模拟形式转化为数字形式，有效地消除了模拟信号可能引入的噪音和失真，提高了数据的准确性和
稳定性。对初始物联网数据进行数据加密操作，确保数据在传输和存储过程中的安全性，防止敏感信息被恶意访问和窃取，同时进行数据序列格式转换，将数据按照一定的规范和标准进行格式化，从而保证数据的一致性和可解析性，为后续的处理和分析提供了规范化的数据基础。对标准物联网数据进行数据段事件复杂度计算，揭示数据的内在结构和变化趋势，通过计算数据段事件的复杂度，捕捉到数据之间的关联性和模式，帮助揭示潜在的规律和异常现象。根据计算得出的数据段事件复杂度进行关键物联网数据的提取，这个过程能够从大量数据中筛选出具有重要意义的数据片段，降低冗余信息对后续分析的影响，从而提高了数据挖掘的效率和准确性。对关键物联网数据进行物联网特征数据提取，将复杂的原始数据转化为更有代表性的特征，通过提取物联网特征数据，捕捉到数据中的特征信息，从而为后续的分析和模型构建提供更加有效的数据表示。利用K
‑
Means聚合算法对物联网特征数据进行数据关联，有助于将相似的特征数据聚合在一起，揭示数据的聚类和分布情况，帮助发现数据的潜在结构和相关性，通过生成关联物联网特征数据，系统为后续建模和分析提供了更丰富、更全面的数据视角。利用决策树算法结合关联物联网特征数据，建立物联网数据的挖掘学习模型，决策树算法能够根据关联特征数据推断出数据中的潜在模式和关联关系，从而为数据挖掘提供可靠的模型基础，模型的权重阈值调整优化能够确保模型在对关键数据进行分析时更为精准和可靠，提高了模型的适应性和泛化能力，生成了经过优化的物联网数据挖掘模型。将优化的数据挖掘模型配置在分布式物联网数据采集节点，实现数据节点的自动化数据挖掘分析，可以在实时监测和分析大规模数据的同时，减轻人工干预的负担，从而加快洞察信息的速度，为物联网应用的决策和发展提供了更有力的支持。因此，本专利技术的基于机器学习的物联网数据挖掘方法对于数据挖掘通过对物联网数据的关联特征进行挖掘，并根据挖掘结果建立一个自动化的挖掘模型，大大节约了人力与财力，降低了计算机的硬件压力，并且降低了人工去手动挖掘数据的时间成本。
[0006]优选地，步骤S1包括以下步骤：步骤S11：获取分布式物联网数据采集节点；步骤S12：根据分布式物联网数据采集节点进行网络通信接口建立，生成数据通信中心设备；步骤S13：对数据通信中心设备进行网络带宽及设备能耗分析，生成数据通信中心设备的实时能耗数据；步骤S14：利用数据通信中心设备对分布式数据采集节点进行实时物联网数据采集，并根据实时能耗数据对数据通信中心设备进行数据采集速率的实时调节，从而生成初始物联网数据包。
[0007]本专利技术获取分布式物联网数据采集节点有助于收集分散在多个地点的数据源，确保数据的全面性和多样性，有效扩展了数据源的范围，为后续分析提供了更为丰富的原始数据。通过建立网络通信接口实现了与分布式物联网数据采集节点的连接，从而将数据集中在一个中心设备，减少了数据传输的复杂性，提高了数据的集中性和统一性。进行网络带宽和设备能耗分析有助于评估系统资源的使用情况，从而优化数据传输和处理的效率，通过实时能耗数据能够实时监控设备的能源消耗情况，为后续的数据采集和传输提供了有效的参考。通过数据通信中心设备进行实时物联网数据采集，实现了数据的高效捕获和传输，而根据实时能耗数据对数据通信中心设备的数据采集速率进行实时调节，能够在保障数据
质量的前提下，优化能源利用，确保数据采集的高效性。
[0008]优选地，步骤S2包括以下步骤：步骤S21：对初始物联网数据包进行数字信号的编码转换，生成初始物联网数据；步骤S22：利用非对称加密算法对初始物联网数据进行非对称加密处理，生成加密物联网数据；步骤S23：对加密物联网数据进行数据清洗处理，生成清洗物联网数据；步骤S24：利用最小
‑
最大归一化法对清洗物联网数据进行数据归一化，生成归一化物联网数据；步骤S25：对归一化物联网数据进行数据的时间序列提取，获得时间序列；步骤S26：根据时间序列对归一化物联网数据进行时间序列的格式转换处理，生成标准物联网数据。
[0009]本专利技术通过数字信号的编码转换，将模拟信号转化为数字形式，有效地减少了数据的失真和噪音，提高了数据的准确性和稳定性，确保了数据的可靠性，并且将物联网的数据包转化为计算机可以处理的数字信号。通过非对称加密算法对初始物联网数据进行处理，确保数据在传输和存储过程中的安全性，有助于保护敏感信息免受未授权访问，提升了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的物联网数据挖掘方法，其特征在于，包括以下步骤：步骤S1：获取分布式物联网数据采集节点；对分布式物联网数据采集节点进行实时物联网数据采集，从而生成初始物联网数据包；步骤S2：对初始物联网数据包进行数字信号的编码转换，生成初始物联网数据；对初始物联网数据进行数据加密及数据序列格式转换，生成标准物联网数据；步骤S3：对标准物联网数据进行数据段事件复杂度计算，生成数据段事件复杂度；根据数据段事件复杂度对标准物联网数据进行关键物联网数据提取，生成关键物联网数据；步骤S4：对关键物联网数据进行物联网特征数据提取，生成物联网特征数据；利用K
‑
Means聚合算法对物联网特征数据进行物联网特征数据的数据关联，生成关联物联网特征数据；步骤S5：利用决策树算法与关联物联网特征数据进行物联网数据的挖掘学习模型建立，生成优化物联网数据挖掘模型；将优化物联网数据挖掘模型配置在分布式物联网数据采集节点进行数据节点的自动化数据挖掘分析，以生成自动化数据挖掘学习模型。2.根据权利要求1所述的基于机器学习的物联网数据挖掘方法，其特征在于，步骤S1包括以下步骤：步骤S11：获取分布式物联网数据采集节点；步骤S12：根据分布式物联网数据采集节点进行网络通信接口建立，生成数据通信中心设备；步骤S13：对数据通信中心设备进行网络带宽及设备能耗分析，生成数据通信中心设备的实时能耗数据；步骤S14：利用数据通信中心设备对分布式数据采集节点进行实时物联网数据采集，并根据实时能耗数据对数据通信中心设备进行数据采集速率的实时调节，从而生成初始物联网数据包。3.根据权利要求2所述的基于机器学习的物联网数据挖掘方法，其特征在于，步骤S2包括以下步骤：步骤S21：对初始物联网数据包进行数字信号的编码转换，生成初始物联网数据；步骤S22：利用非对称加密算法对初始物联网数据进行非对称加密处理，生成加密物联网数据；步骤S23：对加密物联网数据进行数据清洗处理，生成清洗物联网数据；步骤S24：利用最小
‑
最大归一化法对清洗物联网数据进行数据归一化，生成归一化物联网数据；步骤S25：对归一化物联网数据进行数据的时间序列提取，获得时间序列；步骤S26：根据时间序列对归一化物联网数据进行时间序列的格式转换处理，生成标准物联网数据。4.根据权利要求3所述的基于机器学习的物联网数据挖掘方法，其特征在于，步骤S3包括以下步骤：步骤S31：将标准物联网数据进行特定间隔的数据段划分处理，生成物联网数据段；步骤S32：利用数据事件复杂度算法对物联网数据段进行数据段事件复杂度计算，生成数据段事件复杂度；
步骤S33：根据预设的事件复杂阈值与数据段事件复杂度对物联网数据段进行关键事件段提取，生成关键事件数据段；步骤S34：利用预设的时间窗口对关键事件数据段进行前后文关键数据提取，生成关键物联网数据。5.根据权利要求4所述的基于机器学习的物联网数据挖掘方法，其特征在于，步骤S32中的数据事件复杂度算法如下所示：；式中，P表示为数据段事件复杂度，T表示为物联网数据段涉及的结束时间，t表示为物联网数据段涉及的当前时间，K表示为物联网数据段的数据长度，Q表示为物联网数据段的出现频率，o表示为物联网数据段涉及的流量大小，p表示为物联网数据段设定的初始流量调整值，γ表示为数据段的数据项变更频率，τ表示为数据段事件复杂度的异常调整值。6.根据权利要求5所述的基于机器学习的物联网数据挖掘方法，其特征在于，步骤S4包括以下步骤：步骤S41：利用傅里叶变换技术对关键物联网数据进行频域信号转换，生成关键物联网信号；步骤S42：利...

【专利技术属性】
技术研发人员：徐缓，王国志，周骋，
申请(专利权)人：苏州讯途益智能科技有限公司，
类型：发明
国别省市：