【技术实现步骤摘要】
本专利技术涉及物联网的大数据分析领域，特别是涉及一种改进的边缘计算iot大数据分析架构。
技术介绍
1、随着物联网(iot)的普及，各种传感器设备生成的大规模数据呈现出爆炸性增长，因此数据处理和管理面临着前所未有的挑战。边缘计算的兴起为解决这些挑战提供了新的可能性，将计算和数据处理推向网络边缘，以降低延迟和提高可扩展性。此外，机器学习和联邦学习等技术的应用使数据分析变得更加智能化，但也带来了新的挑战。传统的数据处理框架和方法已经显得不够高效，因此需要新的研究来优化数据摄取、处理和存储，以实现更智能、高效和可扩展的iot应用。
技术实现思路
1、本专利技术的目的在于提出一种改进的边缘计算iot大数据分析架构，旨在利用边缘计算和机器学习等技术来应对iot产生的大数据挑战。提出的框架和算法旨在解决数据摄取、处理和存储的问题，以实现更高效的大数据分析。这将为iot和边缘计算领域提供新的方法和工具，推动这一领域的发展，为各种应用领域提供更多的机会，帮助解决大规模数据处理方面的问题。最终目标是将智能引入到物理世界中的各个对象，推动物联网应用与机器学习技术的融合，为未来的智能化提供支持。
2、为了达到上述专利技术目的，本专利技术采用以下技术方案：
3、一方面，本专利技术实施用例包括一种物联网边缘数据处理方法，将来自传感器的原始数据进行初步处理和整合，为后续的大数据分析和管理提供基础。首先从各种物联网设备和传感器中收集数据，然后对数据进行初步处理，接着将数据传输到附近的边缘
4、另一方面，本专利技术实施用例还包括负责数据加载和并行处理的云处理层。首先，云处理层接收到边缘的缓存数据后，需要进行分布式存储。分布式存储通常采用多个存储节点，这些节点可以位于不同的物理位置。这种架构确保了数据的冗余备份，以提高可靠性和容错性。
5、进一步，云处理层需要对原始数据进行初步处理，包括使用归一化、过滤和排队等预处理机制为有效的处理和训练做好数据准备，提高数据的质量和准确性，使其适合后续的处理、分析和建模。
6、优选地，使用归一化操作消除数据中的偏差，确保数据的一致性，并提高数据处理的准确性。
7、优选地，通过滤波以加快实际处理速度。有选择地保留高质量的信息，同时过滤掉劣质或嘈杂的数据，从而提高数据质量
8、为了加快数据处理速度，高效利用大数据，对m/m/1排队模型进行了优化，采用混合m/m/1排队模型进行排队处理。
9、优选地，使用消息队列加快数据处理速度。消息队列以特定的操作模式运行，在时刻t获取消息m，然后将其转发给生成的组件，由h(一个特定的处理程序)控制。这增强了大数据的高效利用，确保消息在需要时按照预定的方式被处理和传递。
10、进一步地，对预处理后的数据进行数据聚合，将来自多个iot传感器源的数据整合到一个中央位置，为进一步分析提供了精确的分组数据。
11、进一步地，将分成块的数据使用并行算法并行化数据加载和映射。在多个节点上同时加载数据块，提高整体计算效率。通过优化处理单元的块大小来保持并行通道的数量平衡，将大数据集分成固定大小的小块来完成的，这些块由每个节点并行处理。
12、另一方面，提供了bp神经网络的机器学习算法并行处理，包括bp神经网络机器学习模型的训练和推理。bp网络可以学习和存储大量的输入和预期结果的映射关系，通过误差逼近和误差反向传播自动微调网络权重和阈值限制值。bp模型构建具有并行性，利用多个处理节点并行训练和验证了优化后的bp模型，每个处理节点产生的分数结果使用集成学习合并，以提高结果。
13、本专利技术的有益效果是：本专利技术提出的边缘计算iot大数据分析架构，有效地解决了iot应用产生的大规模异构数据处理和存储挑战，提供了高效的数据处理解决方案。其次，通过优化数据加载、集群资源管理和机器学习应用，提高了数据处理的性能和速度，使得iot应用能够更快速地获得有价值的信息。此外，采用了分布式存储和并行处理，提高了数据处理的效率和可用性。本专利技术的应用范围广泛，可适用于各种iot应用领域，为业务和决策支持提供了更好的数据分析和建模工具。因此，这项专利技术有望在边缘计算和iot大数据处理领域产生重要的实际效益。
本文档来自技高网...【技术保护点】
1.一种物联网数据大数据分析的系统模型，其特征在于，所述系统模型包括：物联网边缘层和云处理层组成的两个层次。
2.根据权利要求1所述的系统模型，其中物联网边缘层的传感器包括环境观测传感器、安全监控传感器、设施监测传感器、交通监控传感器、电力监控传感器和运输观测传感器。
3.根据权利要求1所述的系统模型，其中云处理层的数据加载过程包括使用Sqoop工具与MapReduce范式的映射作业集成，通过调整分割大小和复制因子来实现并行数据摄取。
4.根据权利要求1所述的系统模型，其中云处理层的数据预处理过程包括使用卡尔曼滤波进行过滤，采用混合M/M/1排队模型进行排队，以及使用分而治之的方法进行数据聚合。
5.根据权利要求1所述的系统模型，其中云处理层的机器模型训练和推理过程包括采用BP神经网络算法进行模型训练，不断调整神经网络的权重和阈值，以最小化模型的损失函数，使模型能够学习从输入数据到输出数据之间的映射关系。
6.根据权利要求1所述的系统模型，用于处理大规模和异构的物联网数据，支持各种IoT应用，提供实时决策、预测和资源优化
7.根据权利要求1所述的系统模型，适用于智能城市、智能交通、环境保护等领域的创新，为这些领域的发展提供了坚实基础。
...【技术特征摘要】
1.一种物联网数据大数据分析的系统模型，其特征在于，所述系统模型包括：物联网边缘层和云处理层组成的两个层次。
2.根据权利要求1所述的系统模型，其中物联网边缘层的传感器包括环境观测传感器、安全监控传感器、设施监测传感器、交通监控传感器、电力监控传感器和运输观测传感器。
3.根据权利要求1所述的系统模型，其中云处理层的数据加载过程包括使用sqoop工具与mapreduce范式的映射作业集成，通过调整分割大小和复制因子来实现并行数据摄取。
4.根据权利要求1所述的系统模型，其中云处理层的数据预处理过程包括使用卡尔曼滤波进行过滤，采用混合m/m/1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。