一种物联网数据采集与转换通用模组制造技术

本发明专利技术涉及物联网的技术领域，且公开了一种物联网数据采集与转换通用模组，包括底板，所述底板的外部固定连接有数据收集模块，底板的外部固定连接有数据转存模块，所述底板的外部固定连接有数据ETL处理模块，所述底板的外部固定连接有的数据云存储模块；通过数据收集模块、数据转存模块、数据ETL处理模块、数据云存储模块、元数据管理模块、分析引擎模块、作业管理与调度模块、资源分配与调度模块之间配合组成物联网数据处理模块，有效提高了物联网数据处理的高效可靠，同时数据云存储模块不仅提高了物联网数据处理的安全性，同时也降低物联网数据处理的成本，提高了物联网数据采集与转换的实用性。换的实用性。换的实用性。

【技术实现步骤摘要】
一种物联网数据采集与转换通用模组


[0001]本专利技术涉及物联网的
，具体为一种物联网数据采集与转换通用模组。

技术介绍

[0002]物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理，现有物联网需要采集、存储、加工大量的数据，但是现有的数据处理模块不能实现高效、可靠的数据处理，同时由于海量数据使得物联网数据处理占用大量的硬件存储内存，同时也增加数据容易丢失损坏的风险，增加物联网数据处理的成本。

技术实现思路

[0003]为解决上述现有的数据处理模块不能实现高效、可靠的数据处理，同时由于海量数据使得物联网数据处理占用大量的硬件存储内存，同时也增加数据容易丢失损坏的风险，增加物联网数据处理的成本的问题，实现以上高效可靠处理数据、云储存、数据安全性高、降低物联网数据处理成本的目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网数据采集与转换通用模组，包括底板(1)，其特征在于：所述底板(1)的外部固定连接有数据收集模块(2)，所述底板(1)的外部固定连接有数据转存模块(3)，所述底板(1)的外部固定连接有数据ETL处理模块(4)，所述底板(1)的外部固定连接有的数据云存储模块(5)，所述底板(1)的外部固定连接有元数据管理模块(6)，所述底板(1)的外部固定连接有分析引擎模块(7)，所述底板(1)的外部固定连接有作业管理与调度模块(8)，所述底板(1)的外部固定连接有的资源分配与调度模块(9)。2.根据权利要求1所述的一种物联网数据采集与转换通用模组，其特征在于：所述数据收集模块(2)主要负责收集各种数据源的数据，包括日志文件、网络请求、数据库、消息队列，这些数据转换为文件或者消息向后传递。3.根据权利要求1所述的一种物联网数据采集与转换通用模组，其特征在于：所述数据转存模块(3)主要负责将数据定时传递到分布式存储或者实时传递给下游的数据处理程序。4.根据权利要求1所述的一种物联网数据采集与转换通用模组，其特征在于：所述数据ETL处理模块(4)主要负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库。5.根据权利要求1所述的一种物联网数据采集与转换通用模组，其特征在于：所述数据云存储模块(5)是基于云存储的数据仓库，也是数据有组织的集中存储的地方，负责数据的存取和管理。6.根据权利要求1所述的一种物...

【专利技术属性】
技术研发人员：夏鸣，陈俊桦，吴雪峰，
申请(专利权)人：江苏南工科技集团有限公司，
类型：发明
国别省市：