基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
基于SeaTunnel的海量物联数据集成系统、方法、装置及设备


[0001]本专利技术涉及计算机
，尤其涉及一种基于
SeaTunnel
的海量物联数据集成系统
、
方法
、
装置及设备
。

技术介绍

[0002]数据集成使数据量不断增多，适应不同场景的数据存储技术在不断的产生和发展且不同数据库之间的同步与转化的需求也不断增多
。
相关技术中，可以基于存储技术构建面向多源异构
、
结构化
、
非结构化的存储模式
。
然而，相关技术的处理效率有待提升
。

技术实现思路

[0003]本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一
。
为此，本说明书实施方式提出一种基于
SeaTunnel
的海量物联数据集成系统
、
方法
、
装置及设备
。
[0004]本说明书实施方式提供一种基于
SeaTunnel
的海量物联数据集成系统，所述基于
SeaTunnel
的海量物联数据集成系统包括：
[0005]数据源层，用于通过数据集成工具
SeaTunnel
组件获取异构数据源，并按照预设数据结构对所述异构数据源进行格式处理，得到标准结构数据；所述异构数据源包括以
Mysql
为存储的设备档案数据
、
容器管理数据
、
应用管理数据
、
告警管理数据，以及以
redis
为存储的档案数据
、
运行数据；
[0006]数据接入层，用于通过所述
SeaTunnel
组件传输所述标准结构数据，其中，所述
SeaTunnel
组件使用
Spark
计算引擎和
Flink
计算引擎作为底层数据同步引擎，所述
Spark
计算引擎用于全量数据的快速同步，所述
Flink
计算引擎用于实时读取增量数据的数据传输；
[0007]数据存储层，采用
Hive
数据库对所述标准结构数据进行存储，其中，所述标准结构数据在所述
Hive
数据库的存储格式为
parquent
数据格式
。
[0008]在其中一个实施方式，所述数据源层，还用于将所述设备档案数据
、
所述容器管理数据
、
所述应用管理数据
、
所述告警管理数据转换为字符串数据类型，得到所述标准结构数据；其中，针对日期类型数据，采用年月日格式
。
[0009]在其中一个实施方式，所述数据源层，还用于对所述异构数据源进行清洗和过滤处理，并按照所述预设数据结构对处理后的所述异构数据源进行格式处理，得到所述标准结构数据
。
[0010]在其中一个实施方式，所述数据源层，还用于通过所述
SeaTunnel
组件内置的方法和
Sql
过滤清洗主键数据不为空的数据，并按照所述预设数据结构对过滤清洗后的所述异构数据源进行格式处理，得到所述标准结构数据
。
[0011]在其中一个实施方式，所述
Spark
计算引擎用于处理离线数据，根据所述离线数据的数据量大小进行参数配置；其中，配置的参数包括执行内存
Execute_Memory、
执行任务数量
Execute_num、
驱动内存
driver_memory。
[0012]在其中一个实施方式，若所述离线数据为数据量在
100W
以下的数据，则所述执行内存
Execute_Memory
设置
2G
，所述执行任务数量
Execute_num
设置为2，所述驱动内存
driver_memory
设置为
1G
；
[0013]若所述离线数据为数据量在
100w
到1亿条之间的数据，所述执行内存
Execute_Memory
设置
6G
‑
8G
，所述执行任务数量
Execute_num
设置为4‑6，所述驱动内存
driver_memory
设置为
4G
‑
6G
；
[0014]若所述离线数据的数据量大于1亿，采集按天或按时间增量进行分批同步
。
[0015]在其中一个实施方式，在所述
Flink
计算引擎处理所述设备档案数据时，在所述数据源
mysql
中开启
binlog
日志功能，通过
flink
‑
cdc
进行实时读取并对数据进行同步处理
。
[0016]本说明书实施方式提供一种基于
SeaTunnel
的海量物联数据集成方法，应用于基于
SeaTunnel
的海量物联数据集成系统，所述方法包括：
[0017]通过数据集成工具
SeaTunnel
组件获取异构数据源，并按照预设数据结构对所述异构数据源进行格式处理，得到标准结构数据；所述异构数据源包括以
Mysql
为存储的设备档案数据
、
容器管理数据
、
应用管理数据
、
告警管理数据，以及以
redis
为存储的档案数据
、
运行数据；
[0018]通过所述
SeaTunnel
组件传输所述标准结构数据，其中，所述
SeaTunnel
组件使用
Spark
计算引擎和
Flink
计算引擎作为底层数据同步引擎，所述
Spark
计算引擎用于全量数据的快速同步，所述
Flink
计算引擎用于实时读取增量数据的数据传输；
[0019]采用
Hive
数据库对所述标准结构数据进行存储，其中，所述标准结构数据在所述
Hive
数据库的存储格式为
parquent
数据格式
。
[0020]在其中一个实施方式，所述
Spark
计算引擎用于处理离线数据，根据所述离线数据的数据量大小进行参数配置；其中，配置的参数包括执行内存
Execute_Memory、
执行线程数量
Execute_num、
驱动内存
driver_memory。
[0021]在其中一个实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
SeaTunnel
的海量物联数据集成系统，其特征在于，所述基于
SeaTunnel
的海量物联数据集成系统包括：数据源层，用于通过数据集成工具
SeaTunnel
组件获取异构数据源，并按照预设数据结构对所述异构数据源进行格式处理，得到标准结构数据；所述异构数据源包括以
Mysql
为存储的设备档案数据
、
容器管理数据
、
应用管理数据
、
告警管理数据，以及以
redis
为存储的档案数据
、
运行数据；数据接入层，用于通过所述
SeaTunnel
组件传输所述标准结构数据，其中，所述
SeaTunnel
组件使用
Spark
计算引擎和
Flink
计算引擎作为底层数据同步引擎，所述
Spark
计算引擎用于全量数据的快速同步，所述
Flink
计算引擎用于实时读取增量数据的数据传输；数据存储层，采用
Hive
数据库对所述标准结构数据进行存储，其中，所述标准结构数据在所述
Hive
数据库的存储格式为
parquent
数据格式
。2.
根据权利要求1所述的系统，其特征在于，所述数据源层，还用于将所述设备档案数据
、
所述容器管理数据
、
所述应用管理数据
、
所述告警管理数据转换为字符串数据类型，得到所述标准结构数据；其中，针对日期类型数据，采用年月日格式
。3.
根据权利要求1所述的系统，其特征在于，所述数据源层，还用于对所述异构数据源进行清洗和过滤处理，并按照所述预设数据结构对处理后的所述异构数据源进行格式处理，得到所述标准结构数据
。4.
根据权利要求3所述的系统，其特征在于，所述数据源层，还用于通过所述
SeaTunnel
组件内置的方法和
Sql
过滤清洗主键数据不为空的数据，并按照所述预设数据结构对过滤清洗后的所述异构数据源进行格式处理，得到所述标准结构数据
。5.
根据权利要求1所述的系统，其特征在于，所述
Spark
计算引擎用于处理离线数据，根据所述离线数据的数据量大小进行参数配置；其中，配置的参数包括执行内存
Execute_Memory、
执行任务数量
Execute_num、
驱动内存
driver_memory。6.
根据权利要求5所述的系统，其特征在于，若所述离线数据为数据量在
100W
以下的数据，则所述执行内存
Execute_Memory
设置
2G
，所述执行任务数量
Execute_num
设置为2，所述驱动内存
driver_memory
设置为
1G
；若所述离线数据为数据量在
100w
到1亿条之间的数据，所述执行内存
Execute_Memory
设置
6G
‑
8G
，所述执行任务数量
Execute_num
设置为4‑6，所述驱动内存
driver_memory
设置为
4G
‑
6G
；若所述离线数据的数据量大于1亿，采集按天或按时间增量进行分批同步
。7.
根据权利要求1所述的系统，其特征在于，在所述
Flink
计算引擎处理所述设备档案数据时，在所述数据源
mysql
中开启
binlog
日志功能，通过
flink
‑
cdc
进行实时读取并对数据进行同步处理
。8.
一种基于
SeaTunnel
的海量物联数据集成方法，其特征在于，应用于基于
SeaTunnel
的海量物联数据集成系统，所述方法包括：通过数据集成工具
SeaTunnel
组件获取异构数据源，并按照预设数据结构对所述异构数据源进行格式处理，得到标准结构数据；所述异构数据源包括以
Mysql
为存储的设备档案数据
、
容器管理数据
、
应用管理数据
、
告警管理数据，以及以
redis
为存储的档案数据
、
运行数据；
通过所述
SeaTunnel
组件传输所述标准结构数据，其中，所述
SeaTunnel
组件使用
Spark
计算引擎和
Flink
计算引擎作为底层数据同步引擎，所述
Spark
计算引擎用于全量数据的快速同步，所述
Flink
计算引擎用于实时读取增量数据的数据传输；采用
Hive
数据库对所述标准结构数据进行存储，其中，所述标准结构数据在所述
Hive
数据库的存储格式为
parquent
数据格式
。9.
根据权利要求8所述的方法，其特征在于，所述
...

【专利技术属性】
技术研发人员：薛香鹏，庞振江，洪海敏，孙永明，刘国川，曾晶，张笑岩，
申请(专利权)人：深圳智芯微电子科技有限公司，
类型：发明
国别省市：