针对大数据多场景多数据源自适应入湖系统技术方案

本发明专利技术提供针对大数据多场景多数据源自适应入湖系统，涉及数据储存领域。该针对大数据多场景多数据源自适应入湖系统是由客户端、数据模块、识别模块、数据同步模块、数据处理模块、自动识别模块和储存模块，客户端的输出端与数据库模块的输出端电性连接，数据库模块的输出端与识别模块、数据同步模块、数据处理模块和自动识别模块的输入端电性连接。通过数据处理模块的过滤模块、校验模块和数据脱敏模块，数据脱敏模块指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护，对数据进行实时监控，对业务系统处理延迟对于业务数据延迟，以上的设计达到了对花费更对时间处理配置、业务系统结构化数据源的效果。果。果。

【技术实现步骤摘要】
针对大数据多场景多数据源自适应入湖系统


[0001]本专利技术涉及数据储存
，具体为针对大数据多场景多数据源自适应入湖系统。

技术介绍

[0002]数据入湖(入仓)是所有公司在大数据
不可或缺的第一步，在最初大数据兴起时期几乎所有公司数据入仓无可避免都在使用SQOOP+FLUME组件进行数据的入仓同步工作，在2018年开源了Datax数据同步工具再次推动了技术的更新，采用kettle、Datax工具完成数据入仓操作，随着业务的逐渐繁琐与复杂，使用以上工具开发任务变得越来越繁重，开发人员不得不需要花费更多时间来处理和配置各业务系统结构化数据源之间的工作。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供了针对大数据多场景多数据源自适应入湖系统，解决了花费更对时间处理配置、业务系统结构化数据源的问题。
[0004]为实现以上目的，本专利技术通过以下技术方案予以实现：针对大数据多场景多数据源自适应入湖系统是由客户端、数据库模块、识别模块、数据同步模块、数据处理模块、自动识别模块和储存模块，所述客户端的输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.针对大数据多场景多数据源自适应入湖系统，所述针对大数据多场景多数据源自适应入湖系统是由客户端、数据库模块、识别模块、数据同步模块、数据处理模块、自动识别模块和储存模块，所述客户端的输出端与数据模块的输出端电性连接，所述数据库模块的输出端与识别模块、数据同步模块、数据处理模块和自动识别模块的输入端电性连接，所述识别模块、数据同步模块、数据处理模块和自动识别模块的输出端与存储模块的输入端电性连接。2.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述识别模块包括监控模块、运维模块和告警模块，所述识别模块的输出端与监控模块、运维模块和告警模块的输入端电性连接，所述运维模块的输入端与监控模块和告警模块的输出端电性连接。3.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述数据同步模块包括数据源库表模块、整表模块、整库多表模块、单表模块和字段级数据模块，所述数据同步模块的输出端与整表模块、整库多表模块、单表模块和字段级数据模块的输入端电性连接。4.根据权利要求1所述的针对大数据多场景多数据源自适应入湖系统，其特征在于：所述自动识别模块包括字段类型单元、字段注释单元、湖仓表字单元和湖仓建表规范的建表语句自动化建表单元，所述自动识别模块的输出端与...

【专利技术属性】
技术研发人员：王新星，余成园，林志远，
申请(专利权)人：霖久智慧广东科技有限公司，
类型：发明
国别省市：