一种陶瓷行业数据系统及采集方法技术方案

本发明专利技术公开了一种陶瓷行业数据系统及采集方法，系统包括：事业平台，用于采集各个事业部的事业数据；数据中台，用于接收各个事业部的事业数据，并进行数据处理，生成数据信息；数据产品，用于显示和反馈对应的数据信息；本发明专利技术旨在提供一种陶瓷行业数据系统及采集方法，解决数据孤岛的问题，对数据进行集中化处理，建立统一和共享的数据基础平台。建立统一和共享的数据基础平台。建立统一和共享的数据基础平台。

【技术实现步骤摘要】
一种陶瓷行业数据系统及采集方法


[0001]本专利技术涉及数据处理
，尤其涉及一种陶瓷行业数据系统及采集方法。

技术介绍

[0002]在陶瓷行业的发展中，以“传统产业+互联网+金融资本”为核心路径，对企业的产业进行赋能；目前已发展有一段历程，企业的数据均具有一定的积累。现在面临的困难是企业拥有较大的数据量，但是对于数据的提取较难，还有如何提炼成为了亟需解决的问题。随着数字化改造浪潮，产业工厂生产线迫切想通过数字化改造，为企业谋求更加质量的发展。
[0003]目前的数据系统的技术方案有很多，但是都并没有适应于企业所有的场景。这些数据系统只解决了企业的某个难点，同时也会带来其它的问题；而且整个数据系统的资源使用率不高，开发工作繁琐，无法对数据的流转进行全链路的把控。

技术实现思路

[0004]本专利技术的目的在于提出一种陶瓷行业数据系统及采集方法，解决数据孤岛的问题，对数据进行集中化处理，建立统一和共享的数据基础平台。
[0005]为达此目的，本专利技术采用以下技术方案：一种陶瓷行业数据系统，包括：事业平台，用于采集各个事业部的事业数据；数据中台，用于接收各个事业部的事业数据，并进行数据处理，生成数据信息；数据产品，用于显示和反馈对应的数据信息。
[0006]优选的，所述数据中台包括数据仓库、数据处理和数仓建模；所述数据仓库，用于存储各个事业部采集的事业数据，并进行分类为多个数据源；所述数据处理，用于通过实时运算和离线计算两种方式，对分类的数据源进行运算；所述数仓建模，用于存储分类的数据源的运算处理结果。
[0007]优选的，所述数据仓库分类为多个数据源，包括：设备数据、日志数据、业务数据、接口数据、文档数据以及其它数据；所述设备数据和所述日志数据通过数据流为Fluentd的方式进行采集；所述业务数据库通过数据流为Canal的方式进行采集；所述接口数据通过数据流为Spark的方式进行采集；所述文档数据通过数据流为Hadoop API的方式进行采集；所述其它数据通过数据流为Spark的方式进行采集。
[0008]优选的，所述实时运算方式具体为将所述设备数据和所述日志数据通过数据流为Fluentd的方式采集到消息队列Kafka，将所述业务数据库通过数据流为Canal的方式采集到消息队列Kafka，然后将消息队列Kafka通过实时处理的流式计算框架Flink运算后，将运算结果存储至数据库Doris。
[0009]优选的，所述离线计算方式具体为将所述设备数据和所述日志数据通过数据流为Fluentd的方式采集到消息队列Kafka，将所述业务数据通过数据流为Canal的方式采集到消息队列Kafka，再将消息队列Kafka采集到系统基础架构Hadoop；将所述业务数据采用同
步工具DataX采集到数据库Doris，将所述接口数据采用计算引擎Spark采集到数据库Doris，将所述业务数据和所述接口数据作为数据库Doris的原始数据层ODS；将所述文档数据采用Hadoop API采集到数据库Doris，将所述其它数据采用计算引擎Spark采集到系统基础架构Hadoop，将所述文档数据和所述其它数据作为数据库Doris的原始数据层ODS。
[0010]总体的离线数仓技术架构是以Doris为主，Hadoop存放一部分的ODS层数据,Hive作为历史数据的备份。
[0011]优选的，所述数仓建模包括原始数据层、明细主题层、维度数据层、宽表数据层和数据应用层；所述原始数据层，用于保持原始数据，不做任何处理；所述明细主题层，用于对原始数据层的数据进行清洗，根据业务划分主题，建立事件主题模型；所述维度数据层，用于基于实际业务，对原始数据层的数据进行清洗，构建整个企业的一致性数据分析维表；所述宽表数据层，用于基于上层的应用和产品指标总结，对所述明细主题层和所述维度数据层进行关联分析，构建公共粒度的汇总指标宽表；所述数据应用层，用于根据业务需求，对所述明细主题层、所述维度数据层和所述宽表数据层层进行统计处理，提供各个数据应用系统。
[0012]一种陶瓷行业数据采集方法，包括下述步骤：建立数据仓库，建立用于存储各个事业部采集的事业数据，并对事业数据分类为多个数据源；数据运算处理，通过实时运算和离线计算两种方式，对分类的数据源进行运算；建立数仓建模，将数据源的运算处理结果存储分类在数仓建模。
[0013]优选的，所述建立数据仓库的步骤中，具体包括将采集的事业数据分类为多个数据源，包括：设备数据、日志数据、业务数据、接口数据、文档数据以及其它数据；所述设备数据和所述日志数据通过数据流为Fluentd的方式进行采集；所述业务数据库通过数据流为Canal的方式进行采集；所述接口数据通过数据流为Spark的方式进行采集；所述文档数据通过数据流为Hadoop API的方式进行采集；所述其它数据通过数据流为Spark的方式进行采集。
[0014]优选的，所述数据运算处理的步骤中，所述实时运算方式具体为将所述设备数据和所述日志数据通过数据流为Fluentd的方式采集到消息队列Kafka，将所述业务数据库通过数据流为Canal的方式采集到消息队列Kafka，然后将消息队列Kafka通过实时处理的流式计算框架Flink运算后，将运算结果存储至数据库Doris。
[0015]优选的，所述数据运算处理的步骤中，所述离线计算方式具体为将所述设备数据和所述日志数据通过数据流为Fluentd的方式采集到消息队列Kafka，将所述业务数据库通过数据流为Canal的方式采集到消息队列Kafka，再将消息队列Kafka采集到系统基础架构Hadoop；将所述业务数据采用同步工具DataX采集到数据库Doris，将所述接口数据采用计算引擎Spark采集到数据库Doris，将所述业务数据和所述接口数据作为数据库Doris的原始数据层ODS；将所述文档数据采用Hadoop API采集到数据库Doris，将所述其它数据采用计算引擎Spark采集到系统基础架构Hadoop，将所述文档数据和所述其它数据作为数据库
Doris的原始数据层ODS。
[0016]本专利技术的一个技术方案的有益效果：本专利技术通过对各个事业部的事业数据进行采集，构建每个事业部的数据存储仓库，通过数据中台对采集后的数据进行加工、清洗、分析和挖掘等处理，然后生成能够显示和反馈对应的数据信息的价值产品。
[0017]本专利技术能够解决事业数据产生孤岛的问题，解决各事业部之间信息不互通的问题；加快了数据的提取，且能够对数据进行集中化处理；通过数据中台对数据挖掘、分析等处理，为产业带来更高质量发展；对数据进行资产化，生成对应的价值产品，为企业带来真正的商业价值。
[0018]整体的架构针对于产业不同的数据流特点，灵活使用不同技术把数据采集上来；使用了流批一体的技术架构，减少了资源，加快了数据的处理；使用了数仓的分层建模，清晰看到全链路数据的流转。
附图说明
[0019]图1是本专利技术一个实施例的框架示意图；图2是本专利技术一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种陶瓷行业数据系统，其特征在于，包括：事业平台，用于采集各个事业部的事业数据；数据中台，用于接收各个事业部的事业数据，并进行数据处理，生成数据信息；数据产品，用于显示和反馈对应的数据信息。2.根据权利要求1所述的一种陶瓷行业数据系统，其特征在于，所述数据中台包括数据仓库、数据处理和数仓建模；所述数据仓库，用于存储各个事业部采集的事业数据，并进行分类为多个数据源；所述数据处理，用于通过实时运算和离线计算两种方式，对分类的数据源进行运算；所述数仓建模，用于存储分类的数据源的运算处理结果。3.根据权利要求2所述的一种陶瓷行业数据系统，其特征在于，所述数据仓库分类为多个数据源，包括：设备数据、日志数据、业务数据、接口数据、文档数据以及其它数据；所述设备数据和所述日志数据通过数据流为Fluentd的方式进行采集；所述业务数据库通过数据流为Canal的方式进行采集；所述接口数据通过数据流为Spark的方式进行采集；所述文档数据通过数据流为Hadoop API的方式进行采集；所述其它数据通过数据流为Spark的方式进行采集。4.根据权利要求3所述的一种陶瓷行业数据系统，其特征在于，所述实时运算方式具体为将所述设备数据和所述日志数据通过数据流为Fluentd的方式采集到消息队列Kafka，将所述业务数据库通过数据流为Canal的方式采集到消息队列Kafka，然后将消息队列Kafka通过实时处理的流式计算框架Flink运算后，将运算结果存储至数据库Doris。5.根据权利要求3所述的一种陶瓷行业数据系统，其特征在于，所述离线计算方式具体为将所述设备数据和所述日志数据通过数据流为Fluentd的方式采集到消息队列Kafka，将所述业务数据通过数据流为Canal的方式采集到消息队列Kafka，再将消息队列Kafka采集到系统基础架构Hadoop；将所述业务数据采用同步工具DataX采集到数据库Doris，将所述接口数据采用计算引擎Spark采集到数据库Doris，将所述业务数据和所述接口数据作为数据库Doris的原始数据层ODS；将所述文档数据采用Hadoop API采集到数据库Doris，将所述其它数据采用计算引擎Spark采集到系统基础架构Hadoop，将所述文档数据和所述其它数据作为数据库Doris的原始数据层ODS。6.根据权利要求2所述的一种陶瓷行业数据系统，其特征在于，所述数仓建模包括原始数据层、明细主题层、维度数据层、宽表数据层和数据应用层；所述原始数据层，用于保持原始数据，不做任何处理；所述明细主题层，用于对原始数据层的数据进行清洗，根据业务划分主题，建立事...

【专利技术属性】
技术研发人员：梁英林，孔令超，林国友，吕火生，黄世志，
申请(专利权)人：西藏众陶联供应链服务有限公司林周佳住家网络科技有限公司林周利利佳供应链服务有限公司共青城市众陶联供应链服务有限公司，
类型：发明
国别省市：