一种基于深度学习框架构建的数字化决策平台架构制造技术

本发明专利技术公开了一种基于深度学习框架构建的数字化决策平台架构，括数据采集模块、数据清洗转换模块、存储计算层、接口服务模块和数据展示层；所述数据采集模块采集数据并发送至所述数据清洗转换模块，所述数据清洗转换模块选择dataX作为ETL清洗、转换及加载工具；数据清洗转换模块对采集数据进行转换形成具有完整性和统一性的存储数据；所述存储计算层包括数据仓库、大数据平台和数据挖掘工具，所述数据仓库和大数据平台作用于存储所述存储数据；所述数据挖掘工具用于对存储数据进行数据分析、挖掘与处理；所述存储计算层通过接口服务模块与可视化开发平台交互数据；实现数据全过程管理，构建一站式数据资产可视化与分析管理。理。理。

【技术实现步骤摘要】
一种基于深度学习框架构建的数字化决策平台架构


[0001]本专利技术属于决策平台架构
，具体涉及基于深度学习框架构建的数字化决策平台架构。

技术介绍

[0002]大数据产业是继云计算、物联网和移动互联网之后，新一代信息技术与电子商务智能制造等新型商业应用深度融合的产物，正在成为信息技术的新热点、产业发展的新方向，将对人类的生产与生活产生巨大影响，并对经济与社会发展带来深刻变革。把握大数据发展方向，推动大数据开发应用，发展大数据服务产业，有利于推进武钢高新产业板块创新发展和转型升级。
[0003]大数据时代已经来临，大数据潮流引领多诸多变革正在悄无声息的改变着各行各业。但其技术局限性让人们不能有效的利用全量数据；存在数据监测和管理困难的技术问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于深度学习框架构建的数字化决策平台架构，实现数据全过程管理，推动数据资源整合及数据分析应用，构建一站式数据资产可视化与分析管理。
[0005]为达到上述目的，本专利技术所采用的技术方案是：本专利技术第一方面提供了一种基于深度学习框架构建的数字化决策平台架构，包括数据采集模块、数据清洗转换模块、存储计算层、接口服务模块和数据展示层；所述数据采集模块采集数据并发送至所述数据清洗转换模块，所述数据清洗转换模块选择dataX作为ETL清洗、转换及加载工具；数据清洗转换模块对采集数据进行转换形成具有完整性和统一性的存储数据；所述存储计算层包括数据仓库、大数据平台和数据挖掘工具，所述数据仓库和大数据平台作用于存储所述存储数据；所述数据挖掘工具用于由数据仓库和大数据平台调取存储数据，并对存储数据进行数据分析、挖掘与处理；所述存储计算层通过接口服务模块与可视化开发平台交互数据。
[0006]优选的，选择开源hadoop平台形成所述大数据平台的基本平台；所述大数据平台包括Hive数据库、Cloudera Manager管理模块、Yarn资源管理服务模块、Hue WEB应用服务模块、HDFS分布式数据存储服务模块和数据集成层；选择开源ocean base 关系型数据库构建所述大数据平台的数据集成层；Hive数据库作用于存储所述存储数据中结构化数据，HDFS分布式数据存储服务模块作用于存储所述存储数据中的半结构化数据和非结构化数据。
[0007]优选的，所述数据仓库包括ADS
‑
数据应用层、DW
‑
数据中间层和ODS
‑
数据运营层；所述数据仓库作用于存储所述存储数据中结构化数据。
[0008]优选的，所述数据挖掘工具选择kafka作为消息订阅系统消息组件，采用storm作
为平台的流式数据计算框架，采用spark作为大数据批量离线计算框架，采用hadoop生态圈的mahout作为数据挖掘应用算法库；所述数据挖掘工具引入有TensorFlow深度学习框架。
[0009]优选的，所述数据采集模块由所述数据源层采集数据，所述数据源层包括项目化管理信息系统、项目管理平台、数据文档或日志、财务管理系统、人力资源管理系统、OA系统和云之家。
[0010]优选的，所述可视化开发平台与后台服务模块交互数据；所述后台服务模块与所述存储计算层交互数据；所述后台服务模块作用于指标对比、报表查询和信息推动。
[0011]优选的，所述数据挖掘工具中设置有联机分析处理模块、SQL引擎和HQL引擎。
[0012]本专利技术第三方面提供了电子设备，包括存储器和处理器；存储计算层设置于所述存储器内；处理器运行存储计算层内存储的计算机程序。
[0013]与现有技术相比，本专利技术的有益效果：本专利技术分别选型数据清洗转换工具、数据存储路线设计、数据分析挖掘工具，并引入TensorFlow深度学习框架，使平台具有更好的可视化效果，可扩展性强，能部署在各种服务器和移动设备，各种工具、库和社区资源丰富，能够更好的支撑人工智能应用场景实现；实现数据全过程管理，推动数据资源整合及数据分析应用，构建一站式数据资产可视化与分析管理。
附图说明
[0014]图1是本专利技术实施例一提供的数字化决策平台架构的应用流程图；图2是本专利技术提供的数字化决策平台架构的结构图。
实施方式
[0015]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
实施例
[0016]如图1至图2所示，本专利技术第一方面提供了一种基于深度学习框架构建的数字化决策平台架构，包括：包括数据采集模块、数据清洗转换模块、存储计算层、接口服务模块和数据展示层；所述数据采集模块采集数据并发送至所述数据清洗转换模块；所述数据采集模块由所述数据源层采集数据，所述数据源层包括项目化管理信息系统、项目管理平台、数据文档或日志、财务管理系统、人力资源管理系统、OA系统和云之家。
[0017]基于平台“烟囱式”建设模式，数据模型、数据标准未进行统一和规范，数据的治理与清洗转换工作量大、难度大的现状，以及考虑到业务的逐步变化和经营管理的逐步精益化以及新技术的应用，数据接入与清洗转换的路线研究范围应该包括：业务处理与管理类数据、非结构化数据、实时状态与监测数据，从数据抽取、工具集成、人机交互过程管理、平台开放性等方面考虑，所述数据清洗转换模块选择dataX作为ETL清洗、转换及加载工具；数据清洗转换模块对采集数据进行转换形成具有完整性和统一性的存储数据；实现周期性全量或增量的抽取到数据平台的明细数据层（ODS层），且需要保证数据的完整性、准确性、一
致性。
[0018]所述存储计算层包括数据仓库、大数据平台和数据挖掘工具，所述数据仓库和大数据平台作用于存储所述存储数据；所述数据挖掘工具用于由数据仓库和大数据平台调取存储数据，并对存储数据进行数据分析、挖掘与处理；选择开源hadoop平台形成所述大数据平台的基本平台；所述大数据平台包括Hive数据库、Cloudera Manager管理模块、Yarn资源管理服务模块、Hue WEB应用服务模块、HDFS分布式数据存储服务模块和数据集成层；选择开源ocean base 关系型数据库构建所述大数据平台的数据集成层；Hive数据库作用于存储所述存储数据中结构化数据，HDFS分布式数据存储服务模块作用于存储所述存储数据中的半结构化数据和非结构化数据。
[0019]所述数据仓库包括ADS
‑
数据应用层、DW
‑
数据中间层和ODS
‑
数据运营层；所述数据仓库作用于存储所述存储数据中结构化数据；数据仓库是基于数据库系统构建的逻辑数据存储，数据仓库体系的构建属于数据平台类建设工作的核心部分，是数据清洗、转换之后的落脚点，是上层数据分析应用和数据挖掘应用的数据供应点，也是企业开展数据资产管理工作的核心对象。
[0020]所述数据挖掘工具中设置有联机分析处理模块、SQL引擎和HQL引擎；所述数据挖掘工具选择kafka作为消本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习框架构建的数字化决策平台架构，包括数据采集模块、数据清洗转换模块、存储计算层、接口服务模块和数据展示层；所述数据采集模块采集数据并发送至所述数据清洗转换模块，所述数据清洗转换模块选择dataX作为ETL清洗、转换及加载工具；数据清洗转换模块对采集数据进行转换形成具有完整性和统一性的存储数据；所述存储计算层包括数据仓库、大数据平台和数据挖掘工具，所述数据仓库和大数据平台作用于存储所述存储数据；所述数据挖掘工具用于由数据仓库和大数据平台调取存储数据，并对存储数据进行数据分析、挖掘与处理；所述存储计算层通过接口服务模块与可视化开发平台交互数据。2.根据权利要求1所述的一种基于深度学习框架构建的数字化决策平台架构，其特征在于，选择开源hadoop平台形成所述大数据平台的基本平台；所述大数据平台包括Hive数据库、Cloudera Manager管理模块、Yarn资源管理服务模块、Hue WEB应用服务模块、HDFS分布式数据存储服务模块和数据集成层；选择开源ocean base关系型数据库构建所述大数据平台的数据集成层；Hive数据库作用于存储所述存储数据中结构化数据，HDFS分布式数据存储服务模块作用于存储所述存储数据中的半结构化数据和非结构化数据。3.根据权利要求1所述的一种基于深度学习框架构建的数字化决策平台架构，其特征在于，所述数据仓库包括ADS
‑
数据应用层、D...

【专利技术属性】
技术研发人员：陈学海，李嘉业，黄北军，陈海健，余玉婷，曹花，周游，王帅卿，廖晓苏，郝桂芹，韩畅，余泽荣，
申请(专利权)人：广州市电力工程设计院有限公司，
类型：发明
国别省市：