一种基于PaaS平台的工业大数据计算架构制造技术

本发明专利技术公开了一种基于PaaS平台的工业大数据计算架构，从上到下依次包括：接口层、数据服务层和数据支持层；所述数据服务层连接实时数据层和历史数据层；所述数据支持层连接信息管理层和集群管理层；所述接口层，用于提供对外接口服务；所述数据服务层，用于提供数据应用服务；所述数据支持层，用于提供基于Docker容器的PaaS云平台层，通过监控集群的负载情况，分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源；所述信息管理层，用于管理数据支持层的各项资源配置信息和数据库，通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务；所述集群管理层，用于管理数据支持层的支持和调度资源。

【技术实现步骤摘要】
一种基于PaaS平台的工业大数据计算架构
本专利技术涉及工业装备领域与软件开发领域，特别是涉及一种基于PAAS平台的工业大数据计算架构。
技术介绍
随着电子技术和信息技术的发展，工业装备生产日益趋向于大型化、复杂化、高速化和自动化。工业装备系统的规模与性能也随之增大，系统各部件间耦合性也更为紧密，工业生产流成也日趋复杂化，装备本身以及生产过程的复杂化使得生产数据类型多样化，人们管理和分析数据能力亟待提高，这对工业生产管理手段提出了更高的要求。基于PAAS平台的工业大数据计算平台是提高工业生产数据管理能力、保障数据安全的关键技术，也对工业生产未来的高速发展具有重要意义。目前大数据在工业领域逐步发挥作用，许多领域开始定义自己的系统体系架构，在体系架构上研发工业生产中需要的特定软件，但是基于这些架构研发的软件存在着基础服务能力弱、效率低下、平台按需调节能力差等问题，已无法满足不同用户多层次、多元化、持续的需求变化。因此，需要设计一种基于PaaS平台的工业大数据计算架构，提供全面的、高效能的通用大数据计算能力，确保工业生产软件系统发挥应用的作用。
技术实现思路
本专利技术的目的在于克服现有工业装备生产中存在的数据和服务问题，提出了一种基于PaaS平台的工业大数据计算架构，可以有效解决现有技术不足导致的基础服务能力弱、效率低下、平台按需调节能力差等问题，使用户可以依据自身需求的申请所需计算资源，提高效率并节省成本。为了实现上述目的，本专利技术提供了一种基于PaaS平台的工业大数据计算架构，该工业大数据计算架构从上到下依次包括：接口层、数据服务层和数据支持层；所述数据服务层连接实时数据层和历史数据层；所述数据支持层连接信息管理层和集群管理层；所述接口层，用于提供对外接口服务，提供与其他系统的数据访问接口；所述数据服务层，用于提供数据应用服务，提供应用管理人员的服务功能接口；和所述数据支持层，用于提供基于Docker容器的PaaS云平台层，通过监控集群的负载情况，分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源；所述信息管理层，用于提供管理平台和应用服务数据，通过管理系统管理工业生产的相关信息；还用于管理数据支持层的各项资源配置信息和数据库，通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务；所述集群管理层，用于提供大数据集群环境的管理和维护，用于管理数据支持层的支持和调度资源，提供web作为接口的人际交互形式监控和调度数据支持层的各项资源与服务。作为上述方法的一种改进，所述接口层包括协议接口、服务接口和二次开发接口；所述协议接口，用于为外部系统提供标准化的工业生产的协议接口，包括：通信协议接口、访问协议接口和数据解析接口；所述服务接口，用于为外部系统提供应用服务接口，外部系统能够通过调用该接口访问工业平台中的数据和应用，包括数据预处理接口、数据查询接口、数据分析接口和数据挖掘接口；所述二次开发接口用于为第三方平台和研发人员提供开发接口，包括数据接口、算法接口、数据分析接口和数据挖掘接口。作为上述方法的一种改进，所述数据服务层为接口层提供基础性的、通用的构件以及构件调用的服务接口；所述构件采用服务注册的形式定义构件的接口数据、交互和日志内容；所述数据服务层包括数据处理、数据分析和数据挖掘；所述数据处理包括数据清洗、数据解析、数据判读和数据建模；所述数据分析包括数据建模、算法建模、数据统计和数据可视化；所述数据挖掘包括算法建模、机器学习、模型评估和数据重构。作为上述方法的一种改进，所述数据支持层从上到下依次包括：数据计算层、数据存储层、PaaS云平台层和基础设施层；所述数据计算层，用于提供基础的大数据计算服务，包括流计算、批量计算、图计算、内存计算和学习计算，能够处理流数据、海量历史数据、图形图像数据和训练数据；所述数据计算层采用Spark内存计算技术实现标准的数据计算服务；所述数据存储层，用于存储和管理数据，其中Hana提供的内存数据库用于管理实时热数据，HDFS分布式文件系统和HBase分布式数据库用于管理冷数据；所述PaaS云平台层，用于提供一个快速的运行环境管理服务，使用Docker的容器机制实现服务器集群中的节点快速智能分配，通过监控集群的负载情况，快速分配Hana热数据库和HBase冷数据库所需要的服务器资源；所述基础设施层，用于提供底层的基础设施环境，包括主机基础设施、网络基础设施和安全保密基础设施。作为上述方法的一种改进，所述信息管理层包括：数据管理、知识管理、算法管理、文件管理和资源配置管理；所述集群管理层包括：运行监控、服务管理、作业调度、节点管理和资源监控。作为上述方法的一种改进，所述数据存储层能够将少量实时热数据保存在Hana内存数据库中，将海量使用频率较低的冷数据保存在HBase分布式列数据库中。作为上述方法的一种改进，所述的PaaS云平台层使用Docker容器，通过监控集群资源负载情况和数据库量，快速调节资源的分配并实现快速移植实施，Docker容器能够动态地将数据分配给数据存储层的Hana内存数据库或HBase分布式列数据库。本专利技术的优势在于：1、本专利技术建立了一种面向工业装备上生产的通用的大数据计算架构，满足不同用户、多层次、多元化的大数据计算与应用需求；2、本专利技术的系统架构基于PaaS平台的Docker容器技术，并在设计上区分工业装备冷热数据，实现动态的、高效的海量数据管理能力；3、本专利技术的系统架构使系统具备自更新、自重组能力，能够快速、灵活实现用户的业务需求，为系统的功能扩展打下基础；4、使用本专利技术系统架构设计的系统可以提高工业生产过程的可靠性，降低运营成本，提高生产效率，为工业生产过程优化提供参考。附图说明图1本专利技术所提供的基于PaaS平台的工业大数据计算架构示意图；图2本专利技术所提供的基于PaaS平台的工业大数据计算平台物理拓扑结构示意图；图3为本专利技术提供的基于PaaS平台的工业大数据系统工作示意图。具体实施方式为了保障系统架构的适用性，本专利技术提供了一种基于PaaS平台的工业大数据计算架构，以下结合附图及实施案例，对本专利技术进行进一步详细说明。如图1所示，为了满足不同工业装备生产的需求，本专利技术提供了一种基于PaaS平台的工业大数据计算架构，从上至下且从中间到两边层次包括：接口层、数据服务层、数据计算层、数据存储层、PaaS云平台层、基础设施层、数据层、信息管理层、集群管理层。其中，接口层用于实现和外部系统的通信和交互。该层将数据服务层提供的服务以接口的形式外放出来，标准化通讯规范，使系统拥有极好的可扩展性和生命力；数据服务层提供标准的数据服务，这些服务是应用层面的，一方面为接口层提供支持，另一方面为整个系统的数据管理和应用提供服务。这些数据服务包括工业数据的预处理、数据存储、数据查询、数据分析、数据训练、数据预测等等；数据计算层用于为数据服务层提供标准的大数据计算方式，将上层数据服务应用以大数据的形式加以计算和处理，提供的大数据计算形式包括图形图像大数据计算、流数据计算、海量数据切片计算、内存计算等，良好的数据计算层架构丰富了平台架构的计算能力和形式，是数据服务层和数据存储层的交互桥梁；数据存储层主要提供了“冷热数据”分开管理的能力，本文档来自技高网...

【技术保护点】
一种基于PaaS平台的工业大数据计算架构，其特征在于，该工业大数据计算架构从上到下依次包括：接口层、数据服务层和数据支持层；所述数据服务层连接实时数据层和历史数据层；所述数据支持层连接信息管理层和集群管理层；所述接口层，用于提供对外接口服务，提供与其他系统的数据访问接口；所述数据服务层，用于提供数据应用服务，提供应用管理人员的服务功能接口；和所述数据支持层，用于提供基于Docker容器的PaaS云平台层，通过监控集群的负载情况，分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源；所述信息管理层，用于提供管理平台和应用服务数据，通过管理系统管理工业生产的相关信息；还用于管理数据支持层的各项资源配置信息和数据库，通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务；所述集群管理层，用于提供大数据集群环境的管理和维护，用于管理数据支持层的支持和调度资源，提供web作为接口的人际交互形式监控和调度数据支持层的各项资源与服务。

【技术特征摘要】
1.一种基于PaaS平台的工业大数据计算架构，其特征在于，该工业大数据计算架构从上到下依次包括：接口层、数据服务层和数据支持层；所述数据服务层连接实时数据层和历史数据层；所述数据支持层连接信息管理层和集群管理层；所述接口层，用于提供对外接口服务，提供与其他系统的数据访问接口；所述数据服务层，用于提供数据应用服务，提供应用管理人员的服务功能接口；和所述数据支持层，用于提供基于Docker容器的PaaS云平台层，通过监控集群的负载情况，分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源；所述信息管理层，用于提供管理平台和应用服务数据，通过管理系统管理工业生产的相关信息；还用于管理数据支持层的各项资源配置信息和数据库，通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务；所述集群管理层，用于提供大数据集群环境的管理和维护，用于管理数据支持层的支持和调度资源，提供web作为接口的人际交互形式监控和调度数据支持层的各项资源与服务。2.根据权利要求1所述的基于PaaS平台的工业大数据计算架构，其特征在于，所述接口层包括协议接口、服务接口和二次开发接口；所述协议接口，用于为外部系统提供标准化的工业生产的协议接口，包括：通信协议接口、访问协议接口和数据解析接口；所述服务接口，用于为外部系统提供应用服务接口，外部系统能够通过调用该接口访问工业平台中的数据和应用，包括数据预处理接口、数据查询接口、数据分析接口和数据挖掘接口；所述二次开发接口用于为第三方平台和研发人员提供开发接口，包括数据接口、算法接口、数据分析接口和数据挖掘接口。3.根据权利要求2所述的基于PaaS平台的工业大数据计算架构，其特征在于，所述数据服务层为接口层提供基础性的、通用的构件以及构件调用的服务接口；所述构件采用服务注册的形式定义构件的接口数据、交互和日志内容；所述数据服务层包括数据处理、数据分析和数据挖掘；所述数据处理包括数据清洗、数据...

【专利技术属性】
技术研发人员：高健，杨浩，汪家全，房红征，罗凯，王晓栋，杜方洲，刘程林，
申请(专利权)人：北京航天测控技术有限公司，
类型：发明
国别省市：北京,11