一种工业大数据处理系统及方法技术方案

本发明专利技术公开一种工业大数据处理系统及方法，包括ETL服务集群、数据源和用户端，所述用户端和数据源分别连接至ETL服务集群；所述ETL服务集群包括管理服务器和分布式并列的多个执行服务器，每个执行服务器连接至相同或不同的数据源，所有执行服务器均连接至管理服务器。本发明专利技术采用分布式、高可用的方式部署工业数据处理的整个过程，以确保系统的健壮性、数据的安全性和一致性；能够快速提升工业数据处理分析速度和精度，能够实现大量数据查询分析。

An Industrial Large Data Processing System and Method

The invention discloses an industrial large data processing system and method, including an ETL service cluster, a data source and a user terminal, which are connected to an ETL service cluster respectively; the ETL service cluster comprises a management server and a plurality of distributed parallel execution servers, each of which is connected to the same or different data sources, and all execution servers are connected to the ETL service cluster. Manage the server. The invention deploys the whole process of industrial data processing in a distributed and highly available manner to ensure the robustness of the system, the security and consistency of the data, and can rapidly improve the speed and accuracy of industrial data processing and analysis, and can realize a large number of data query and analysis.

【技术实现步骤摘要】
一种工业大数据处理系统及方法
本专利技术属于工业数据处理
，特别是涉及一种工业大数据处理系统及方法。
技术介绍
数据是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理系统，用来记录事务处理的各种相关数据。据统计，数据量每2～3年就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所利用的通常只占在总数据量的2％～4％，仍没有最大化地利用已存在的数据资源。因此，企业如何通过各种技术手段把数据转换为信息和知识，已经成为提高其核心竞争力的主要瓶颈。由于工厂生产工业过程比较复杂，且入库时间不能反映业务增量，无法进行业务分区转换。面对海量和复杂的工业数据，常用的数据处理方统计分析速度慢，难以进行大量数据查询分析。
技术实现思路
为了解决上述问题，本专利技术提出了一种工业大数据处理系统及方法，工业数据处理的整个过程采用分布式、高可用的方式进行部署，以确保系统的健壮性、数据的安全性和一致性；能够快速提升工业数据处理分析速度和精度，能够实现大量数据查询分析。为达到上述目的，本专利技术采用的技术方案是：一种工业大数据处理系统，包括ETL服务本文档来自技高网...

【技术保护点】
1.一种工业大数据处理系统，其特征在于，包括ETL服务集群、数据源和用户端，所述用户端和数据源分别连接至ETL服务集群；所述ETL服务集群包括管理服务器和分布式并列的多个执行服务器，每个执行服务器连接至相同或不同的数据源，所有执行服务器均连接至管理服务器；所述管理服务器包括后台的控制节点和内嵌的Web服务器，提供ETL执行程序的状态管理、分发管理和结果管理；所述执行服务器是执行ETL程序的容器，接收管理服务器分发的任务，接收外部数据源执行ETL程序，反馈结果至管理服务器；反馈结果中包含该任务执行中的日志操作记录以及性能监控，所述性能监控包括提供执行任务过程中的任务结果和执行日志。

【技术特征摘要】
1.一种工业大数据处理系统，其特征在于，包括ETL服务集群、数据源和用户端，所述用户端和数据源分别连接至ETL服务集群；所述ETL服务集群包括管理服务器和分布式并列的多个执行服务器，每个执行服务器连接至相同或不同的数据源，所有执行服务器均连接至管理服务器；所述管理服务器包括后台的控制节点和内嵌的Web服务器，提供ETL执行程序的状态管理、分发管理和结果管理；所述执行服务器是执行ETL程序的容器，接收管理服务器分发的任务，接收外部数据源执行ETL程序，反馈结果至管理服务器；反馈结果中包含该任务执行中的日志操作记录以及性能监控，所述性能监控包括提供执行任务过程中的任务结果和执行日志。2.根据权利要求1所述的一种工业大数据处理系统，其特征在于，所述管理服务器包括元数据库、DAO模块、业务数据库和数据仓库；所述管理服务器还包括控制管理单元；所述元数据库、业务数据库和数据仓库均连接至DAO模块，所述DAO模块通过控制管理单元连接至WEB操作界面；所述元数据库，连接数据源，记录执行服务器执行任务的情况，作为抽取工作的核心，储存数据抽取工作所需信息的全部数据；所述DAO模块，用于指定访问的数据库和数据表；所述业务数据库，连接数据源，获取外部业务系统数据，储存数据整合所需的全部数据；所述数据仓库，将获取的数据源数据经过清洗和转换后，按照主题载入到根据业务逻辑和数据关联低度主题化构成的主题数据表中；所述控制管理单元，通过WEB操作界面控制执行服务器执行ETL程序的状态管理、分发管理和结果管理。3.根据权利要求2所述的一种工业大数据处理系统，其特征在于，所述元数据库数据包括生产履历数据、不良检测数据、特征值数据和测量数据。4.根据权利要求3所述的一种工业大数据处理系统，其特征在于，所述数据仓库中包括实现增量的数据导入功能模块，以时间增量和字段增量导入数据；当数据增量进入到ODS层实现业务处理逻辑，整合完成后将筛选完成的数据导入数据事实表。5.根据权利要求4所述的一种工业大数据处理系统，其特征在于，在所述数据仓库是主题化的随时间逐渐增长的数据集合体，包括贴源层、ODS层、数据仓库层、数据集市层和数据应用层；所述贴源层：存储由元数据库和业务数据库中选定的表中的数据，包含抽取时间在内的时间戳；所述ODS层：是数据到数据仓库层之前的过度存储空间，进行数据...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：四川,51