一种注塑成型装备大数据采集系统及方法技术方案

本发明专利技术公开了一种注塑成型装备大数据采集系统及方法，该系统包括：数据采集模块，用于采集注塑成型装备的生产数据；Kafka生产者集群，包括至少一个消息生产者，用于将注塑成型装备的生产数据写入Kafka集群中；Kafka集群，包括至少一个服务器，用于为注塑成型装备的生产数据创建数据标题及实现Kafka生产者集群写入的生产数据的存储；Kafka消费者集群，包括至少一个消息消费者，用于订阅Kafka集群中的数据标题以获取对应的生产数据，并将获取的生产数据存储到分布式数据库中；分布式数据库，用于存储生产数据以供第三方进行离线数据分析。上述系统能够存储海量数据且稳定性较高、数据实时处理能力较好。

Large data acquisition system and method for injection molding equipment

The invention discloses a large data acquisition system and method for injection molding equipment. The system includes: data acquisition module, used for collecting production data of injection molding equipment; Kafka producer cluster, including at least one message producer, is used to write production data of injection molding equipment into Kafka cluster; Kafka cluster At least one server is used to create data titles for the production data of the injection molding equipment and to store the storage of production data written by the Kafka producer cluster; the Kafka consumer cluster, including at least one message consumer, is used to subscribe to the data title in the Kafka cluster to obtain corresponding production data, and will be obtained. The production data is stored in the distributed database, and the distributed database is used to store production data for the third party to conduct off-line data analysis. The above system can store massive data with high stability and real-time data processing capability.

【技术实现步骤摘要】
一种注塑成型装备大数据采集系统及方法
本专利技术涉及大数据处理
，更具体地说，涉及一种注塑成型装备大数据采集系统及方法。
技术介绍
注塑成型装备生产数据的传统采集方法是OPC通讯。具体来说，OPC服务器连接现场注塑成型装备，用户按照OPC协议编写OPC客户端连接OPC服务器，并以标准OPC读写方式访问OPC服务器接口获得所需数据。这种方式将采集到的生产数据存储在数据库中，但是随着注塑成型装备的增加，存储的生产数据将不断增加，传统数据库无法存储海量生产数据，同时，由于同一时刻数据库访问量也将不断增大，使得进行数据分析处理时需要消耗大量系统资源(数据库查询、网络调用等)，导致系统稳定性降低，数据实时处理能力差。综上所述，如何提供一种能够存储海量数据且稳定性较高、数据实时处理能力较好的数据采集技术方案，是目前本领域技术人员亟待解决的问题。
技术实现思路
本专利技术的目的是提供一种注塑成型装备大数据采集系统及方法，能够存储海量数据且稳定性较高、数据实时处理能力较好。为了实现上述目的，本专利技术提供如下技术方案：一种注塑成型装备大数据采集系统，包括：数据采集模块，用于采集所述注塑成型装备的生产数据；Kafka生产者集群，包括至少一个消息生产者，所述消息生产者用于将所述注塑成型装备的生产数据写入Kafka集群中；Kafka集群，包括至少一个服务器，所述服务器用于为注塑成型装备的生产数据创建数据标题及实现所述Kafka生产者集群写入的生产数据的存储；Kafka消费者集群，包括至少一个消息消费者，所述消息消费者用于订阅所述Kafka集群中的数据标题以获取对应的生产数据，并将获取的所述生产数据存储到分布式数据库中；分布式数据库，用于存储所述生产数据以供第三方进行离线数据分析。优选的，还包括：数据存储模块，用于存储所述注塑成型装备的生产数据以供对应的生产管理系统进行实时数据分析。优选的，所述数据存储模块采用关系型数据库实现数据存储。优选的，还包括：数据处理模块，用于将所述数据采集模块采集到的生产数据进行分类，将分类得到的各类生产数据进行统一格式化及压缩打包得到对应的数据包，并将所述数据包分发至所述Kafka生产者集群及所述数据存储模块。优选的，所述服务器包括：Kafka单元，用于创建与所述注塑成型装备的生产数据的类型一一对应的数据标题，配置与所述数据标题一一对应的数据分区，将所述数据包还原至对应的生产数据，并基于生产数据、数据标题及数据分区的对应关系将还原得到的所述生产数据存储至对应的数据分区中。优选的，所述Kafka单元还用于为每个所述数据分区配置对应的数据备份。优选的，所述Kafka生产者集群包括的消息生产者的数量与所述数据采集模块的数量相同，每一个所述数据采集模块对应一个所述消息生产者。优选的，所述Kafka消息消费者集群包括的消息消费者的数量与所述数据分区的数量相同，每一个所述消息消费者对应一个所述数据分区。优选的，所述数据采集模块包括：数据采集单元，用于针对不同类型的生产数据采用对应的同步通信方式或异步通信方式进行生产数据的采集。一种注塑成型装备大数据采集方法，包括：数据采集模块采集所述注塑成型装备的生产数据；Kafka生产者集群中包括的至少一个消息生产者将所述注塑成型装备的生产数据写入Kafka集群中；所述Kafka集群包括的至少一个服务器为注塑成型装备的生产数据创建数据标题，以及实现所述Kafka生产者集群写入的生产数据的存储；Kafka消费者集群包括的至少一个消息消费者订阅所述Kafka集群中的数据标题以获取对应的生产数据，并将获取的所述生产数据存储到分布式数据库中；所述分布式数据库存储所述生产数据以供第三方进行离线数据分析。本专利技术提供了一种注塑成型装备大数据采集系统及方法，其中该系统包括：数据采集模块，用于采集所述注塑成型装备的生产数据；Kafka生产者集群，包括至少一个消息生产者，所述消息生产者用于将所述注塑成型装备的生产数据写入Kafka集群中；Kafka集群，包括至少一个服务器，所述服务器用于为注塑成型装备的生产数据创建数据标题及实现所述Kafka生产者集群写入的生产数据的存储；Kafka消费者集群，包括至少一个消息消费者，所述消息消费者用于订阅所述Kafka集群中的数据标题以获取对应的生产数据，并将获取的所述生产数据存储到分布式数据库中；分布式数据库，用于存储所述生产数据以供第三方进行离线数据分析。本专利技术实施例提供的一种注塑成型装备大数据采集系统，基于包括Kafka生产者集群、Kafka集群及Kafka消费者集群的Kafka消息发布订阅系统，将数据采集到Kafka集群并将数据存储到分布式数据库实现了海量生产数据的存储，解决了传统数据库无法存储海量数据的问题，利用Kafka集群高吞吐性和数据读写速度快的特性，第三方能以低延迟对Kafka集群中的海量生产数据进行分析处理，解决了传统数据采集方案中进行数据分析处理时延时高、系统稳定性差及实时处理能力差的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的注塑成型装备大数据采集系统的结构示意图；图2为本专利技术实施例提供的注塑成型装备大数据采集方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，其示出了本专利技术实施例提供的一种注塑成型装备大数据采集系统的结构示意图，可以包括：数据采集模块11，用于采集注塑成型装备的生产数据；Kafka生产者集群12，包括至少一个消息生产者，消息生产者用于将注塑成型装备的生产数据写入Kafka集群13中；Kafka集群13，包括至少一个服务器，服务器用于为注塑成型装备的生产数据创建数据标题及实现Kafka生产者集群12写入的生产数据的存储；Kafka消费者集群14，包括至少一个消息消费者，消息消费者用于订阅Kafka集群13中的数据标题以获取对应的生产数据，并将获取的生产数据存储到分布式数据库15中；分布式数据库15，用于存储生产数据以供第三方进行离线数据分析。本专利技术实施例提供的注塑成型装备大数据采集系统中，由数据采集模块实现注塑成型装备的生产数据的采集，具体可以是数据采集模块由注塑成型装备的控制器中读取各类生产数据，其中生产数据可以包括注塑成型装备实现生产过程中对应的各种数据，如温度、压力、设置参数等，具体可以根据实际需要确定需要采集哪些生产数据，均在本专利技术的保护范围之内，而数据采集模块可以与现有技术中实现生产数据采集的模块的实现原理一致，当然也可以根据实际需要进行其他设置，在此不再赘述；数据采集模块采集到生产数据之后，Kafka生产者集群中包括的消息生产者能够获取生产数据并将获取的生产数据写入至Kafka集群中；Kafka集群中包括的服务器创建本文档来自技高网...

【技术保护点】
一种注塑成型装备大数据采集系统，其特征在于，包括：数据采集模块，用于采集所述注塑成型装备的生产数据；Kafka生产者集群，包括至少一个消息生产者，所述消息生产者用于将所述注塑成型装备的生产数据写入Kafka集群中；Kafka集群，包括至少一个服务器，所述服务器用于为注塑成型装备的生产数据创建数据标题及实现所述Kafka生产者集群写入的生产数据的存储；Kafka消费者集群，包括至少一个消息消费者，所述消息消费者用于订阅所述Kafka集群中的数据标题以获取对应的生产数据，并将获取的所述生产数据存储到分布式数据库中；分布式数据库，用于存储所述生产数据以供第三方进行离线数据分析。

【技术特征摘要】
1.一种注塑成型装备大数据采集系统，其特征在于，包括：数据采集模块，用于采集所述注塑成型装备的生产数据；Kafka生产者集群，包括至少一个消息生产者，所述消息生产者用于将所述注塑成型装备的生产数据写入Kafka集群中；Kafka集群，包括至少一个服务器，所述服务器用于为注塑成型装备的生产数据创建数据标题及实现所述Kafka生产者集群写入的生产数据的存储；Kafka消费者集群，包括至少一个消息消费者，所述消息消费者用于订阅所述Kafka集群中的数据标题以获取对应的生产数据，并将获取的所述生产数据存储到分布式数据库中；分布式数据库，用于存储所述生产数据以供第三方进行离线数据分析。2.根据权利要求1所述的系统，其特征在于，还包括：数据存储模块，用于存储所述注塑成型装备的生产数据以供对应的生产管理系统进行实时数据分析。3.根据权利要求2所述的系统，其特征在于，所述数据存储模块采用关系型数据库实现数据存储。4.根据权利要求2所述的系统，其特征在于，还包括：数据处理模块，用于将所述数据采集模块采集到的生产数据进行分类，将分类得到的各类生产数据进行统一格式化及压缩打包得到对应的数据包，并将所述数据包分发至所述Kafka生产者集群及所述数据存储模块。5.根据权利要求4所述的系统，其特征在于，所述服务器包括：Kafka单元，用于创建与所述注塑成型装备的生产数据的类型一一对应的数据标题，配置与所述数据标题一一对应的数据分区，将所述数据...

【专利技术属性】
技术研发人员：吴宗泽，朱叶，谢胜利，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44