锂电池生产制造业数据的预处理方法及系统技术方案

本发明专利技术提供锂电池生产制造业数据的预处理方法及系统，方法包括：在数据采集阶段，将设备端采集到的待预处理数据推送至数据缓存队列kafka中；根据所述待预处理数据，在数据库mysql中构建业务规则表；根据预置开发规则及所述业务规则表，配置可视化界面；按照设计库表分类数据，根据字段starrocks获取连接信息，以将不同部门的预处理数据置于对应目标库，以在hive构建不同主题域的数仓；编写flink Sql程序，据以处理所述数仓中的预处理数据，以得到各工序的产出及投入数据；设置邮件规则，据以从产出及投入数据中获取告警信息，以解析并调整异常字段。本发明专利技术解决了业务导向不明确、规则多变以及重复开发的技术问题。规则多变以及重复开发的技术问题。规则多变以及重复开发的技术问题。

【技术实现步骤摘要】
锂电池生产制造业数据的预处理方法及系统


[0001]本专利技术涉及新能源生产制造数据处理
，具体涉及锂电池生产制造业数据的预处理方法及系统。

技术介绍

[0002]电芯在生产过程中会产生大量的数据，这些数据记录着电芯流转的工序信息以及每道工序的参数信息。数据是数字化经济的核心要素，借助数据分析，可以有效追溯到电芯在每道工序中的状态信息，找到电芯在生产过程中最佳的外部条件。合理有效的使用数据，不仅可以定位生产过程中出现的问题还可以优化生产步骤从而规避问题的产生。
[0003]锂电池电芯生产过程中涉及几十多道相互关联的工序，涉及到的控制参数多达数千种，因此一个电芯会产生大量的数据。数据时效性是数据的价值体现之一，通过对数据的预处理，可以使我们在大量的过程数据中快速有效的构建数据分析模型从而发挥数据的价值。
[0004]公布号为CN112287007A的现有专利技术专利申请文献《基于Flink SQL引擎的工业生产数据实时处理方法、系统》方法包括：Flink SQL任务配置；对接工业企业生产设备数据，在开源的Flink Table连接器中扩展RabbitMQ Source连接器；扩展额外的自定义函数；执行数据ETL流程，创建中间表；根据不同ETL流程处理，持久化到不同的数据库；设置任务提交运行模式。以及公布号为CN109739818A的现有专利技术专利申请文献《一种便捷式高吞吐量大数据采集方法及系统》采用的技术方案为：一种便捷式高吞吐量大数据采集方法，该方法是由中央服务器发送指令，各集群服务器启动logstash，通过datatrains的etcd组件读取配置参数，自动生成响应的配置文件，Logstash读取配置文件，按照配置文件收集各种数据库数据，整理后以消息的形式通过Kafka发送给各服务器，kafka与logstash配合在消费端按照相应的格式将收集的数据暂存；中央服务器调用相关组件，处理收集过来的相关数据。目前的数据预处理只限于数据的本身，包括数据去重、数据格式校验、数据脱敏等。面对电芯生产过程中产生的大量过程数据，做不到快速有效的针对性分析使用。
[0005]目前对于锂电池数据缺乏业务导向的预处理，开展新的业务时需对数据进行层层加工。
[0006]目前数据为mes系统提供，所有数据均糅合在一起，在处理业务时，需根据不同的业务对字段进行筛选加工。在处理不同的业务时需要开发不同清洗程序，重复开发。
[0007]综上，现有技术存在业务导向不明确、规则多变以及重复开发的技术问题。

技术实现思路

[0008]本专利技术所要解决的技术问题在于如何解决现有技术中业务导向不明确、规则多变以及重复开发的技术问题。
[0009]本专利技术是采用以下技术方案解决上述技术问题的：锂电池生产制造业数据的预处理方法包括：
[0010]S1、在数据采集阶段，将设备端采集到的待预处理数据推送至数据缓存队列kafka中；
[0011]S2、根据所述待预处理数据，在数据库mysql中构建业务规则表；
[0012]S3、根据预置开发规则及所述业务规则表，配置可视化界面；
[0013]S4、按照设计库表分类数据，根据字段starrocks获取连接信息，以将不同部门的预处理数据置于对应目标库，以在hive构建不同主题域的数仓；
[0014]S5、编写flink Sql程序，据以处理所述数仓中的预处理数据，以得到各工序的产出及投入数据；
[0015]S6、设置邮件规则，据以从产出及投入数据中获取告警信息，以解析并调整异常字段。
[0016]本专利技术在对锂电池数据落地前，进行预处理，将数据规则剥离出去，结合动态规则表的方式将数据提前处理成我们想要的业务导向数据，从而可以快速有效的进行数据分析，解决了业务导向不明确，规则多变问题。
[0017]在更具体的技术方案中，步骤S1中，将数据从预置源数据库实时推送至所述kafka中，其中，所述预置数据库包括：oracle、tidb。
[0018]在更具体的技术方案中，步骤S2中，所述业务规则表包括：规则唯一标识、规则类型、规则使用人、业务规则内容、规则有效标识、规则生成时间以及数据库表信息。
[0019]本专利技术针对现有技术数据预处理限于数据本身，数据本身缺乏对数据进行任何操作。需要对数据进行建模分析还需要进行层层加工，将数据加工成符合分析建模的数据格式的缺陷。本专利技术通过构建业务规则表，在数据接入阶段对数据按照业务导向进行预处理，方便快速对数据进行分析建模。
[0020]在更具体的技术方案中，步骤S3中，所述可视化界面的显示内容包括：当前所有flink消费kafka的数据程序、每条程序对应消费的数据源字段。
[0021]在更具体的技术方案中，步骤S3中，通过预置前端设备，将所述可视化界面的显示内容传入后端，据以将所述待预处理数据写入mysql。
[0022]在更具体的技术方案中，步骤S4中，所述设计库表分类数据包括：业务分类、部门分类以及数仓分类。
[0023]在更具体的技术方案中，步骤S4包括：
[0024]S41、所述后端接收所述预置前端设备的用户填写字段值，据以将用户数据保存至所述数据库mysql；
[0025]S42、利用flink cdc捕获所述待预处理数据，切分所述待预处理数据，以确定所述对应目标库；
[0026]S43、根据字段starrocks，从各种库的连接信息中获取库连接信息，以将预处理数据写入对应库表。
[0027]在更具体的技术方案中，步骤S43中，获取并根据properties文件，预配置所述各种库的连接信息。
[0028]本专利技术针对锂电池制造过程中产生的大量数据，构建业务规则表可以使程序不中断直接处理数据。同时满足多种逻辑处理的数据落地。避免重复开发程序。算法人员以及数据使用人员可以也直接对源数据进行处理，方便自身分析和查看。对快速构建锂电池各项
性能指标分析提供数据支撑。
[0029]在更具体的技术方案中，步骤S5包括：
[0030]S51、利用flink cdc捕获所述预处理数据，获取规则内容字段值，据以结合用户输入数据获取适用sql语句；
[0031]S52、封装所述适用sql语句，以得到string类型数据；
[0032]S53、利用预置flink方法执行所述适用sql语句，以处理所述预处理数据，据以获取每道工序的所述产出及投入数据。
[0033]本专利技术结合flinksql，将处理数据的逻辑以sql展现，并剥离出来放入规则表中，以处理程序+动态规则表+捕获规则程序/手工添加规则的模式，可以很好的将数据预处理成以业务为导向的数据。
[0034]在更具体的技术方案中，锂电池生产制造业数据的预处理系统包括：
[0035]数据采集推送模块，用以在数据采集阶段，将设备端采集到的待预处理数据推送至数据缓存队列kafka中；
[0036]业务表构建模块，根据所述待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.锂电池生产制造业数据的预处理方法，其特征在于，所述方法包括：S1、在数据采集阶段，将设备端采集到的待预处理数据推送至数据缓存队列kafka中；S2、根据所述待预处理数据，在数据库mysql中构建业务规则表；S3、根据预置开发规则及所述业务规则表，配置可视化界面；S4、按照设计库表分类数据，根据字段starrocks获取连接信息，以将不同部门的预处理数据置于对应目标库，以在hive构建不同主题域的数仓；S5、编写flink Sql程序，据以处理所述数仓中的预处理数据，以得到各工序的产出及投入数据；S6、设置邮件规则，据以从所述产出及投入数据中获取告警信息，以解析并调整异常字段。2.根据权利要求1所述的锂电池生产制造业数据的预处理方法，其特征在于，所述步骤S1中，将数据从预置源数据库实时推送至所述kafka中，其中，所述预置数据库包括：oracle、tidb。3.根据权利要求1所述的锂电池生产制造业数据的预处理方法，其特征在于，所述步骤S2中，所述业务规则表包括：规则唯一标识、规则类型、规则使用人、业务规则内容、规则有效标识、规则生成时间以及数据库表信息。4.根据权利要求1所述的锂电池生产制造业数据的预处理方法，其特征在于，所述步骤S3中，所述可视化界面的显示内容包括：当前所有flink消费kafka的数据程序、每条程序对应消费的数据源字段。5.根据权利要求1所述的锂电池生产制造业数据的预处理方法，其特征在于，所述步骤S3中，通过预置前端设备，将所述可视化界面的显示内容传入后端，据以将所述待预处理数据写入mysql。6.根据权利要求1所述的锂电池生产制造业数据的预处理方法，其特征在于，所述步骤S4中，所述设计库表分类数据包括：业务分类、部门分类以及数仓分类。7.根据权利要求1所述的锂电池生产制造业数据的预处理方法，其特征在于，所述步骤S4包括：S41、所述后端接收所述预置前端设备的用户填写字段值，据以将...

【专利技术属性】
技术研发人员：吴元，徐嘉文，王昴，秦天，
申请(专利权)人：合肥国轩高科动力能源有限公司，
类型：发明
国别省市：