适用于工厂自动排产的数据采集与处理的方法及系统技术方案

本发明专利技术提供了一种适用于工厂自动排产的数据采集与处理系统及方法，包括：数据抽取及其监控模块：从外围系统自动抽取排产所需要的主数据及业务数据，为排产系统提供实时高效的输入，并通过数据抽取监控模块监控数据的连通性；数据清洗模块：对于抽取到的排产所需要的主数据及业务数据，通过数据类型统一转换、空数据赋缺省值、数据排序与拆分及无用数据过滤等方式进行清洗处理，得到标准的结构化数据，输入至自动化排产计算系统。通过采用高可用、高性能的数据抽取技术外围系统数据，该方法可监控多种数据库且适合抽取大批量实时数据，在数据量较大的情况下，既降低了对源端系统性能的影响，又提升了数据传输的速度。

【技术实现步骤摘要】
适用于工厂自动排产的数据采集与处理的方法及系统
本专利技术涉及汽车行业智能制造领域，具体地，涉及适用于工厂自动排产的数据采集与处理的方法及系统。
技术介绍
随着工厂机械化水平和设备柔性化水平的提高，产品品种的增多，工艺复杂度的上升，市场需求的快速波动，传统基于人工数据导入的单机版排产系统或者手工排产的方式已经无法满足计划排产和拉料对生产过程人机料异常、运输过程异常和需求波动响应速度，导致工厂产生了很多应急成本、产能浪费和交付异常。问题体现在以下几个方面：(1)工厂自身仅有设备数据和过程数据采集能力，但是没有快速处理和分析大批量数据的技术和相关经验，导致很多过程数据没有实时抽取到对应具有数据分析和预警能力的系统中去；(2)依赖人工经验或简单的数据清洗工具很难快速准确对有效数据进行过滤，且就算过滤出了有效数据，这些数据背后的价值和问题也很难通过有效的方式保存下来，作为相似数据的分类参考；(3)主数据和业务数据的数据联通性、准确性、完整性监控主要靠线下人工核对，对于低频更新、数据量不大的数据勉强可以支持，对于极高频甚至近似实时、数据量较大的扫描数据传输过程是否有问题，数据是否完整可用，没有行之有效且统一的24小时自动监控和报警平台；(4)以往数据的归属和权限为线下邮件分组管理，或系统用户的上传权限控制，数据本身的权限角色、用户和部门没有得到有效划分，导致数据更新不及时，数据问题无法按照角色和用户追溯，数据的不准确导致对数据准确性和实时性有较高要求的排产系统无法正常使用。申请号为CN201710464866.1的中国专利，公开了“一种基于多平台自主预测的智能运维告警过滤方法及系统”的这种系统，其主要功能点侧重数据质量检查，与本专利相同的是都有对于数据质量检查功能与方法的介绍，但不同的是，本专利主要针对自动化排产系统，且本专利介绍了在数据质量检查前后的其他数据采集及处理的方法，仅凭该专利方法只能提升数据的准确性，并不能有针对性地解决排产系统数据实时性的问题。申请号为CN201811408246.7的中国专利，公开了“一种基于大数据的电力协议库存履约监控方法”的这种方法，其主要功能点侧重于对协议库存执行风险的分析算法和预警，与本专利相同的是，二者均适用于排产系统，都是对于排产系统相关数据的处理和监控方法，但不同的是，该专利主要是针对排产系统库存数据的处理，并不能适用于排产过程中其他主数据和业务数据。申请号为CN201510021667.4的中国专利，公开了“数据处理方法和系统”的这种方法，其主要侧重于介绍排产系统在生产计划计算中所用到的数学模型，与本专利相同的是二者均适用于排产系统，但不同的是，该专利主要介绍的是数据进入排产计算模型后，如何适应算法模型处理数据以实现生产排程中的目标与约束，并没有对数据进入算法模型前的处理方法进行介绍，而本专利则覆盖了排产系统全流程的数据处理。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种适用于工厂自动排产的数据采集与处理的方法及系统。根据本专利技术提供的一种适用于工厂自动排产的数据采集与处理系统，包括：数据抽取及其监控模块：从外围系统自动抽取排产所需要的主数据及业务数据，为排产系统提供实时高效的输入，并通过数据抽取监控模块监控数据的连通性；数据清洗模块：对于抽取到的排产所需要的主数据及业务数据，通过数据类型统一转换、空数据赋缺省值、数据排序与拆分及无用数据过滤等方式进行清洗处理，得到标准的结构化数据，输入至自动化排产计算系统；数据质量检查模块：检查自动化排产计算中所需要输入的主数据和业务数据是否缺失以及是否合规；数据权限控制模块：对不同角色的用户设置不同的数据权限；数据镜像模块：由于自动化排产输入的数据不断更新，每次进行排产计算时，以触发计算当下的所有输入数据作镜像，以数据快照的形式复制并保存于数据库；数据调度模块：排产及自动拉料包括多个计算小模型，用户从web端触发不同计算类型或系统根据数据识别到不同的场景时，传入不同的调度参数,根据不同的接口参数调用算法平台中不同的计算模型；数据版本管理模块：自动记录历史版本的所有输入输出数据，并在web端展示供用户和管理员查询，同一计算版本的算法输入数据及输出数据以相同版本号标识出版本绑定关系。优选地，所述数据抽取及其监控模块包括：数据抽取子模块：基于各工厂的系统及其数据库现状，选择一种合适的高性能、高可用、支持集群部署的消息中间件，包括：Kafka，RabbitMQ，RocketMQ，用于实时采集生产现场报工、移库、收货、发运、料架出入库数据，以保证数据的实时性，满足工厂连贯生产，数据不间断传输的要求；数据抽取监控子模块：使用自主搭建的数据抽取运维平台监控数据连通性，平台具有如下功能：日志保留与展示功能：所有数据抽取日志，包含抽取时间、生产数据量、消费数据量及抽取失败的记录均在数据库保留，并在平台的页面上展示；失败报警功能：抽取产生失败记录时，平台将通过在页面消息提醒和预警邮件发送两种形式，反馈至相关人员，便于相关人员更加及时发现问题；手动触发重处理功能：该平台支持用户在页面上基于报错信息对自动抽取失败的数据手动触发重处理；映射关系配置功能：当抽取表或字段的映射关系发生变化时，平台支持用户通过页面操作实现抽取表和抽取字段映射关系的新增、删除及修改；所述外围系统指智能制造工厂中与自动化排产系统有数据交互的上下游系统，包括：企业资源计划系统ERP、生产执行系统MES、仓储管理系统WMS以及物流执行系统LES；所述主数据及业务数据：主数据包括：排产零件主数据、排产设备主数据、排产模具主数据、客户零件关系数据、设备-模具-零件对应关系数据、零件生产节拍数据、料架主数据以及物料BOM数据；业务数据包括：需求计划、模具更换耗时、设备宕机日志以及生产报工数据。优选地，所述数据质量检查模块包括：数据质量检查基准及频次自定义子模块：定期对对清洗后的数据进行校验，以用户选定的基准数据作为校验主表，基于用户设定的校验规则对于其他数据自动进行数据完整性及准确性的检查，并统计数据量，根据校验结果生成数据质量检查报告并发送至相关用户；数据质量预警子模块：对于每次数据质量检查中发现的数据问题，以实时页面消息提醒或预警邮件通知责任用户，告知该数据问题可能导致的风险，并提醒用户补充缺失数据或修正错误数据。优选地，所述数据权限控制模块：避免由用户越权操作或无关用户误操作导致的错误生产指导，对生产数据设置多项权限，包括：工厂权限：系统支持对不同角色的用户设置不同的工厂权限，各工厂下的所有数据仅对拥有该工厂权限的用户可见；工序权限：系统支持对不同角色的用户设置不同的工序权限，各工序下的所有数据仅对拥有该工序权限的用户可见；产线权限：系统支持对不同角色的用户设置不同的产线权限，各产线下的所有数据仅对拥有该产线权限的用户可见；客本文档来自技高网...

【技术保护点】
1.一种适用于工厂自动排产的数据采集与处理系统，其特征在于，包括：/n数据抽取及其监控模块：从外围系统自动抽取排产所需要的主数据及业务数据，为排产系统提供实时高效的输入，并通过数据抽取监控模块监控数据的连通性；/n数据清洗模块：对于抽取到的排产所需要的主数据及业务数据，通过数据类型统一转换、空数据赋缺省值、数据排序与拆分及无用数据过滤等方式进行清洗处理，得到标准的结构化数据，输入至自动化排产计算系统；/n数据质量检查模块：检查自动化排产计算中所需要输入的主数据和业务数据是否缺失以及是否合规；/n数据权限控制模块：对不同角色的用户设置不同的数据权限；/n数据镜像模块：由于自动化排产输入的数据不断更新，每次进行排产计算时，以触发计算当下的所有输入数据作镜像，以数据快照的形式复制并保存于数据库；/n数据调度模块：排产及自动拉料包括多个计算小模型，根据从web端触发的不同计算类型或根据数据识别到不同的场景时，传入不同的调度参数,根据不同的接口参数调用算法平台中不同的计算模型；/n数据版本管理模块：自动记录历史版本的所有输入输出数据，并在web端展示供用户和管理员查询，同一计算版本的算法输入数据及输出数据以相同版本号标识出版本绑定关系。/n...

【技术特征摘要】
1.一种适用于工厂自动排产的数据采集与处理系统，其特征在于，包括：
数据抽取及其监控模块：从外围系统自动抽取排产所需要的主数据及业务数据，为排产系统提供实时高效的输入，并通过数据抽取监控模块监控数据的连通性；
数据清洗模块：对于抽取到的排产所需要的主数据及业务数据，通过数据类型统一转换、空数据赋缺省值、数据排序与拆分及无用数据过滤等方式进行清洗处理，得到标准的结构化数据，输入至自动化排产计算系统；
数据质量检查模块：检查自动化排产计算中所需要输入的主数据和业务数据是否缺失以及是否合规；
数据权限控制模块：对不同角色的用户设置不同的数据权限；
数据镜像模块：由于自动化排产输入的数据不断更新，每次进行排产计算时，以触发计算当下的所有输入数据作镜像，以数据快照的形式复制并保存于数据库；
数据调度模块：排产及自动拉料包括多个计算小模型，根据从web端触发的不同计算类型或根据数据识别到不同的场景时，传入不同的调度参数,根据不同的接口参数调用算法平台中不同的计算模型；
数据版本管理模块：自动记录历史版本的所有输入输出数据，并在web端展示供用户和管理员查询，同一计算版本的算法输入数据及输出数据以相同版本号标识出版本绑定关系。


2.根据权利要求1所述的适用于工厂自动排产的数据采集与处理系统，其特征在于，所述数据抽取及其监控模块包括：
数据抽取子模块：基于各工厂的系统及其数据库现状，选择一种合适的高性能、高可用、支持集群部署的消息中间件，包括：Kafka，RabbitMQ，RocketMQ，用于实时采集生产现场报工、移库、收货、发运、料架出入库数据，以保证数据的实时性，满足工厂连贯生产，数据不间断传输的要求；
数据抽取监控子模块：使用自主搭建的数据抽取运维平台监控数据连通性，平台具有如下功能：
日志保留与展示功能：所有数据抽取日志，包含抽取时间、生产数据量、消费数据量及抽取失败的记录均在数据库保留，并在平台的页面上展示；
失败报警功能：抽取产生失败记录时，平台将通过在页面消息提醒和预警邮件发送两种形式，反馈至相关人员，便于相关人员更加及时发现问题；
手动触发重处理功能：该平台支持用户在页面上基于报错信息对自动抽取失败的数据手动触发重处理；
映射关系配置功能：当抽取表或字段的映射关系发生变化时，平台支持用户通过页面操作实现抽取表和抽取字段映射关系的新增、删除及修改；
所述外围系统指智能制造工厂中与自动化排产系统有数据交互的上下游系统，包括：企业资源计划系统ERP、生产执行系统MES、仓储管理系统WMS以及物流执行系统LES；
所述主数据及业务数据：
主数据包括：排产零件主数据、排产设备主数据、排产模具主数据、客户零件关系数据、设备-模具-零件对应关系数据、零件生产节拍数据、料架主数据以及物料BOM数据；
业务数据包括：需求计划、模具更换耗时、设备宕机日志以及生产报工数据。


3.根据权利要求1所述的适用于工厂自动排产的数据采集与处理系统，其特征在于，所述数据质量检查模块包括：
数据质量检查基准及频次自定义子模块：定期对对清洗后的数据进行校验，以用户选定的基准数据作为校验主表，基于用户设定的校验规则对于其他数据自动进行数据完整性及准确性的检查，并统计数据量，根据校验结果生成数据质量检查报告并发送至相关用户；
数据质量预警子模块：对于每次数据质量检查中发现的数据问题，以实时页面消息提醒或预警邮件通知责任用户，告知该数据问题可能导致的风险，并提醒用户补充缺失数据或修正错误数据。


4.根据权利要求1所述的适用于工厂自动排产的数据采集与处理系统，其特征在于，所述数据权限控制模块：
避免由用户越权操作或无关用户误操作导致的错误生产指导，对生产数据设置多项权限，包括：
工厂权限：系统支持对不同角色的用户设置不同的工厂权限，各工厂下的所有数据仅对拥有该工厂权限的用户可见；...

【专利技术属性】
技术研发人员：林春莹，周梅，凌晓强，张椿琳，王亚中，顾恩君，张雪，贾娜娜，
申请(专利权)人：上海数策软件股份有限公司，
类型：发明
国别省市：上海;31