一种卷烟制丝线生产过程数据清洗系统和方法技术方案

本发明专利技术公开了一种卷烟制丝线生产过程数据清洗系统和方法，涉及烟草生产领域，清洗系统包括：数据配置模块，实时数据库模块，数据提取模块，数据评估模块，数据清洗模块，数据归集模块。能够尽可能保持数据的完整，提高数据的可靠性和数据清洗的处理速度。

A data cleaning system and method for cigarette production line

【技术实现步骤摘要】
一种卷烟制丝线生产过程数据清洗系统和方法
本专利技术涉及烟草生产领域，尤其涉及过程数据一种卷烟制丝线生产过程数据清洗系统和方法。
技术介绍
卷烟制丝线生产过程中，采集了大量的过程数据。主要包含电子秤的累计量、瞬时流量、各主机设备出入口水分、温度等关键工艺数据。采集的数据来自于各传感器及设备，其中包括了大量的无效数据，为了保证数据能够体现实际的烟叶、烟丝的各种水分、温度指标，需要将数据进行清洗。而现有的数据清洗一般基于某个测量值瞬时量来判断生产线上是否有物料，再通过独立的数据点对一个个数据进行处理和清洗，在数据采集时就将大量数据直接去除，而这部分物料在实际上也会对整体物料产生较大影响，最终导致数据不可控，数据可靠性低、处理速度慢，后期的计算失真。
技术实现思路
本专利技术的目的是提供一种卷烟制丝线生产过程数据清洗系统和方法，通过设置数据清洗参数，将过程数据记录后对该批次的数据进行一次性清洗，尽可能保持数据的完整，提高数据清洗的处理速度。为解决上述问题，本专利技术的一个方面提供了一种卷烟制丝线生产过程数据清洗系统，包括：数据配置模块，用于配置对生产线过程数据进行评估的参数，参数包括采集点的采集周期、各工艺点的工艺标准；实时数据库模块，用于实时采集制丝线各生产工序的过程数据，并按时间戳进行储存；数据提取模块，用于从实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理归集为内存数据表并储存；数据评估模块，用于根据数据配置模块配置的参数对数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；数据清洗模块，用于数据提取模块提取的过程数据进行清洗，剔除没有物料经过的数据；数据归集模块，用于对清洗后的数据进行计算整理和存储。更进一步的技术方案是，数据配置模块具体包括以下子模块：数据归集参数配置子模块，用于设置数据提取模块对各生产工序的过程数据整理归集时的每道生产工序的时间偏移量，所述时间偏移量用于将各生产工序的过程数据进行偏移后使每一行数据对应同一段物料；料头料尾数据参数配置子模块：用于设置判断料头和料尾的开始偏移量和结束偏移量，当物料累计重量首次大于开始偏移量之前的数据为料头数据，当物料累计重量首次小于批次总重量与结束偏移量之差后的数据为料尾数据；断料数据参数配置子模块：用于设置以物料瞬时流量为标准的物料断料下限值，以及断料前时间剔除值和断料后时间剔除值；物料瞬时流量数据恰小于断料下限值时为断料开始时刻，下一次物料瞬时流量大于断料下限且持续断料恢复时间时为断料结束时刻；断料前剔除时间和断料后剔除时间用于剔除断料前后非稳态时间内的不稳定数据；异常数据参数配置子模块：用于设置异常数据上限值和下限值，当物料的瞬时流量数据大于异常数据上限值或小于异常数据下限值时为异常数据。更进一步的技术方案是，实时数据库模块将各生产工序实时过程数据以内存数据表的形式进行存储，内存表以时间为主键，包括该工序物料的温度、水分、流量、累计量为数据列。更进一步的技术方案是，数据提取模块将实时数据库模块各生产工序过程数据的内存数据表进行提取，并根据配置模块设置的提取周期、数据延时时间对各个内存数据表进行整列数据前提或者后延处理，然后将各个内存数据表进行合并储存。更进一步的技术方案是，数据评估模块包括以下子模块：料头料尾评估子模块，将内存数据表中的物料累计量与配置模块设定的开始偏移量和结束偏移量进行对比，评估出内存数据表中的料头料尾数据；断料评估子模块，将内存数据表中的物料瞬时流量与配置模块设定的断料下限值进行对比，并且将物料瞬时流量数据恰小于断料下限值为断料开始时刻，物料瞬时流量数据下一次恰大于断料下限值且持续断料恢复时间为断料结束时刻；将断料开始时刻的时间向前推溯断料前时间剔除值，将断料结束时刻的时间向后推溯断料后时间剔除值，这段时间内的数据为断料数据；异常数据评估子模块，将过程数据中的数据与配置模块设定的异常数据上限值和下限值进行对比，评估出过程数据中的异常数据。本专利技术的另一个方面提供了一种卷烟制丝线生产过程数据清洗的方法，包括以下步骤：S1：数据配置，通过数据配置模块设置对生产线的过程数据进行评估的参数，参数包括采集点的采集周期、各工艺点的工艺标准；S2：数据采集，采集制丝产线中各个生产工序的生产过程数据，按时间戳储存在实时数据库模块；S3：数据提取及评估，将实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理为内存数据表并储存；根据数据配置模块配置的参数对数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；S4：数据清洗，当评估结果确定需要对过程数据进行清洗时，剔除没有物料经过的数据；S5：对清洗后的数据进行计算整理和存储。更进一步的技术方案是，步骤S1具体包括：设置料头料尾数据参数：设置电子秤物料累计量的开始偏移量和结束偏移量，当物料累计重量首次大于开始偏移量之前的数据为料头数据，当物料累计重量首次大于批次总重量与结束偏移量之差后的数据为料尾数据；设置断料数据参数：设置电子秤得到的物料流量的断料下限值，以及断料前时间剔除值和断料后时间剔除值，还有断料恢复时间；物料流量数据恰小于断料下限值的时间向前推溯断料前时间剔除值，物料流量数据恰大于断料下限值持续断料恢复时间后的时刻向后推溯断料后时间剔除值，这段数据为断料数据；设置异常数据参数：设置异常数据上限值和下限值，当数据大于异常数据上限值或小于异常数据下限值时为异常数据。更进一步的技术方案是，步骤S2具体包括：采集制丝工序中各工序烟草的批次号，各个生产工序监控点的物料的水分、温度以及通过电子秤得到的物料流量，将这些数据作为生产过程数据以时间为主键生成内存表，并发送至实时数据库进行储存。更进一步的技术方案是，步骤S3具体包括：对过程数据中料头料尾数据的评估，将过程数据中电子秤的物料累计重量数据与开始偏移量和结束偏移量进行对比，评估出过程数据中的料头料尾数据；对过程数据中断料数据进行评估，将内存数据表中电子秤得到的物料瞬时流量与配置模块设定的断料下限值进行对比，并根据断料恢复时间评估出内存数据表中断料数据，并根据设定的断料前后时间剔除值评估出断料前后不稳定数据；对过程数据中异常数据进行评估，根据配置模块设定的异常数据上下限值，评估出过程数据中的异常数据。更进一步的技术方案是，步骤S5具体包括：利用数据清洗模块的数据，结合配置模块设定的工艺标准，进行计算合格率、偏差、最大值、最小值、变异系数、标准偏差、六西格玛水平，计算完成以后将计算结果存储至服务器数据库。本专利技术的原理阐述：通过实时数据库模块获取制丝线各生产工序的过程数据按时间戳进行储存；再通过数据提取模块将各个生产工序的过程数据进行提取，并按照时间偏移量将各个生产工序的过程数据按时间偏移后整理为内存数据表进本文档来自技高网...

【技术保护点】
1.一种卷烟制丝线生产过程数据清洗系统，其特征在于，包括：/n数据配置模块，用于配置对生产线过程数据进行评估的参数，所述参数包括采集点的采集周期、各工艺点的工艺标准；/n实时数据库模块，用于实时采集制丝线各生产工序的过程数据，并按时间戳进行储存；/n数据提取模块，用于从所述实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理归集为内存数据表并储存；/n数据评估模块，用于根据所述数据配置模块配置的参数对所述数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；/n数据清洗模块，用于所述数据提取模块提取的过程数据进行清洗，剔除没有物料经过的数据；/n数据归集模块，用于对清洗后的数据进行计算整理和存储。/n

【技术特征摘要】
1.一种卷烟制丝线生产过程数据清洗系统，其特征在于，包括：
数据配置模块，用于配置对生产线过程数据进行评估的参数，所述参数包括采集点的采集周期、各工艺点的工艺标准；
实时数据库模块，用于实时采集制丝线各生产工序的过程数据，并按时间戳进行储存；
数据提取模块，用于从所述实时数据库模块获取制丝线各生产工序的过程数据，将各生产工序的过程数据按照时间整理归集为内存数据表并储存；
数据评估模块，用于根据所述数据配置模块配置的参数对所述数据提取模块的数据列表进行对比评估，判断料头、料尾、以及断料数据；
数据清洗模块，用于所述数据提取模块提取的过程数据进行清洗，剔除没有物料经过的数据；
数据归集模块，用于对清洗后的数据进行计算整理和存储。


2.根据权利要求1所述的卷烟制丝线生产过程数据清洗系统，其特征在于，所述数据配置模块具体包括以下子模块：
数据归集参数配置子模块，用于设置数据提取模块对各生产工序的过程数据整理归集时的每道生产工序的时间偏移量以及工艺标准，所述时间偏移量用于将各生产工序的过程数据进行偏移后使每一行数据对应同一段物料；
料头料尾数据参数配置子模块，用于设置判断料头和料尾的开始偏移量和结束偏移量，当物料累计重量首次大于所述开始偏移量之前的数据为料头数据，当物料累计重量首次小于批次总重量与所述结束偏移量之差后的数据为料尾数据；
断料数据参数配置子模块，用于设置以物料瞬时流量为标准的物料断料下限值，以及断料前时间剔除值和断料后时间剔除值；物料瞬时流量数据恰小于断料下限值时为断料开始时刻，下一次物料瞬时流量大于断料下限且持续断料恢复时间时为断料结束时刻；断料前剔除时间和断料后剔除时间用于剔除断料前后非稳态时间内的不稳定数据；
异常数据参数配置子模块，用于设置异常数据上限值和下限值，当物料的瞬时流量数据大于所述异常数据上限值或小于所述异常数据下限值时为异常数据。


3.根据权利要求1所述的卷烟制丝线生产过程数据清洗系统，其特征在于，所述实时数据库模块将各生产工序实时过程数据以内存数据表的形式进行存储，所述内存表以时间为主键，包括该工序物料的温度、水分、流量、累计量为数据列。


4.根据权利要求3所述的卷烟制丝线生产过程数据清洗系统，其特征在于，所述数据提取模块将所述实时数据库模块各生产工序过程数据的内存数据表进行提取，并根据配置模块设置的提取周期、数据延时时间对各个内存数据表进行整列数据前提或者后延处理，然后将各个内存数据表进行合并储存。


5.根据权利要求4所述的卷烟制丝线生产过程数据清洗系统，其特征在于，所述数据评估模块包括以下子模块：
料头料尾评估子模块，将所述内存数据表中的物料累计量与所述配置模块设定的开始偏移量和结束偏移量进行对比，评估出所述内存数据表中的料头料尾数据；
断料评估子模块，将所述内存数据表中的物料瞬时流量与所述配置模块设定的断料下限值进行对比，并且将物料瞬时流量数据恰小于断料下限值为断料开始时刻，物料瞬时流量数据下一次恰大于断料下限值且持续断料恢复时间为断料结束时刻；将断料开始时刻的时间向前推溯所述断料前时间剔除值，将断料结束时刻的时间向后推溯所述断料后时间剔除值，...

【专利技术属性】
技术研发人员：宁建功，王利，周权党，谢昆，
申请(专利权)人：云南昆船电子设备有限公司，
类型：发明
国别省市：云南;53