【技术实现步骤摘要】
本专利技术涉及烟草加工，特别涉及一种面向制烟工业生产场景的流批一体化数据治理方法。
技术介绍
1、在卷烟厂制丝车间，生产过程涉及众多设备和环节，产生了大量的数据，包括设备运行参数、物料信息、质量检测数据等。这些数据具有以下特点：
2、1.数据量大：制丝车间设备众多，且持续运行，每天产生的数据量可达数十万条甚至更多。
3、2.多源异构：数据来源广泛，包括传感器、plc（可编程逻辑控制器）、生产管理系统等，数据格式包括结构化数据（如数据库记录）、半结构化数据（如xml文件）和非结构化数据（如设备日志文本）。
4、3.实时性要求高：部分关键数据，如设备运行状态、质量检测结果等，需要实时处理和分析，以便及时发现生产异常并采取措施。
5、目前，卷烟厂制丝车间的数据治理存在以下问题：
6、1.数据处理方式分离：流数据和批数据处理通常采用不同的技术和系统，导致数据处理流程复杂，数据一致性和及时性难以保证。
7、2.数据质量参差不齐：由于数据来源众多，缺乏有效的数据清洗和校验机制，...
【技术保护点】
1.一种面向制烟工业生产场景的流批一体化数据治理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一体化数据治理方法，其特征在于，在所述建立数据采集模块中，所述多源数据采集：内置OPC-UA协议解析模块，直接接入工业设备数据流，通过传感器、接口程序方式，实时采集制丝车间各类设备和系统的数据；
3.根据权利要求1所述的一体化数据治理方法，其特征在于，在所述建立流批一体化处理模块中，所述流数据处理：采用流处理框架对实时采集到的流数据进行处理；
4.根据权利要求1所述的一体化数据治理方法，其特征在于，在所述建立数据质量管理模块中，...
【技术特征摘要】
1.一种面向制烟工业生产场景的流批一体化数据治理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一体化数据治理方法，其特征在于，在所述建立数据采集模块中，所述多源数据采集：内置opc-ua协议解析模块，直接接入工业设备数据流，通过传感器、接口程序方式，实时采集制丝车间各类设备和系统的数据；
3.根据权利要求1所述的一体化数据治理方法，其特征在于，在所述建立流批一体化处理模块中，所述流数据处理：采用流处理框架对实时采集到的流数据进行处理；
4.根据权利要求1所述的一体化数据治理方法，其特征在于，在所述建...
【专利技术属性】
技术研发人员：林帅，侯小波，宋成照，宫建华，敖鹏蛟，马海波，王浚龙，孙继全，鲁延灵，宋欢儒，王秋实，高建松，王海峰，邓英明，
申请(专利权)人：北京航天拓扑高科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。