基于强化学习在食品包装系统中进行卷材张力调整技术方案

描述了用于控制食品包装机(100)中的卷材张力的方法和装置，包括计算机程序产品，该食品包装机包括多个子系统。接收一个或多个本地变量值(116)，其指示食品包装机(100)对卷材张紧子系统(200)的一个或多个物理参数的测量值。接收一个或多个远程变量值(204)，其指示食品包装机(100)对一个或多个远程子系统的一个或多个物理参数的测量值。通过使用强化学习模型(206)和本地控制模型(210)对远程和本地变量值(204、116)进行处理，来为卷材张紧子系统(200)确定一个或多个控制参数值。根据所确定的控制参数值，调整卷材张紧子系统(200)的一个或多个控制参数。个或多个控制参数。个或多个控制参数。

【技术实现步骤摘要】
【国外来华专利技术】基于强化学习在食品包装系统中进行卷材张力调整


[0001]本专利技术涉及食品包装系统，并且更具体地涉及在食品包装系统中调整卷材(web)张力。

技术介绍

[0002]当今，自动化控制系统被广泛用于制造和加工环境中，并且其复杂性不断增加。管理这种复杂性的常用方法是将系统划分为子系统，并为每个子系统开发合适的控制机制。然而，这种方法并不总能为整个系统带来最佳解决方案。
[0003]随着系统变得越来越复杂并且影响因素的数量不断增加，从不同来源捕获影响因素变得越来越困难。当影响因素、控制变量和系统本身之间的关系是非线性的和/或难以建模时，这种复杂性会进一步增加。
[0004]关于工业控制中的抽象层级，可分为两个主要角度：分别是低层级控制和高层级控制。低层级控制意味着对单个自动化组件(例如，执行器、伺服电机、加热器和许多其他设备)进行管理。从子系统层级到系统层级，再进一步到对具有需要协同运行的多个系统和子系统的整个工厂的协调，高层级控制的抽象程度可递增。
[0005]作为示例，食品加工和包装装置通常包括几个子系统，例如填充系统、灭菌系统、包装折叠系统等。每一子系统包含多个不同的元件(例如，气动执行器、伺服电机、直流电机、交流电机、传感器、其他执行器等)。这些单独的元件通常由低层级的本地控制系统进行控制，该本地控制系统利用诸如比例积分微分(PID)控制器之类的传统控制技术来控制目标变量。反馈回路用于使控制器相对于元件、系统或子系统的目标工作点的误差保持较低。
[0006]然而，PID控制器需要针对其特定应用进行调整，并且通常针对特定工作范围及工作动态进行优化。它们也不是非常适于适应不可预见的情况或在其常规工作区之外的工作条件。当这样的条件发生变化时(例如，不同的工作环境、自动化元件的变化、制造过程的变化等)，PID控制器的参数通常需要进行调整和重新校准。这可能是一个耗时而复杂的过程，需要有经验人员进行大量的手动输入，尤其是在涉及大量元件和/或子系统时，例如食品加工和包装装置中通常为这种情况。
[0007]填充机是将诸如果汁、UHT(经超高温处理的)牛奶、葡萄酒、番茄酱等液体、半液体或可倾倒食品包装到由多层复合包装材料制成的复合包装中以供进行分销和销售的复杂系统的一个示例。一个典型示例是称为无菌利乐包(Tetra Brik Aseptic
TM
)的用于可倾倒食品的平行六面体形状的包装，其通过对层压片材包装材料进行密封和折叠而制成。包装材料具有多层结构，该多层结构包括纸板和/或纸基底层，基底层两侧均覆盖有热封塑料材料层(例如聚乙烯层)。如果是用于长期储存产品的无菌包装，包装材料还包括阻氧材料层(例如，铝箔)，其叠加在热封塑料材料层上，然后又被另一热封塑料材料层覆盖，该另一热封塑料材料层形成包装的最终接触食品的内表面。
[0008]填充机起始于(从卷轴开始缠绕的)多层复合包装材料的卷材(web)。将卷材馈送通过填充机，其中通过产生纵向密封来由卷材形成管。将液态食品经由管道馈送到管内；然
后将管的下端馈送到折叠设备中，在折叠设备中产生横向密封，根据也称为弱化线的折叠线折叠管，然后切断管，从而形成填充有液体食品的复合包装。
[0009]负责包装形成、横向密封和切割的机器模块或子系统被称为“夹爪系统”，并由一对夹爪对组成，该对夹爪对的同步运动允许下拉包装材料管并完全封闭经填充的包装。夹爪系统是填充机的重要组成部分，因为两个夹爪对的协调运动不仅负责包装的正确成型，而且还负责将卷材拉过该机器。
[0010]在夹爪系统拉动包装材料时，随着各个包装的产生，该夹爪系统不是以连续方式拉动包装材料的，而是以"脉动"方式拉动包装材料的。这种对卷材的间歇性拉动在包装机的末端处发生。而另一方面，包装材料定位在包装机的起始端处的大辊上。因此，夹爪系统对包装材料的间歇性拉动在包装材料上产生了不同的力，这部分归因于包装材料辊的惯性，部分归因于包装材料本身。这可能是一个问题，因为包装机的某些部分需要卷材以恒定速度移动。此外，卷材中具有太多张力可能会导致包装完整性问题。而且，由于它将下拉卷材，因此卷材张力还可受到其他因素的影响，诸如通过包装机的卷材从头到尾的长度，或者被填充到包装材料管中的产品的质量。卷材张紧系统的目的是使包装材料卷材处于与填充机中的包装过程相适应的张紧状态。松弛的卷材会导致性能不佳，而极度紧绷的卷材会在包装中引入缺陷和损坏。目前，机器技术人员通常需要依靠人工配置(包括试错法)来在卷材张紧系统中获得适当的卷材张力。此外，目前还没有办法考虑诸如夹爪系统运动轨迹、填充状态(例如，填充流量和产品液位)、包装材料特性(例如，厚度、机械性能)等因素对卷材张紧所具有的影响。
[0011]因此，需要改进用于控制卷材张力的技术，同时考虑到包装机中发生的可能影响卷材张力的一系列事件，以便始终保持适当的卷材张力。

技术实现思路

[0012]本专利技术的一个目的是至少部分地克服现有技术的一个或多个限制。具体而言，一个目的是提供方法和系统，其可通过考虑不仅针对食品包装机中的本地卷材张紧子系统而且还针对其他远程子系统所测得的参数值，控制食品包装机的卷材张力。因此，可以实现适当的卷材张力，这既可以在首次配置食品包装机时加快设置过程，又可以实现更可靠的制造过程，需要丢弃的包装更少。
[0013]在本专利技术的一个方面，这是通过一种用于控制食品包装机中的卷材张力的方法来实现的，其中食品包装机包括多个子系统。该方法包括：
[0014]·
接收一个或多个本地变量值，所述一个或多个本地变量值指示所述食品包装机对卷材张紧子系统的一个或多个物理参数的测量值；
[0015]·
接收一个或多个远程变量值，所述一个或多个远程变量值指示所述食品包装机对一个或多个远程子系统的一个或多个物理参数的测量值；
[0016]·
通过使用强化学习模型和本地控制模型对所述远程变量值和所述本地变量值进行处理，来为所述卷材张紧子系统确定一个或多个控制参数值；以及
[0017]·
根据所确定的控制参数值，调整所述卷材张紧子系统的一个或多个控制参数。
[0018]利用本地变量和来自远程子系统的输入，将导致更精确地控制卷材张力，并在食品包装机中发生意外事件时更有弹性地操作。这导致包装(和食品)的浪费更少，从而使食
品包装机的操作更加高效和环保。鉴于能够更好地控制包装形成过程，由于需要更少的手动测试，因此新产品和/或配置的上市时间也可能缩短。由于可在模拟环境中学习控制策略，这一点得到了进一步增强，因此食品包装机不需要“从头开始”进行手动配置。
[0019]在一个实施例中，强化学习模型是包括神经网络的深度强化学习模型。深度强化学习在为必须考虑大量变量(这些变量的内部关系和对子系统的影响可能是未知的)的子系统演化控制策略时尤其有用，并且提供了与使用不具有神经网络的传统强化学习可实现的相比更优良的方法来为食品包装机的本地卷材张紧子系统确定一个或多个控制参数值。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制食品包装机(100)中的卷材张力的方法，其中所述食品包装机(100)包括多个子系统，所述方法包括：接收一个或多个本地变量值(116)，所述一个或多个本地变量值(116)指示所述食品包装机(100)对卷材张紧子系统的一个或多个物理参数的测量值；接收一个或多个远程变量值(204)，所述一个或多个远程变量值(204)指示所述食品包装机(100)对一个或多个远程子系统的一个或多个物理参数的测量值；通过使用强化学习模型(206)和本地控制模型(210)对所述远程变量值(204)和所述本地变量值(116)进行处理，来为所述卷材张紧子系统(200)确定一个或多个控制参数值；以及根据所确定的控制参数值，调整所述卷材张紧子系统(200)的一个或多个控制参数。2.根据权利要求1所述的方法，其中所述强化学习模型(206)是包括神经网络的深度强化学习模型。3.根据权利要求1或2所述的方法，其中所述卷材张紧子系统(200)包括两个固定导辊(106、110)以及可移动导辊(108)。4.根据权利要求3所述的方法，其中所述可移动导辊(108)沿着所述卷材(102)穿过所述包装机(100)的路径位于所述两个固定导辊(106、110)之间，并且是可移动的，以便响应于接收到控制参数值的指令而增加或减小所述卷材(102)的张力。5.根据权利要求2
‑
4中的任一项所述的方法，其中所述神经网络为以下之一：卷积神经网络、递归神经网络、长短期记忆神经网络和全连接神经网络。6.根据权利要求1
‑
5中的任一项所述的方法，其中：所述一个或多个本地变量值(116)包括与以下中的一者或多者相关的测量值：卷材张力设定点和当前卷材张紧系统位置，并且所述一个或多个远程变量值(204)包括与以下中的一者或多者相关的测量值：卷材移动控制变量、夹爪系统运动轨迹、包装材料特性、填充状态。7.一种用于控制食品包装机(100)中的卷材张力的系统，所述食品包装机具有多个子系统，所述系统包括：存储器；以及处理器，其中所述存储器包含指令，所述指令在...

【专利技术属性】
技术研发人员：加布里埃莱，
申请(专利权)人：利乐拉瓦尔集团及财务有限公司，
类型：发明
国别省市：