一种生产设备的无人值守控制方法、装置和控制器制造方法及图纸

本申请涉及一种生产设备的无人值守控制方法、装置和控制器。所述方法包括：实时监控生产设备的控制界面图像；通过图像处理算法提取所述控制界面图像中界面组件信息；根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应。采用本方法能够生产设备的控制效率。

【技术实现步骤摘要】
一种生产设备的无人值守控制方法、装置和控制器
本申请涉及自动化控制
，特别是涉及一种生产设备的无人值守控制方法、装置和控制器。
技术介绍
RPA(机器流程自动化)技术是AI，其机器学习等认知技术在重复性工作以及高度智能处理的自动化应用中非常常见，例如在财务处理、界面信息提取等方面已得到广泛应用。但RPA技术在工业制造方面的应用还有一定的局限性，例如，半导体生产设备种类繁多，且半导体工艺设计、操作流程千差万别，目前半导体设备自动控制软件系统大多是针对特定设备进行定制化改造，通过提供一些自定义配置增加半导体设备自动控制软件系统的灵活性，难以达到符合不同设备不同操作流程的通用性。针对既存自动化设备的无人化改造，现有技术中通常会采用以下方法：1、在把握设备整体控制方案后，增加监控设备的接口；2、由RPA专业技术人员，利用Windows系列的人机界面组件，以及设备的个性化操作特性，制定控制流程。方法1虽然具有控制自由度及交换信息量大的优点，但其对设备的理解要求高，技术难度大；同时需要进行定制化开发，耗时耗力，推广性差；且改造成本高，失败风险大，改造周期长。方法2虽然可以满足Windows系列的大部分控制系统的优点，但其不能满足DOS、Linux、Unix以及Windows10以后的OS系统设备；同时需要有专业的RPA工程师负责个性化开发；且改造周期较长。总之，现有对自动化设备进行无人化的改造方法，通用性差且成本高。总之，现有的自动化设备的无人值守控制方法，对系统需要进行大规模的改造，导致使用成本高。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够降低生成设备控制成本的生产设备的无人值守控制方法、装置和控制器。一种生产设备的无人值守控制方法，所述方法包括：实时监控生产设备的控制界面图像；通过图像处理算法提取所述控制界面图像中界面组件信息；根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应。在其中一个实施例中，所述界面组件包括画面窗体、特征图标或文字窗体；所述根据所述界面组件的位置和控制文字信息，获取所述生产设备当前时间的加工进度信息包括：根据所述画面窗体、特征图标或文字窗体，提取加工进度特征信息；根据所述加工进度特征信息，获取所述生产设备当前时间的加工进度信息。在其中一个实施例中，所述界面组件包括控制按钮、输入框或下拉框；所述根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号包括：根据所述加工进度信息，获取所述生产设备在当前时间的模拟操作信号；获取所述控制按钮、输入框或下拉框的位置；根据所述控制按钮、输入框或下拉框的位置，输入所述生产设备在当前时间的模拟操作信号。在其中一个实施例中，所述根据所述加工进度特征信息，获取所述生产设备当前时间的加工进度信息，包括：根据所述加工进度特征信息，与预存的加工进度表进行比对，获取所述生产设备当前时间的加工进度信息。在其中一个实施例中，所述根据所述加工进度特征信息，获取所述生产设备当前时间的加工进度信息，包括：将所述加工进度特征信息输入加工进度识别模型，获得所述生产设备当前时间的加工进度信息；其中，所述加工进度识别模型是根据画面窗体、特征图标或文字窗体提取的加工进度特征信息构建的样本集合，通过预设神经网络模型训练获得的，用于根据输入的加工进度特征信息，输出所述生产设备当前时间的加工进度信息。在其中一个实施例中，所述一种生产设备的无人值守控制还包括：获取所述生产设备上的产品的扫码信息；根据所述扫码信息，获取所述产品的加工流程信息；根据所述加工流程信息，进入所述生产设备的控制界面。在其中一个实施例中，在根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息之后，包括：在所述加工进度信息对应为加工完成时，根据每个历史加工进度完成时控制界面图像中的界面组件信息，采集加工完成报告的参数，并发送至管理终端。在其中一个实施例中，在通过图像处理算法提取所述控制界面图像中界面组件信息之后，包括：获取所述界面组件信息中的报警信息，并发送至管理终端。一种生产设备的无人值守控制装置，所述装置包括：控制界面图像监控模块，用于实时监控生产设备的控制界面图像；图像处理模块，用于通过图像处理算法提取所述控制界面图像中界面组件信息；加工进度确定模块，用于根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；输入模块，用于根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应。一种生产设备的无人值守控制器，所述控制器包括：VGA模块，用于采集控制界面图像，提供截屏SDK接口；OCR模块：用于识别所述控制界面图像中界面组件信息；CPU模块：用于根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；设备指令模拟模块：用于模拟并发送鼠标、键盘、触摸屏的模拟操作信号，根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应；设定模块：用于设定联机离线、设定SECS通讯与记录、设定事件参数、设定控制流程、设定鼠标、设定键盘、设定触摸屏；日志模块：用于记录运行日志和错误日志；协议模块：用于提供与前后设备相互通讯的条件。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：实时监控生产设备的控制界面图像；通过图像处理算法提取所述控制界面图像中界面组件信息；根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：实时监控生产设备的控制界面图像；通过图像处理算法提取所述控制界面图像中界面组件信息；根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应。上述生产设备的无人值守控制方法、装置、计算机设备和存储介质，实时监控生产设备的控制界面图像，并对生产设备的控制界面图像分析，获取加工进度信息，并根据加工进度信息向所述界面组件中的控件输入模拟操作信号，能够替代人工手动通过键盘、鼠标等输入设备来对控制界面进行控制，本申请所述方法通用性强，无本文档来自技高网...

【技术保护点】
1.一种生产设备的无人值守控制方法，其特征在于，所述方法包括：/n实时监控生产设备的控制界面图像；/n通过图像处理算法提取所述控制界面图像中界面组件信息；/n根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；/n根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应。/n

【技术特征摘要】
1.一种生产设备的无人值守控制方法，其特征在于，所述方法包括：
实时监控生产设备的控制界面图像；
通过图像处理算法提取所述控制界面图像中界面组件信息；
根据所述界面组件信息，获取所述生产设备当前时间的加工进度信息；
根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号；其中，所述模拟操作信号与所述加工进度信息对应。


2.根据权利要求1所述的方法，其特征在于，所述界面组件包括画面窗体、特征图标或文字窗体；
所述根据所述界面组件的位置和控制文字信息，获取所述生产设备当前时间的加工进度信息包括：
根据所述画面窗体、特征图标或文字窗体，提取加工进度特征信息；
根据所述加工进度特征信息，获取所述生产设备当前时间的加工进度信息。


3.根据权利要求1所述的方法，其特征在于，所述界面组件包括控制按钮、输入框或下拉框；
所述根据所述加工进度信息和所述界面组件信息中控件的位置，向所述界面组件中的控件输入模拟操作信号包括：
根据所述加工进度信息，获取所述生产设备在当前时间的模拟操作信号；
获取所述控制按钮、输入框或下拉框的位置；
根据所述控制按钮、输入框或下拉框的位置，输入所述生产设备在当前时间的模拟操作信号。


4.根据权利要求2所述的方法，其特征在于，所述根据所述加工进度特征信息，获取所述生产设备当前时间的加工进度信息，包括：
根据所述加工进度特征信息，与预存的加工进度表进行比对，获取所述生产设备当前时间的加工进度信息。


5.根据权利要求2所述的方法，其特征在于，所述根据所述加工进度特征信息，获取所述生产设备当前时间的加工进度信息，包括：
将所述加工进度特征信息输入加工进度识别模型，获得所述生产设备当前时间的加工进度信息；其中，所述加工进度识别模型是根据画面窗体、特征图标或文字窗体提取的加工进度特征信息构建的样本集合，通过预设神经网络模型训练获得的，用于根据输入的加工进度特征信息，输出所述生产设备当前时间的加工进度信息。


6.根据权利要...

【专利技术属性】
技术研发人员：甄玉贵，
申请(专利权)人：杭州真鹏科技有限公司，
类型：发明
国别省市：浙江;33