增强现实环境下的控制应用程序的开发制造技术

公开了一种用于开发用于在自动化系统中使用的控制器的控制应用的系统和方法。在控制应用程序的执行期间控制器接收与第一真实部件的感知相关联的传感器信号。模拟虚拟部件的活动，所述活动包括与第一真实部件的交互，虚拟部件是针对工作环境而设计的第二真实部件的数字孪生且在工作环境中不存在。响应于所模拟的虚拟部件的活动来生成虚拟数据。控制应用模块利用针对第一真实部件的传感器信号和虚拟数据来确定用于开发控制应用程序的参数。在控制应用程序的执行期间，基于虚拟数据的数字表示来渲染和显示用于工作环境的增强现实显示信号。

【技术实现步骤摘要】
增强现实环境下的控制应用程序的开发
本申请涉及自动化和控制。更具体地，本申请涉及控制应用程序的增强现实辅助开发。
技术介绍
自动化系统可以应用于具有需要自动控制的多个设备的生产过程，例如机器人、传送带、门架、夹具等。这样的设备的控制器(例如，可编程逻辑控制器(PLC))可以在图形化的基于计算机的工具的帮助下的工程阶段期间被编程。在当前的制造实践中，控制应用程序开发可能发生在新设备的工程和设计的不同阶段期间。例如，在设置和集成多台机器期间，系统集成商可能会为机器的特定任务开发部分控制应用程序。控制应用程序的进一步开发可以发生在每台机器的调试期间。一般而言，制造自动化系统的设置和调试涉及但不限于硬件(例如，传感器、控制器、驱动器和致动器)的订购和交付，基于设计的部件的组装，以及诸如控制器和驱动器的硬件的配置、调试和测试。在控制应用程序的开发期间，任何硬件缺陷在等待替换或修复硬件部件时都会引起中断。这样的延迟不利地影响工厂的制造产量和利润率。另外，在设置和调试期间，在大型工厂中定位缺陷或错误的起因相当具有挑战性，其中，数百个传感器中的一个可能是错误的原因。前述问题的当前解决方案包括硬件在环(hardware-in-the-loop)或软件在环(software-in-the-loop)仿真环境(例如，Matlab/Simulink、西门子LMS虚拟实验室)。从理论上讲，设置之前的仿真使控制工程师能够在设置系统功能和控制硬件之前计算出大部分小故障。然而，使用这些仿真工具需要广泛的专业知识，包括动态系统的强化数学建模、振动、车辆动力学和控制理论等。因而，这样的仿真工具在模拟时间、所需的知识以及硬件/软件成本方面是昂贵的。此外，当前封装的仿真工具在合并真实和虚拟部件时缺乏直观的用户界面。数学模型需要制定方案根据系统需求调整控制系数。例如，可以利用各种传感器模型来开发控制器。在初始调整之后，控制应用程序代码可以被上传到控制器，例如可编程逻辑控制器(PLC)，并且可以开始针对硬件控制操作的调试的测试。由于数学模型与实际系统硬件之间的不匹配，控制工程师可能需要对控制应用程序进行几次重新调整。
技术实现思路
本专利技术提供了一种基于计算机的方法，所述方法用于开发用于在自动化系统中使用的控制器的控制应用程序，所述方法包括：在控制应用程序的执行期间，由控制器接收与在工作环境中第一真实部件的感知相关联的传感器信号；模拟虚拟部件的活动，所述活动包括与第一真实部件的交互，其中，虚拟部件是针对工作环境而设计的第二真实部件的数字孪生且在工作环境中不存在，并且所模拟的活动与由控制应用程序控制的任务相关；响应于所模拟的虚拟部件的活动来生成虚拟数据；利用针对第一真实部件的传感器信号和虚拟数据来确定用于开发控制应用程序的参数；在控制应用程序的执行期间，基于虚拟数据的数字表示来渲染用于工作环境的增强现实显示信号；以及在增强现实设备上显示所渲染的增强现实显示信号。本专利技术还提供了一种系统，包括：用于自动化系统的控制器，所述控制器包括控制应用程序，所述控制应用程序包括被配置成执行自动化系统中的一个或更多个部件的控制任务的第一模块，其中，第一模块被配置成：接收与工作环境中的第一真实部件的感知相关联的传感器信号；包括第二模块的服务器，第二模块被配置成：模拟虚拟部件的活动，所述活动包括与第一真实部件的交互，其中，所述虚拟部件是针对工作环境而设计的第二真实部件的数字孪生且在工作环境中不存在，并且所模拟的活动与由控制应用程序控制的任务相关；以及响应于所模拟的虚拟部件的活动来生成虚拟数据；其中，第一模块被配置成利用针对第一真实部件的传感器信号和虚拟数据来确定用于开发控制应用程序的参数；其中，第二模块被配置成在控制应用程序的执行期间基于虚拟数据的数字表示来渲染用于工作环境的增强现实显示信号；以及增强现实设备，其被配置成显示所渲染的增强现实显示信号。附图说明当结合附图阅读时，根据以下详细描述可以最好地理解本专利技术的前述和其他方面。为了示出本专利技术的目的，在附图中示出了目前优选的实施方式，然而应该理解，本专利技术不限于所公开的具体手段。附图中包括以下附图：图1示出了根据本公开内容的实施方式的基于计算机的工具的系统的示例；图2示出了根据本公开内容的实施方式的增强现实环境的示例性配置；图3示出了根据本公开内容的实施方式的控制应用程序架构的图；以及图4示出了在其中可以实现本公开内容的实施方式的计算环境的示例。具体实施方式在下文中，术语“增强现实”(AR)被用于描述真实对象和虚拟对象的组合环境。可以利用AR技术、混合现实(MR)技术或虚拟现实(VR)技术来仿真虚拟对象。为了简单起见，在本公开内容中使用术语AR。公开了一种方法和系统，其中，AR应用能够改进与系统控制器的控制应用程序的开发和测试相关的任务的自动化。在自动化控制系统的工程模式期间，专用计算机设置控制参数同时为控制应用程序构建代码。所公开的方法和系统对用于执行这样的基于计算机的任务的计算机的功能提出了改进。虽然当前可用的工具模拟控制器来开发操作和控制参数，但是本公开内容的实施方式使得控制器能够被安装并且连接到增强现实(AR)环境，其具有若干优点，包括在工厂安装的渐进阶段开发和测试控制应用程序，使得物理工厂安装的不可用元件能够被模拟。在工厂安装完全投入运行之前，可以进行控制应用程序的开发。另一个优点是让实际控制器在控制应用程序的开发期间执行控制应用程序。数字孪生中的AR仿真可以生成虚拟数据，以在执行控制应用期间模拟到控制器的真实传感器输入。AR仿真还使得在缺少部件的情况下能够继续进行控制应用程序开发，所述缺少的部件为例如在安装的设置阶段移除的用于维修或更换的有缺陷的机器或者在等待机器的首次装运时移除的机器。图1示出了根据本公开内容的实施方式的基于计算机的工具的系统的示例。在实施方式中，用户101可以穿戴增强现实(AR)设备115例如微软HoloLens同时操作图形用户界面(GUI)设备105以开发用于控制器110的控制应用程序120。控制器110例如PLC可以具有存储在存储器中的多个应用程序120，每个程序用于在自动化布置中执行特定的控制任务。对于每个控制应用程序120，可以开发一个或更多个模块122以处理包括但不限于例如运动传感器、振动传感器、温度传感器、压力传感器、光学传感器和音频传感器的各种传感器的特定控制部件的输入和/或输出。AR设备115可以被配置成接受来自用户101的手势输入以用于编辑、调整、更新或中断控制应用程序120。AR设备115可以是可穿戴式观看设备，其可以将模拟对象的数字表示显示在显示屏幕上与工作环境中的真实对象叠加并对齐。AR设备115可以被配置成在用户101监视控制应用程序120的执行时显示AR工作环境。GUI设备105可以被实现为诸如平板电脑、小键盘或触摸屏的计算机设备以使得能够基于用户101输入来编辑、调整或更新控制应用程序120。AR系统数据130可以包括从各种传感器、开关、高速计数器或其组合中接收的各种数字和模拟信号以及正交脉冲。传感器类型的示例可以包括运动传感器、振动传感器、温度传感器、旋转速度传感器、压力传感器、光学传感器和音频传感器中的一个或更多个。来自实际传感器的这样的数据在下文本文档来自技高网...

【技术保护点】
1.一种基于计算机的方法，所述方法用于开发用于在自动化系统中使用的控制器的控制应用程序，所述方法包括：在所述控制应用程序的执行期间，由所述控制器接收与在工作环境中第一真实部件的感知相关联的传感器信号；模拟虚拟部件的活动，所述活动包括与所述第一真实部件的交互，其中，所述虚拟部件是针对所述工作环境而设计的第二真实部件的数字孪生且在所述工作环境中不存在，并且所模拟的活动与由所述控制应用程序控制的任务相关；响应于所模拟的所述虚拟部件的活动来生成虚拟数据；利用针对所述第一真实部件的所述传感器信号和所述虚拟数据来确定用于开发所述控制应用程序的参数；在所述控制应用程序的执行期间，基于所述虚拟数据的数字表示来渲染用于所述工作环境的增强现实显示信号；以及在增强现实设备上显示所渲染的增强现实显示信号。

【技术特征摘要】
2017.03.16 US 62/472,222;2018.03.12 US 15/918,0811.一种基于计算机的方法，所述方法用于开发用于在自动化系统中使用的控制器的控制应用程序，所述方法包括：在所述控制应用程序的执行期间，由所述控制器接收与在工作环境中第一真实部件的感知相关联的传感器信号；模拟虚拟部件的活动，所述活动包括与所述第一真实部件的交互，其中，所述虚拟部件是针对所述工作环境而设计的第二真实部件的数字孪生且在所述工作环境中不存在，并且所模拟的活动与由所述控制应用程序控制的任务相关；响应于所模拟的所述虚拟部件的活动来生成虚拟数据；利用针对所述第一真实部件的所述传感器信号和所述虚拟数据来确定用于开发所述控制应用程序的参数；在所述控制应用程序的执行期间，基于所述虚拟数据的数字表示来渲染用于所述工作环境的增强现实显示信号；以及在增强现实设备上显示所渲染的增强现实显示信号。2.根据权利要求1所述的方法，还包括：接收来自所述增强现实设备的用户界面的输入，以在对所述第一真实部件与所述虚拟部件之间的交互的重复模拟期间改变所述控制应用程序的参数。3.根据权利要求1所述的方法，还包括：响应于从所述增强现实设备接收到用户输入而中断所述控制应用程序的执行；以及利用从所述增强现实设备获得的知识来调整用于所述控制应用程序的控制参数。4.根据权利要求1所述的方法，还包括：利用增强现实仿真的真实-真实模式来测试所述控制应用程序，其中，执行所述控制应用程序包括处理与存在于所述工作环境中的第二真实部件的感知相关联的传感器信号并且替换在所述工作环境中的所述虚拟部件；以及在所述控制应用程序的执行期间渲染包括叠加在所述工作环境上的虚拟对象的增强现实显示信号。5.根据权利要求1所述的方法，还包括：利用增强现实仿真的真实-真实模式来测试所述控制应用程序，其中，执行所述控制应用程序包括处理与存在于所述工作环境中的第二真实部件的感知相关联的传感器信号并且替换在所述工作环境中的所述虚拟部件；以及将包括所述第二真实部件的虚拟路径或运动的增强现实显示信号渲染成所述控制应用程序的执行的视觉预测。6.根据权利要求1所述的方法，其中，所述传感器信号对应于用于以下工作环境元件中的一个或更多个的传感器：工件、机器人单元、工作表面或视觉系统。7.根据权利要求1所述的方法，其中，所述传感器信号包括以下感测的参数中的一个或更多个：运动、振动、温度、压力、视觉、音频或速度。8.根据权利要求1所述的方法，其中，所述虚拟数据模仿到所述控制器的真实传感器输入。9.一种系统...

【专利技术属性】
技术研发人员：王玲云，哈桑·锡南·班克，马列伊克·克里茨勒，帕尼·拉姆·库马尔·库鲁冈蒂，纳温·库马尔·辛加，吴子彦，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：德国,DE