用于机器的增强现实控制制造技术

描述了用于利用增强现实或虚拟现实来控制机器的操作的系统和方法。控制器被配置成至少部分地基于从对象传感器接收的传感器数据来检测经由显示装置可见的对象。控制器然后生成并在显示装置上输出对应于检测到的对象的图形元素。控制器然后监测操作者的手和图形元素之间的相互作用，并且将控制信号传送到机器致动器，以至少部分地基于操作者的手和图形之间的一个或多个检测到的相互作用来控制机械的工具的操作。

Augmented reality control for machine

【技术实现步骤摘要】
用于机器的增强现实控制
本专利技术涉及用于控制机器(例如自动平地机)的操作的系统和方法。
技术实现思路
在一个实施例中，本专利技术提供了一种利用增强现实或虚拟现实来控制机器的操作的系统。控制器被配置成至少部分地基于从对象传感器接收的传感器数据来检测经由显示装置可见的对象。控制器然后生成并在显示装置上输出对应于检测到的对象的图形元素。控制器然后监测操作者的手和图形元素之间的相互作用，并且将控制信号传送到机器致动器，以至少部分地基于一个或多个所检测到的操作者的手和图形元素之间的相互作用来控制机械的工具的操作。在另一个实施例中，本专利技术提供了一种利用增强现实操作机器的方法。控制器从对象传感器接收传感器数据，该对象传感器被定位成具有与显示装置的视场至少部分重叠的视场。控制器至少部分地基于从对象传感器接收的传感器数据来检测经由显示装置可见的对象，并在显示装置上输出与检测到的对象相对应的图形元素。响应于检测到操作者的手与所显示的图形元素之间的相互作用，控制器将控制信号发送至机器致动器。机器致动器基于控制信号控制机器的操作，使得机器的操作对应于操作者的手与图形元素的所检测到的相互作用。在又一个实施例中，本专利技术提供了一种利用增强现实来调节自动平地机的刀片位置的系统。该系统包括头戴式装置和控制器。该头戴式装置包括显示装置和对象传感器。显示装置包括至少部分透明的图形显示屏幕，图形显示屏幕被配置为在穿戴所述头戴式装置的操作者的视场中输出图形元素，同时现实对象通过至少部分透明的图形显示屏幕对于操作者是可见的。对象传感器被定位在所述头戴式装置上，对象传感器具有至少部分地与穿戴所述头戴式装置的所述操作者的视场重叠的视场。控制器被配置成至少部分地基于从对象传感器接收的传感器数据来检测所述操作者的视场内的自动平地机的刀片的位置。控制器产生并在显示装置上输出用于自动平地机的刀片的虚拟手柄。控制器检测操作者的手何时接触虚拟手柄。控制器被配置为响应于检测操作者的手接触虚拟手柄时的运动而将控制信号传输到自动平地机致动器。控制信号使得自动平地机致动器对应于所检测到的操作者的手接触虚拟手柄时的运动的方向和大小上来调节自动平地机刀片的位置。在一些实施例中，所述控制器还被配置为发送第二控制信号，所述第二控制信号响应于检测到所述操作者的手朝向自动平地机的刀片上位置的敲击动作而对所述自动平地机刀片的位置进行小范围、微细调节。通过考虑详细描述和附图，本专利技术的其他方面将变得显而易见。附图说明图1是根据一个实施例的利用增强现实来控制机器的系统的框图。图2是用于使用图1的增强现实系统来控制机器的方法的流程图。图3是由图1的增强现实系统控制的自动平地机的立体图。图4A是由图1的增强现实系统输出的显示视图，示出了图3的自动平地机的刀片。图4B是图1的增强现实系统的显示视图输出，其中具有第一虚拟手柄。图4C是图1的增强现实系统的显示视图输出，其中用户与图4B的虚拟手柄相互作用。图4D是图1的增强现实系统的显示视图输出，其中具有虚拟手柄的另一示例。图4E是图1的增强现实系统的显示视图输出，其中用户使用手部运动来与图3的机动平路机的刀片相互作用。图5是使用4A，4B，4C，4D和4E的显示视图界面来调节图3的自动平地机的刀片的位置的方法的流程图。图6是使用图1的增强现实系统的界面来识别和选择现实对象的方法的流程图。具体实施方式在详细解释本专利技术的任何实施例之前，应当理解的是，本专利技术在其应用中不限于以下描述中阐述的或下面的附图中示出的组件的构造和布置的细节。本专利技术能够具有其他实施例并且能够以各种方式实践或执行。图1示出了使用增强现实技术来控制机器的操作的系统的一个示例。在一些实施方式中，机器可以包括农业，建筑，景观或林业设备，例如自动平地机，转向节/钳式装载机(knuckleboomloader)，伐木机/收割机或挖掘机。设备控制器101包括电子处理器103和非暂时性计算机可读存储器105。存储器105与电子处理器103通信并存储由电子处理器103执行的数据和指令，以提供系统功能，包括，例如，本文描述的方法。设备控制器101可通信地(直接或间接地)耦合到一个或多个设备致动器/电动机107。一个或多个设备致动器/电动机107基于从设备控制器101接收的控制信号和/或指令来控制和调节工具或设备的位置和/或操作。例如，在一实施方式中，在机器包括自动平地机的情况下，一个或多个设备致动器/电动机107可以包括一个或多个电动机和/或液压装置，该一个或多个电动机和/或液压装置被配置成基于从设备控制器101接收到的控制信号来调节自动平地机的刀片的位置，角度和高度。在另一示例中，在机器包括用于抓取和提升一个或多个原木的转向节/钳式装载机(knuckleboomloader)或其他机器的情况下，设备致动器/电动机107可以包括一个或多个电动机和/或液压装置，电动机和/或液压装置被配置为响应于从设备控制器101接收的控制信号来调节抓取器的位置并打开/关闭抓取器。在一些示例中，在机器包括用于切割树的锯的情况下，设备致动器/电动机107可以包括电动机，该电动机响应于从设备控制器101接收的控制信号使锯片以特定速度旋转。在又一示例中，在机器包括挖掘机的情况下，设备致动器/电动机107可以包括一个或多个电动机和/或液压装置，电动机和/或液压装置被配置为响应于从设备控制器101接收的控制信号调节挖掘机铲斗的位置并且使挖掘机铲斗以挖掘动作运动。在图1的示例中，设备控制器101还通信地耦合到增强现实系统109。增强现实系统109包括一个或多个摄像机和/或运动传感器111和视频显示装置113。增强真实系统109还包括电子处理器115和非暂时性计算机可读存储器117。存储器117存储由电子处理器115执行的数据和计算机可执行指令，以提供增强现实系统109的功能(例如，如本文所述)。在一些示例中，摄像机/运动传感器111包括捕获图像数据并将其发送到电子处理器115的视频摄像机。电子处理器115分析/处理来自摄像机的图像数据以检测在摄像机的视场中的对象和/或运动。基于该分析，电子处理器115生成在显示装置113上示出的附加图形元素。在一些示例中，当在显示装置113上示出时，生成的附加图形元素似乎与其他“现实”对象叠加或并排。在其他示例中，摄像机/运动传感器111可以包括其他传感器技术-例如，声纳、雷达或激光雷达传感器，它们捕获数据，电子处理器115利用该数据来检测对象/运动并生成附加图形元素显示在显示装置113上。在一些实施方式中，增强现实系统109可以被实现为由用户穿戴的“头戴式”装置，例如微软HoloLens或GoogleGlass。在一些这样的实施方式中，增强现实系统109包括一个或多个传感器111，传感器111与电子处理器115通信以监视用户的视场中的对象和运动。基于检测到的对象和/或运动，电子处理器115在显示装置113上生成并输出至少部分透明的图形元素，使得图形元素对用户来说在用户的视场中显现为与其他“现实”对象叠加和/或并排，而“现实”的对象通过透明显示装置113保持可见。在其他实施方式中，增强现实系统109的显示装置113可以包括不透明的、非透明的显示装置113。在一些这样的实施方式中，摄像机/运本文档来自技高网...

【技术保护点】
1.一种用于操作机器的系统，所述系统包括：显示装置；对象传感器；以及控制器，所述控制器被配置为：至少部分地基于来自对象传感器的传感器数据来检测经由显示装置可见的对象，生成与检测到的对象相对应的图形元素，在显示装置上输出所述图形元素，检测操作者的手与图形元素的相互作用，其中操作者的手经由所述显示装置可见并且至少部分地基于来自对象传感器的传感器数据来检测，以及至少部分地基于操作者的手与图形元素的所检测到的相互作用来传输被配置为控制机器的工具的操作的控制信号。

【技术特征摘要】
2017.10.31 US 15/799,6811.一种用于操作机器的系统，所述系统包括：显示装置；对象传感器；以及控制器，所述控制器被配置为：至少部分地基于来自对象传感器的传感器数据来检测经由显示装置可见的对象，生成与检测到的对象相对应的图形元素，在显示装置上输出所述图形元素，检测操作者的手与图形元素的相互作用，其中操作者的手经由所述显示装置可见并且至少部分地基于来自对象传感器的传感器数据来检测，以及至少部分地基于操作者的手与图形元素的所检测到的相互作用来传输被配置为控制机器的工具的操作的控制信号。2.根据权利要求1所述的系统，其中，所述控制器被配置为至少部分地基于所述传感器数据通过自动检测自动平地机的刀片来检测对象，并且其中所述控制器被配置为发送控制信号，所述控制信号被配置通过将控制信号传输到自动平地机致动器来控制所述工具的操作，其中所述控制信号被配置成使得所述自动平地机致动器基于所述操作者的手与所述图形元素的所检测到的相互作用来调节所述刀片的位置。3.如权利要求2所述的系统，其中所述控制器被配置为：通过生成与自动平地机的刀片对应的虚拟手柄来生成与检测到的对象对应的图形元素；以及通过检测位于与虚拟手柄的对应的位置处并在接触虚拟手柄的同时运动的操作者的手，来检测操作者的手与图形元素的相互作用，其中传输至所述自动平地机致动器的所述控制信号被配置为使得所述自动平地机致动器在与所述操作者的手接触所述虚拟手柄时所检测到的运动对应的方向上调节所述刀片的位置。4.根据权利要求3所述的系统，其中所述控制器还被配置为在所述显示装置上生成并输出虚拟刀片，其中所述显示的虚拟刀片的位置和定向响应于所述虚拟手柄的运动而实时运动，以及其中自动平地机的刀片的运动滞后于所显示的虚拟刀片的运动并且最终停留在所显示的虚拟刀片的位置和定向上。5.根据权利要求3所述的系统，其中，所述控制器还被配置为基于所述操作者的手接触虚拟手柄时的所检测到的运动来调节所述虚拟手柄的显示位置，使得所述虚拟手柄呈现为随着所述操作者的手而运动。6.根据权利要求3所述的系统，其中所述控制器还被配置为：生成并显示第二图形元素，所述第二图形元素突出显示经由显示装置可见的自动平地机的刀片的位置；检测操作者的手与第二图形元素的相互作用；以及向所述自动平地机致动器发送第二控制信号，其中，所述第二控制信号被配置为使所述平地机致动器在与所述操作者的手与所述第二图形元素的所检测到的相互作用相对应的方向上调节所述刀片的位置。7.根据权利要求6所述的系统，其中所述控制器被配置为通过检测朝向所述自动平地机的所述刀片上的位置的敲击动作来检测所述操作者的手与所述第二图形元素的相互作用，并且其中所述第二控制信号被配置使得自动平地机致动器在与自动平地机的刀片上的检测到的敲击动作的位置或方向相对应的方向上调节所述刀片的位置。8.根据权利要求7所述的系统，其中所述第二控制信号被配置为使得所述自动平地机致动器响应于检测到所述操作者的手与相对于自动平地机的刀片的下边缘相对应的位置处在向上的方向上的敲击动作而向上移动所述自动平地机的所述刀片。9.根据权利要求7所述的系统，其中所述第二控制信号被配置为响应于检测到所述操作者的手在与所述自动平地机的所述刀片的顶侧对应的位置处的敲击动作而使所述自动平地机致动器向前倾斜所述刀片。10.根据权利要求7所述的系统，其中，所述控制器被配置成通过响应于检测所述操作者的手与所述虚拟手柄的相互作用而生成所述控制信号以导致刀片位置的大范围的调节，并且被配置为通过响应于检测到操作者的手朝向与自动平地机的刀片位置对应的位置处的敲击动作而生成第二控制信号以导致所述刀片位置的小范围的调节。11.根据权利要求2所述的系统，其中所述控制器被配置为：通过生成突出显示经由显示装置可见的自动平地机的刀片的位置的图形元素来生成与检测到的对象相对应的图形元素，以及通过检测朝向自动平地机的刀片上的位置的敲击动作来检测操作者的手与图形元素的相互作用，其中传送到所述自动平地机致动器的所述控制信号被配置为使所述自动平地机致动器在与所检测到的敲击动作的位置或方向对应的方向上调节所述刀片的位置。12.根据权利要求1所述的系统，其中所述控制信号被传送到工具致动器并且被配置为使所述工具致动器控制所述机器的所述工具以自动地对所检测到的对象执行操作。13.根据权利要求12所述的系统，其中所述控制器被配置成：通过生成突出显示对象的位置的图形元素来生成与检测到的对象相对应的图形元素，通过检测操作者的手朝向突出显...

【专利技术属性】
技术研发人员：马克·J·切尼，
申请(专利权)人：迪尔公司，
类型：发明
国别省市：美国,US