通过增强现实操作设备的方法和系统技术方案

提供了一种通过增强现实操作设备的系统。该系统包括图像采集单元，图像处理单元，显示器，控制装置和控制中心。该图像采集单元采集用户的真实世界环境的图像。该图像处理单元处理采集的图像以识别目标设备。该显示器供用户观看，其向用户显示目标设备的AR信息图像。该控制装置从用户处接收目标设备的操作输入并传输该操作输入。该控制中心接收所传输的操作输入并向该目标设备发送操作信号。还提供了一种方法。通过增强现实操作设备的系统和方法可以在提供设备状态和相关信息的同时对设备进行直观控制和操作。

【技术实现步骤摘要】
【国外来华专利技术】通过增强现实操作设备的方法和系统相关申请的交叉引用本申请要求于2017年6月30日提交的申请号为PCT/CN2017/091261的PCT国际申请的优先权，其在此出于所有目的通过引用将其全部内容并入本文。
本申请涉及用于通过增强现实进行直观操作的方法和系统，更具体地，涉及用于通过设备的增强现实图像来控制和设置设备的方法和系统。
技术介绍
为了操作设备，例如获取设备的状态或设置设备的操作参数，用户通常需要靠近设备。靠近不同的设备单元并分别操作它们的用户界面需要耗费时间。一些现有的中央控制方法可以通过连接到所有设备单元的中央控制单元来访问多个设备单元的状态和管理操作。然而，那需要一个易于使用的界面和一个集成的控制和管理系统。为各种类型的设备单元和不同的用户设计一个通用的、用户友好的界面是很有挑战性的。增强现实(AR)是一种直接或间接的物理、现实环境的实时影像，其元素被计算机生成的输入(如声音、图像、图形或数据)进行增强或补充。在观察真实世界环境的同时，用户可以通过AR图像接收补充信息。AR提供并补充了关于设备的附加信息的直观视图。然而，直观的控制和操作设备很少被公开和讨论。因此，在提供设备的状态和相关信息的同时，需要提供改进的方法和系统来直观的控制和操作设备。本专利技术所公开的方法和系统解决了上面列出的一个或多个问题和/或现有技术中的其他问题。
技术实现思路
根据一方面，本专利技术提供了一种通过增强现实(AR)操作设备的系统，所述系统包括图像采集单元、图像处理单元、显示器、控制装置和控制中心。图像采集单元采集用户的真实世界环境的图像；图像处理单元处理采集的图像以识别目标设备；显示器供所述用户观看，向所述用户显示目标设备的AR信息图像。控制装置从用户处接收所述目标设备的操作输入并传输所述操作输入。控制中心接收传输的所述操作输入并向所述目标设备发送操作信号。根据另一方面，本专利技术提供了一种通过增强现实(AR)操作设备的方法。所述方法包括：获得真实世界环境的图像；识别所获得的所述图像中的目标设备；向用户显示所述目标设备的AR信息图像；接收所述目标设备的操作输入；以及向所述目标设备发送操作信号。根据再一方面，本专利技术提供了一种存储有指令的非易失性计算机可读存储介质，当执行指令时，使至少一个处理器通过增强现实(AR)来执行操作设备的操作。所述操作包括：获得真实世界环境的图像；识别所获得的所述图像中的目标设备；向用户显示所述目标设备的AR信息图像；接收所述目标设备的操作输入；以及向所述目标设备发送操作信号。通过增强现实(AR)操作设备的系统和方法可以在提供设备状态和相关信息的同时直观的控制和操作设备附图说明并入本说明书并构成本说明书的一部分的附图示出了本公开示例性实施例，并且与说明书一起用于解释本公开的原理。图1是根据公开的实施例的通过增强现实进行直观操作的示例性系统；图2是根据公开的实施例的在接收来自用户的操作输入之后的增强现实图像的示例性显示；图3是根据公开的实施例的用于通过增强现实进行直观操作的示例性头戴式显示器；图4是根据公开的实施例的用于通过增强现实的直观操作的示例性身份指示器；图5是根据公开的实施例的用于通过增强现实进行直观操作的示例性相机；图6是根据公开的实施例的用于通过增强现实进行直观操作的另一示例性相机；图7是根据公开的实施例用于通过增强现实进行直观操作的示例性图像处理单元的框图；图8是根据公开的实施例用于通过增强现实的直观操作的示例性系统构架中的示例性控制中心；图9是根据公开的实施例的用于通过增强现实进行直观操作的示例性控制装置；图10是根据公开的实施例的用于通过增强现实的直观操作的示例性处理流程的流程图。具体实施方式本说明书和说明书示例性实施例的附图不应被视为限制。在不脱离本说明书和权利要求书的范围的情况下，可以进行各种机械、结构、电气和操作改变，包括等同物。在某些情况下，众所周知的结构和技术未被详细示出或描述，以免混淆本公开。两个或多个图形中的相似参考数字表示相同或相似的元素，此外，参考一个实施例详细公开的元件及其相关特征可以在任何实际时被包括在其中没有具体示出或描述的其他实施例中。例如，如果一个元素是参照第一个实施例被详细描述的，而不是参照第二个实施例被描述的，那么该元素仍然可以作为第二个实施例被声明。本公开总体上涉及用于通过增强现实直观地操作设备的方法和系统。目标设备可以是计算机、打印机、测量仪器、设备、炊具、洗衣机或其任何组合。目标设备可以包括物理、现实环境中的任何东西，比如电器、家具、设施、宠物，甚至人类。对于能够根据用户的指令进行操作的目标设备，可能需要连接到控制中心来接收操作信号和/或信息。当目标设备接收操作信号和/或信息时，其可以相应地执行用户的指令。例如，计算机，打印机，测量仪器或炊具连接到控制中心时，可根据用户的指示执行某些操作。该控制中心接收到用户指令后发送控制信号指示目标设备。对于不能响应于用户指令执行任何操作的目标设备，当目标设备包括在系统中并且在系统中可识别时，用户可以通过增强现实的直观操作查询关于目标设备的信息。本公开一方面针对一种通过增强现实进行直观操作的系统。图1是根据公开的实施例的用于通过增强现实进行直观操作的示例性系统。该系统包括可由用户100观看的显示器，例如头戴显示器(HMD)200，图像处理单元500，控制中心600和控制装置700。另外，在该图中，计算机110和打印机120是通过增强现实观察和操作的示例性真实目标设备单元。计算机110和打印机120分别包括身份指示器310和320。计算机110，打印机120及其各自的身份指示器310和320通过无线接入点840连接到控制中心600。用户100佩戴HMD200并通过HMD200观察计算机110和打印机120。HMD200包括捕捉用户100看到的图像的相机400。这些图像通过HMD200的分光镜240(如图3所示)来观看。分光镜240是将投影图像呈现为显示并将用户观看的实际图像与投影图像重叠的光学装置。HMD200通过无线通信连接到图像处理单元500，下面将更详细地描述，并且经由相机400接收从身份指示器310和320发送的指示信号。在相机400拍摄图像和/或接收指示信号之后，HMD200将这些图像和指示信号发送给图像处理单元500以供进一步处理。在接收到图像和指示信号之后，图像处理单元500标识并识别一个或多个真实目标设备单元，例如，基于所接收的图像和指示信号的计算机110和打印机120。图像处理单元500还通过无线接入点820连接到控制中心600，如图所示。然后图像处理单元500发送目标设备的标识到控制中心600以检索目标设备的信息。例如，图像处理单元500通过无线接入点820提供的无线连接将计算机110和打印机120的标识发送到控制中心600。控制中心600在接收到目标设备的身份后，根据接收到的目标设备的身份在其数据库中查找目标设备的信息，并将该目标设备的数据库信息发送给图像处理单元500，然后图像处理单元500将信息发送到HMD200。HMD200基于接收到的信息在分光镜240上显示AR信息图像。用户100通过分光镜240看到目标设备与目标设备有关的信息增强。例如，在图1中，当用户100通过HMD2本文档来自技高网...

【技术保护点】
1.一种通过增强现实(AR)操作设备的系统，其特征在于，所述系统包括：图像采集单元，用于采集用户的真实世界环境的图像；图像处理单元，用于处理采集的图像以识别目标设备；显示器，用于供所述用户观看，向所述用户显示所述目标设备的AR信息图像；控制装置，用于从用户处接收所述目标设备的操作输入并传输所述操作输入；以及控制中心，用于接收所述操作输入并向所述目标设备发送操作信号。

【技术特征摘要】
【国外来华专利技术】1.一种通过增强现实(AR)操作设备的系统，其特征在于，所述系统包括：图像采集单元，用于采集用户的真实世界环境的图像；图像处理单元，用于处理采集的图像以识别目标设备；显示器，用于供所述用户观看，向所述用户显示所述目标设备的AR信息图像；控制装置，用于从用户处接收所述目标设备的操作输入并传输所述操作输入；以及控制中心，用于接收所述操作输入并向所述目标设备发送操作信号。2.根据权利要求1所述的系统，其特征在于，所采集的图像包含真实世界设备的图像，所述真实世界设备包括提供指示信号的身份指示器，所述图像处理单元根据接收到的指示信号确定所述真实世界设备为目标设备。3.根据权利要求2所述的系统，其特征在于，所述指示信号的信息包含至少一个：所述真实世界设备的指示灯发出的光信号；光信号的闪光速度；或光信号的波长。4.根据权利要求2所述的系统，其特征在于，所述图像处理单元包括标识检测模块，所述标识检测模块被配置为接收所采集的图像，以根据所述身份指示器发送的指示信号来识别所述身份指示器的身份。5.根据权利要求4所述的系统，其特征在于，所述图像处理单元与所述控制中心通信连接，以从所述控制中心接收所述目标设备的信息。6.根据权利要求5所述的系统，其特征在于，所述目标设备的信息包含至少一个：所述目标设备的描述信息；所述目标设备的状态信息；所述目标设备的操作信息；或所述目标设备的设置信息。7.根据权利要求1所述的系统，其特征在于，所述AR信息图像包含至少一个：所述目标设备的描述信息；所述目标设备的状态信息；所述目标设备的操作信息；或所述目标设备的设置信息。8.根据权利要求4所述的系统，其特征在于，所述图像处理单元还包括坐标计算模块，所述坐标计算模块被配置为基于所述指示信号确定所述目标设备的位置。9.根据权利要求1所述的系统，其特征在于，所述显示器是头戴式显示器，所述头戴式显示器包括AR投影装置和分光镜，所述AR投影装置被配置为将所述AR信息图像投影到所述分光镜上，所述头戴式显示器与所述图像采集单元、所述图像处理单元以及所述控制中心通信连接。10.根据权利要求1所述的系统，其特征在于，所述控制装置包括：用户输入设备，用于生成输入信号；和控制装置控制器，用于当所述图像处理单元检测到所述控制装置的AR指针在所述目标设备的操作区域内时，接收所述输入信号并确定所述输入信号是针对所述目标设备。11.根据权利要求10所述的系统，其特征在于，所述目标设备的操作区域包含至少一个：由所述用户通过分光镜看到的所述AR信息图像的区域；由所述用户通过所述分光镜看到的所述目标设备的区域；或者由所述用户通过所述分光镜看到的固定区域。12.根据权利要求1所述的系统，其特征在于，所述控制中心与所述目标设备、所述图像处理单元以及所述显示器通信连接，所述控制中心包括：数据库，用于存储所述目标设备的信息；人机交互控制器，用于控制所述用户与所显示的所述AR信息图像之间的交互；增强现实图像生成器，用于生成所显示的所述AR信息图像。13.根据权利要求1所述的系统，其特征在于：所述AR信息图像是第一AR信息图像；所述操作输入是第一操作输入；所述操作信号是第一操作信号；所述显示器在接收到所述第一操作输入之后，向所述用户显示所述目标设备的第二AR信息图像；所述控制装置从所述用户处接收所述目标设备的第二操作输入，并传输所述第二操作输入；所述控制中心接收传输的所述第二操作输入，并向所述目标设备发送第二操作信号；以及所述第二AR信息图像包含与所述第一操作输入对应的信息。14.根据权利要求13所述的系统，其特征在于：所述第二AR信息图像包含与所述目标设备的详细信息相对应的操作子区域；并且所述控制装置通过以下步骤接收所述目标设备的第二操作输入：当所述图像处理单元检测到所述控制装置的AR指针在所述操作子区域内时，接收所述控制装置的输入信号。15.根据权利要求13所述的系统，其特征在于，所述第二AR信息图像包含至少一个：所述目标设备的描述信息；所述目标设备的状态信息；所述目标设备的操作信息；或所述目标设备的设置信息。16.一种通过增强现实(AR)操作设备的方法，其特征在于，所述方法包括：获得真实世界环境的图像；识别所获得的所述图像中的目标设备；向用户显示所述目标设备的AR信息图像；接收所述目标设备的操作输入；以及向所述目标设备发送操作信号。17.根据权利要求16所述的方法，其特征在于，识别所述目标设备包括：接收真实世界设备的指示信号；基于接收到的所述指示信号，确定所述真实世界设备为所述目标设备。18.根据权利要求17所述的方法，其特征在于，所述指示信号的信息包含至少一个：所述真实世界设备的指示灯发出的光信号；光信号的闪光速度；或光信号的波长。19.根据权利要求17所述的方法，其特征在于，所述确定所述真实世界设备为所述目标设备，包括：向控制中心发送用于识别所述真实世界设备的信号，用于识别包含所述指示信号中的信息的真实世界设备的信号；和从所述控制中心接收识别所述真实世界设备作为所述目标设备的信号。20.根据权利要求19所述的方法，其特征在于，所述确定所述真实世界设备为所述目标设备还包括：从所述控制中心接收关于所述目标设备的信息。21.根据权利要求20所述的方法，其特征在于，所述目标设备的信息包含至少一个：所述目标设备的描述信息；所述目标设备的状态信息；所述目标设备的操作信息；或所述目标设备的设置信息。22.根据权利要求16所述的方法，其特征在于，所述AR信息图像包含至少一个：所述目标设备的描述信息；所述目标设备的状态信息；所述目标设备的操作信息；或所述目标设备的设置信息。23.根据权利要求17所述的方法，其特征在于，所述方法还包括：基于所述指示信号识别所述目标设备的位置。24.根据权利要求23所述的方法，其特征在于，显示所述AR信息...

【专利技术属性】
技术研发人员：戴景文，贺杰，
申请(专利权)人：广东虚拟现实科技有限公司，
类型：发明
国别省市：广东,44