【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及电子设备，并且更具体地涉及用于更新扩展现实系统和计算机辅助设备之间的配准变换的技术。
技术介绍
1、计算机辅助电子系统被越来越频繁地使用。在工业、娱乐、教育和其他环境中尤其如此。作为医疗示例，在手术室、介入套房、重症监护室、急诊室等中都发现如今的医疗设施具有大量的计算机辅助设备。这些计算机辅助设备中的许多设备是可移动的，并且可以能够自主或半自主运动。还已知工作人员使用位于用户控制系统处的一个或多个输入设备来控制可移动计算机辅助设备的运动和/或操作。作为包括计算机辅助设备的电子系统的具体示例，微创机器人远程外科手术设备允许外科医生从床边或远程位点对患者进行手术。远程外科手术通常是指使用外科手术设备进行的外科手术，其中外科医生使用某种形式的远程控件(诸如伺服机构)来操纵外科手术器械移动，而不是直接用手握持和移动器械。
2、扩展现实(xr)系统经常与计算机辅助设备结合使用，以在工作部位处执行任务。xr系统的示例包括增强现实(ar)设备和虚拟现实(vr)设备。如本文所用，ar是指具有一个或多个计算机生成的图形元素的叠加的物理环境的视图，包括物理对象和计算机生成的元素可以在其中交互的混合现实(mr)环境。如本文所用，vr是指包括计算机生成的元素的虚拟环境。例如，xr系统可以呈现关于计算机辅助设备的操作环境的数据或计算机辅助设备操作期间的指导等。为了以相对于计算机辅助设备的适当位置和/或取向来显示xr内容，确定在xr系统和计算机辅助设备之间的配准(registration)。配准在xr系统的部分或全部与计算机辅助
3、用于确定xr系统和环境中的对象(诸如计算机辅助设备)之间的配准的常规方法可能不太准确。因此，xr系统可能在相对于计算机辅助设备的不正确位置和/或取向上显示xr内容。
4、因此，需要改进用于将xr系统与环境中的对象(诸如计算机辅助设备)进行配准的技术。
技术实现思路
1、根据一些实施例，一种电子系统包括计算机辅助设备以及可通信地耦合到计算机辅助设备和传感器系统的控制系统，该传感器系统被配置为捕获关于计算机辅助设备外部的环境的传感器数据。该控制系统被配置为：在操作者的操作者部分和计算机辅助设备的设备部分之间的一个或多个交互期间，基于传感器数据来确定操作者部分的姿势信息，操作者部分的姿势信息包括从由以下各项构成的群组中选择的至少一个参数：操作者部分在一个或多个交互期间的位置以及操作者部分在一个或多个交互期间的取向，在一个或多个交互期间确定设备部分的姿势信息，设备部分的姿势信息包括从由以下各项构成的群组中选择的至少一个参数：设备部分在一个或多个交互期间的位置以及设备部分在一个或多个交互期间的取向，基于操作者部分的姿势信息和设备部分的姿势信息，更新扩展现实(xr)系统和计算机辅助设备之间的配准变换，并且使xr系统使用更新的配准变换来呈现由操作者可查看的图像。
2、根据一些实施例，一种操作电子系统的方法，该电子系统包括计算机辅助设备以及可通信地耦合到计算机辅助设备和传感器系统的控制系统，该传感器系统被配置为捕获关于计算机辅助设备外部的环境的传感器数据，并且该方法包括：在操作者的操作者部分和计算机辅助设备的设备部分之间的一个或多个交互期间，基于传感器数据来确定操作者部分的姿势信息，操作者部分的姿势信息包括从由以下各项构成的群组中选择的至少一个参数：操作者部分在一个或多个交互期间的位置以及操作者部分在一个或多个交互期间的取向；在一个或多个交互期间确定设备部分的姿势信息，设备部分的姿势信息包括从由以下各项构成的群组中选择的至少一个参数：设备部分在一个或多个交互期间的位置以及设备部分在一个或多个交互期间的取向；基于操作者部分的姿势信息和设备部分的姿势信息，更新扩展现实(xr)系统和计算机辅助设备之间的配准变换；以及使xr系统使用更新的配准变换来呈现由操作者可查看的图像。
3、其他实施例包括但不限于一个或多个非瞬态机器可读介质，其包括多个机器可读指令，这些机器可读指令在由一个或多个处理器执行时适于使一个或多个处理器执行本文所公开的任何方法。
4、上述一般描述和以下详细描述本质上是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。在这方面，通过以下详细描述，本领域技术人员将清楚本公开的附加方面、特征和优点。
本文档来自技高网...【技术保护点】
1.一种电子系统，其包括：
2.根据权利要求1所述的电子系统，其中：
3.根据权利要求1所述的电子系统，其中所述一个或多个交互包括从由以下各项构成的群组中选择的至少一个交互：所述操作者部分与设置在所述设备部分上的机械输入设备交互；所述操作者部分与显示在所述设备部分上的虚拟输入设备交互；所述操作者部分接触所述设备部分；所述操作者部分移动所述设备部分；所述操作者部分将对象附接到所述设备部分；以及所述操作者部分将对象与所述设备部分分离。
4.根据权利要求1所述的电子系统，其中：
5.根据权利要求1所述的电子系统，其中所述一个或多个交互是单个交互。
6.根据权利要求5所述的电子系统，其中：
7.根据权利要求5所述的电子系统，其中所述单个交互包括连续交互。
8.根据权利要求7所述的电子系统，其中：
9.根据权利要求1所述的电子系统，其中所述一个或多个交互包括多个交互。
10.根据权利要求9所述的电子系统，其中所述多个交互包括：复合交互或多个独立交互。
11.根据权利要求9
12.根据权利要求1所述的电子系统，其中为了确定所述操作者部分的所述姿势信息，所述控制系统被配置为确定：
13.根据权利要求1所述的电子系统，其中当所述一个或多个交互包括从由以下各项构成的群组中选择的至少一个交互时，所述操作者部分的所述姿势信息包括所述操作者的眼睛聚散点或所述操作者的注视方向：所述操作者与显示在所述设备部分上的虚拟输入设备交互；所述操作者部分将对象附接到所述设备部分；以及所述操作者部分将对象与所述设备部分分离。
14.根据权利要求1所述的电子系统，其中所述控制系统还被配置为使所述XR系统呈现图像，所述图像包括对所述操作者执行所述一个或多个交互的提示。
15.根据权利要求1所述的电子系统，其中所述控制系统还被配置为基于初始传感器数据确定所述XR系统与所述计算机辅助设备之间的所述配准变换的初始变换，初始传感器数据由所述传感器系统捕获并且不与所述一个或多个交互关联。
16.根据权利要求1至15中任一项所述的电子系统，其中为了更新所述配准变换，所述控制系统被配置为：
17.根据权利要求16所述的电子系统，其中：
18.根据权利要求16所述的电子系统，其中为了基于所述误差更新所述配准变换，所述控制系统被配置为：
19.根据权利要求1所述的电子系统，其中为了更新所述配准变换，所述控制系统被配置为：基于置信度对所述操作者部分的所述姿势信息进行加权。
20.根据权利要求19所述的电子系统，其中：
21.根据权利要求1至15中任一项所述的电子系统，其中为了确定所述操作者部分的所述姿势信息，所述控制系统被配置为使用人体姿势估计技术执行一个或多个对象检测操作。
22.根据权利要求1至15中任一项所述的电子系统，其中所述XR系统包括头戴式部件，并且所述传感器系统包括设置在所述头戴式部件上的成像设备。
23.根据权利要求1至15中任一项所述的电子系统，其中所述控制系统还被配置为：
24.根据权利要求23所述的电子系统，其中为了将所述交互认定为正由所述操作者为设置所述计算机辅助设备而执行，所述控制系统被配置为：
25.根据权利要求1至15中任一项所述的电子系统，其中所述控制系统还被配置为：基于所述操作者在训练期间为使用所述计算机辅助设备而正在执行交互，将所述交互认定为所述一个或多个交互。
26.根据权利要求25所述的电子系统，其中为了将所述交互认定为正由所述操作者在训练期间为使用所述计算机辅助设备而执行，所述控制系统被配置为：
27.根据权利要求1至15中任一项所述的电子系统，其中所述一个或多个交互包括一组预定义交互，所述一组预定义交互具有顺序，并且其中所述控制系统还被配置为：
28.根据权利要求27所述的电子系统，其中为了基于所述配准变换误差调整所述一组预定义交互，所述控制系统被配置为：
29.根据权利要求27所述的电子系统，其中为了基于所述配准变换误差调整所述一组预定义交互，所述控制系统被配置为：
30.根据权利要求27所述的电子系统，其中为了基于所述配准变换误差调整所述一组预定义交互，所述控制系统被配置为：
31.根据权利要求27所述的电子系统，其中为了基于所述配准变换误差调整所述一组预定义交互，所述控制系统被配置为：
32.一种操作电子系统的方法，所述电子系统包括计算机辅助设备以...
【技术特征摘要】
【国外来华专利技术】
1.一种电子系统，其包括：
2.根据权利要求1所述的电子系统，其中：
3.根据权利要求1所述的电子系统，其中所述一个或多个交互包括从由以下各项构成的群组中选择的至少一个交互：所述操作者部分与设置在所述设备部分上的机械输入设备交互；所述操作者部分与显示在所述设备部分上的虚拟输入设备交互；所述操作者部分接触所述设备部分；所述操作者部分移动所述设备部分；所述操作者部分将对象附接到所述设备部分；以及所述操作者部分将对象与所述设备部分分离。
4.根据权利要求1所述的电子系统，其中：
5.根据权利要求1所述的电子系统，其中所述一个或多个交互是单个交互。
6.根据权利要求5所述的电子系统，其中：
7.根据权利要求5所述的电子系统，其中所述单个交互包括连续交互。
8.根据权利要求7所述的电子系统，其中：
9.根据权利要求1所述的电子系统，其中所述一个或多个交互包括多个交互。
10.根据权利要求9所述的电子系统，其中所述多个交互包括：复合交互或多个独立交互。
11.根据权利要求9所述的电子系统，其中：
12.根据权利要求1所述的电子系统，其中为了确定所述操作者部分的所述姿势信息，所述控制系统被配置为确定：
13.根据权利要求1所述的电子系统，其中当所述一个或多个交互包括从由以下各项构成的群组中选择的至少一个交互时，所述操作者部分的所述姿势信息包括所述操作者的眼睛聚散点或所述操作者的注视方向：所述操作者与显示在所述设备部分上的虚拟输入设备交互；所述操作者部分将对象附接到所述设备部分；以及所述操作者部分将对象与所述设备部分分离。
14.根据权利要求1所述的电子系统，其中所述控制系统还被配置为使所述xr系统呈现图像，所述图像包括对所述操作者执行所述一个或多个交互的提示。
15.根据权利要求1所述的电子系统，其中所述控制系统还被配置为基于初始传感器数据确定所述xr系统与所述计算机辅助设备之间的所述配准变换的初始变换，初始传感器数据由所述传感器系统捕获并且不与所述一个或多个交互关联。
16.根据权利要求1至15中任一项所述的电子系统，其中为了更新所述配准变换，所述控制系统被配置为：
17.根据权利要求16所述的电子系统，其中：
18.根据权利要求16所述的电子系统，其中为了基于所述误差更新所述配准变换，所述控制系统被配置为：
19.根据权利要求1所述的电子系统，其中为了更新所述配准变换，所述控制系统被配置为：基于置信度对所述操作者部分的所述姿势信息进行加权。
20.根据权利要求19所述的电子系统，其中：
21.根据权利要求1至15中任一项所述的电子系统，其中为了确定所述操作者部分的所述姿势信息，所述控制系统被配置为使用人体姿势估计技术执行一个或多个对象检测操作。
22.根据权利要求1至15中任一项所述的电子系统，其中所述xr系统包括头戴式部件，并且所述传感器系统包括设置在所述头戴式部件上的成像设备。
23.根据权利要求1至15中任一项所述的电子系统，其中所述控制系统还被配置为：
24.根据权利要求23所述的电子系统，其中为了将所述交互认定为正由所述操作者为设置所述计算机辅助设备而执行，所述控制系统被配置为：
25.根据权利要求1至15中任一项所述的电子系统，其中所述控制系统还被配置为：基于所述操作者在训练期间为使用所述计算机辅助设备而正在执行交互，将所述交互认定为所述一个或多个交互。
26.根据权利要求25所述的电子系统，其中为了将所述交互认定为正由所述操作者在训练期间为使用所述计算机辅助设备而执行，所述控制系统被配置为：
27.根据权利要求1至15中任一项所述的电子系统，其中所述一个或多个交互包括一组预定义交互，所述一组预定义交互具有顺序，并且其中所述控制系统还被配置为：
28....
【专利技术属性】
技术研发人员：S·穆鲁加潘，G·帕雅乌拉，G·M·勒，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。