运动跟踪和仿真装置和方法制造方法及图纸

用于牙科仿真的装置包括：显示器；一个或多个处理器；包括发光体和惯性测量单元(IMU)的手持件，其中所述IMU与所述一个或多个处理器中的至少一个通信，并且其中，所述IMU被构造成生成IMU位置和定向数据，其中所述IMU位置和定向数据描述了手持件的位置和定向；与所述一个或多个处理器中的至少一个通信的至少两台相机，其中所述至少两台相机中的每一台被构造成使用由所述发光体发射的光生成一系列图像；其中，所述一个或多个处理器被配置成：从所述至少两台相机中的每一台接收所述一系列图像，基于从所述一系列图像导出的二维坐标数据，生成确定所述LED的位置的三维坐标数据；接收所述IMU位置和定向数据；进一步地，其中，所述一个或多个处理器被配置成将所述IMU位置和定向数据与所述三维坐标数据组合以生成仿真指令，并根据所述仿真指令，在显示器上显示物体的三维虚拟图像以及动画显示该物体的运动。

【技术实现步骤摘要】
【国外来华专利技术】运动跟踪和仿真装置和方法专利
本专利技术涉及跟踪移动的手持件的位置和定向，并向显示器输出根据手持件的跟踪位置移动的图像。更具体地，本专利技术涉及跟踪牙科仿真环境中手持件的移动以仿真模拟牙科工具的使用。专利技术背景用于训练目的的仿真牙科技术的机器是已知的，并且包括例如由申请人制造的Simodont机器。这些机器实现虚拟现实技术，允许学生练习各种牙科程序。仿真机通常包括显示屏幕，该显示屏幕输出3D图像以供佩戴3D眼镜的用户观看。位于显示屏下方的是至少一个手持件，该手持件通过包括一系列连杆和电动机的机构固定到机器上，当用户在牙齿、牙齿组或牙颌的虚拟3D图像上进行牙科手术(例如，钻入牙齿)时，所述机构测量手持件(在被使用者移动时)的相对位置以及使用者所施加的力。手持件仿真模拟牙医的钻头，并在学生进行钻孔时向学生提供触觉反馈。由于机器的目的是，在实习牙医被要求在真实而非虚拟的患者身上执行相同的技术之前，为实习牙医提供训练的仿真环境，仿真过程越真实，学生就越沉浸于他们的训练，对学生和未来的患者的结果越好，在牙科中常用的工具是在手柄末端上的小镜子，牙医用它来观察牙齿和牙龈以及从牙医的视角看不清楚的其他口腔区域。在Simodont机器上，牙医口镜是通过一个手持件(其不同于用来仿真模拟牙医的钻的手持件，并不提供触觉反馈)仿真模拟的，该手持件通过一系列连杆连接到机器上。当镜子手持件移动时，测量每个连杆的移动范围和角度，并计算镜子手持件的相对位置。显示器上的牙医口镜的虚拟图像相应地移动。然而，在学生移动手持件的空间内，连杆限制了运动范围。为学生提供足够活动范围所需的连杆数量(以确保学生感觉他或她实际上正在操作一面真实的镜子)会使位置准确性有所折中。另外，连杆的重量可以由使用者感觉到(从而减少仿真的“真实性”)并且连杆通过过度使用或误用而遭到磨损和破损。本专利技术的目的是减轻至少一些上述缺点。
技术实现思路
根据本专利技术的第一方面，提供了一种根据所附权利要求1的用于牙齿仿真的装置。所述装置允许手持物体的精确运动跟踪并且将跟踪的运动准确地转换成牙科仿真环境的牙科工具的动画。根据本专利技术的第二方面，提供了一种根据所附权利要求15的手持件。所述手持件的运动可以通过医疗仿真机借助于光源和用于测量手持件的定向的装置来跟踪。根据本专利技术的第三方面，提供了一种根据所附权利要求25的计算机实现方法。所述方法使得能够准确且有效地生成指令从而将物理物体的移动复制到在观看屏幕上显示的虚拟物体的移动上。根据本专利技术的第四方面，提供了一种根据所附权利要求30的系统。根据本专利技术的第五方面，提供了一种根据所附权利要求34的系统。在所附的从属权利要求中限定了本专利技术的优选特征。附图简要说明图1是牙科仿真机的立体图；图2是牙科仿真机的剖视立体图；图3是根据本专利技术的一个实施例的镜子跟踪设备的示意图；图4a是根据本专利技术的一个实施例的牙科仿真机的一部分的立体图；图4b是图4a中所示的牙科仿真机的一部分的剖面图；图5是根据本专利技术的一个实施例的跟踪系统的主要硬件组件的示意图。具体说明牙科仿真机总体上在图1中示出。牙科学生使用机器100，通过使用增强现实技术来实践牙科技术。学生坐在面向观察屏101的椅子(未示出)上。扶手102通常定义学生仿真牙科技术的区域。电源按钮105提供机器开/关功能，并且高度调节开关106允许用户调节机器100，包括扶手102和观看屏幕101，的位置的高度。观看屏幕101显示虚拟3D运动图像，其运动与学生通过手持件(通常位于扶手101的区域内)的移动相对应。学生在佩戴被动3D眼镜的观看屏幕101上观看图像。鼠标104允许机器的用户在虚拟三维空间中调整观看屏幕101上的图像的相对位置和取向。脚踏板107便于控制仿真模拟钻头(或其他动力牙科工具)的操作。机器100还包括训练屏幕103(其可以是触敏屏幕)，其被学生用于访问与他们的训练相关的信息，例如训练计划、个人课程、评分和标记数据、指导者评论和回顾之前的培训材料。在进行仿真处理的同时，在观看屏幕101上显示的图像也被输出到训练屏幕103，以允许旁观者观看学生对机器的使用。图2示出了牙科仿真机的一些内部部件，其中与图1中相同部件的附图标记增加了100。机器200的主要处理能力由中央计算机213提供。投影仪211和光学盒210提供输出装置3D图像显示在显示屏201上。图1中的扶手102也在图2中示出。手持件208(“手持件”通常用于表示可以用手握住的任何装置或工具)用于仿真牙医的钻头。手持件208包括手柄，该手柄看起来和摸起来通常类似于牙医钻头的手柄。然而，手持件208的远端(即牙钻将所在的位置)通过一系列连杆连接到触觉显示器209。连杆和触觉显示器一起包括电动马达、力传感器、角位置传感器、惯性测量单元(IMU)和电位计。通过由触觉控制单元212控制的连续反馈机构仿真牙医钻头的操作，由此由用户施加的力和到手持件208的移动被馈送到触觉控制单元212，触觉控制单元212指示触觉显示器209的适当操作，从而根据设定的软件程序(例如，可以涉及包括特定牙科手术的特定训练环节)提供所需的反作用力(仿真的与实体的物体的相互作用)、振动(仿真模拟动力钻孔工具的操作)以及限制运动。现在将参考图3-5描述本专利技术的优选实施例。图3示出了镜子手持件320，其单独使用或与手持件208结合使用，以仿真模拟牙医口腔镜的使用。镜子手持件320包括壳体321，壳体321的尺寸被选择为与标准牙医口腔镜的手柄的尺寸大致匹配。因此，壳体321的直径优选小于12mm，并且优选地，长度小于或等于100mm。选择制造壳体321的材料以允许外部检测由光源/发光体322发出的光(其中“光”指的是任何电磁辐射)。优选地，发光体322是红外发光二极管(LED)。发光体322被用作主动红外标记，如下面将进一步描述的。壳体321可以是任何合适的材料，例如金属，但优选是粗糙的塑料，其也适合于人体工程学。镜子手持件320的重量小于30克，并且设计为由使用者的拇指和食指在通道325处抓握。镜子手持件320的近端323经由电缆(图3中未示出)连接到相机PCB。在替代实施例中，手持件320包括电池和发射器，并且无线地与相机PCB435通信。壳体321的远端322包含红外LED。LED的位置被光学跟踪(下面进一步描述)并且被映射到牙医口镜的镜子部分的虚拟图像，其在仿真练习期间被显示在观看屏幕101上。镜子手持件320的壳体321还包括小PCB，其包括惯性测量单元(IMU)324。IMU是在各种装置(包括游戏控制台和移动电话)中广泛使用的部件，并且包括陀螺仪和加速度计以对三维位置和定向进行测量。对于每个平移自由度，标准IMU对加速度数据进行积分以确定位置值。对于每个旋转自由度，角速度数据被积分以提供角位置数据。IMU还可以包括磁力计，以提供相对于地球磁场的定向数据。磁力计取向数据用于重新校准由陀螺仪提供的角位置数据，以补偿由小积分误差的累积引起的不准确性。关于IMU的操作原理的细节对于本领域技术人员来说是可获得的。跟踪镜子手持件320的运动的大致空间在图4a和4b中示为区域430。区域430位于扶手435上方并且大致限定学生操作一个或多个镜子手持件320和/或手持件208的区域。两个上部本文档来自技高网...

【技术保护点】
1.一种装置，包括：显示器；一个或多个处理器；包括发光体和惯性测量单元(IMU)的手持件，其中，所述IMU与所述一个或多个处理器中的至少一个通信，并且其中，所述IMU被配置为生成IMU位置和定向数据，其中，所述IMU位置和定向数据描述了所述手持件的位置和定向；与所述一个或多个处理器中的至少一个通信的至少两台相机，其中，所述至少两台相机中的每一台被配置成使用所述发光体发射的光生成一系列图像；其中，所述一个或多个处理器被配置成：从所述至少两台相机的每一台中接收一系列图像，基于从该一系列图像导出的二维坐标数据，生成确定所述发光体位置的三维坐标数据，接收所述IMU位置和定向数据；进一步地，其中，所述一个或多个处理器被配置成将所述IMU位置和定向数据与所述三维坐标数据组合以生成仿真指令，并根据所述仿真指令在显示器上显示物体的三维虚拟图像以及动画显示所述物体的运动。

【技术特征摘要】
【国外来华专利技术】2016.03.10 GB 1604115.41.一种装置，包括：显示器；一个或多个处理器；包括发光体和惯性测量单元(IMU)的手持件，其中，所述IMU与所述一个或多个处理器中的至少一个通信，并且其中，所述IMU被配置为生成IMU位置和定向数据，其中，所述IMU位置和定向数据描述了所述手持件的位置和定向；与所述一个或多个处理器中的至少一个通信的至少两台相机，其中，所述至少两台相机中的每一台被配置成使用所述发光体发射的光生成一系列图像；其中，所述一个或多个处理器被配置成：从所述至少两台相机的每一台中接收一系列图像，基于从该一系列图像导出的二维坐标数据，生成确定所述发光体位置的三维坐标数据，接收所述IMU位置和定向数据；进一步地，其中，所述一个或多个处理器被配置成将所述IMU位置和定向数据与所述三维坐标数据组合以生成仿真指令，并根据所述仿真指令在显示器上显示物体的三维虚拟图像以及动画显示所述物体的运动。2.如权利要求1所述的装置，其中，所述仿真的图像是牙医口镜。3.如权利要求1或2所述的装置，其中，所述相机是红外相机，并且其中，所述发光体是红外LED。4.如前述权利要求中任一项所述的装置，其中，所述设备包括4台相机。5.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器被进一步配置成针对每个图像生成二维坐标数据，用于确定所述图像中的所述发光体的位置。6.如前述权利要求中任一项所述的装置，其中，所述手持件可在跟踪空间内移动，并且其中，所述装置还组合有可在所述跟踪空间内移动的第二手持件。7.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器被进一步配置成在所述显示器上显示与所述第二手持件相对应的三维仿真的第二物体，并根据所述第二手持件的移动来动画显示所述第二物体的移动。8.如前述权利要求中任一项所述的装置，其中，所述手持件通过电缆连接到所述装置，但是可自由移动。9.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器中的至少一个被配置成扫描来自每台相机的所述一系列图像中的每一个图像的每个像素线，以确定哪些像素具有高于预定阈值的强度值。10.如权利要求9所述的装置，其中，所述一个或多个处理器中的至少一个生成确定具有高于所述预定阈值的强度值的像素的数据。11.如权利要求10所述的装置，其中，所述确定具有高于所述预定阈值的强度值的像素的数据被进行分析，以确定具有高于所述预定阈值的强度值的像素簇。12.如权利要求11所述的装置，其中，所述具有高于所述预定阈值的强度值的像素簇被进行分析，以确定最大簇，其中，所述最大簇的中心定义了所述LED在所述图像内的位置。13.如前述权利要求中任一项所述的装置，其中，所述三维坐标和所述IMU位置和定向数据在动态加载库中被组合在一起。14.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器使用所述三维坐标来校正所述IMU位置和定向数据中的位置数据中的错误。15.一种与牙科仿真机一起使用的手持件，所述手持件包括：惯性测量单元(IMU)，其被配置成生成位置和定向数据；和光源，其被配置成发光；其中，所述手持件配置成通过检测来自所述光源的光以及来自所述IMU的位置和定向数据能够确定所述光源的位置和定向。16.如权利要求15所述的手持件，其中，所述手持件包括具有远端和近端的细长壳体，其中，电缆连接到所述壳体的近端，其中，所述电缆使得所述手持件能够连接到所述牙科仿真机。17...

【专利技术属性】
技术研发人员：沃特·比曼斯，迪约·博德，卢克·斯坦纳，
申请(专利权)人：穆格公司，
类型：发明
国别省市：荷兰,NL