一种基于头戴式三维增强现实设备的手术训练和导航装置制造方法及图纸

本实用新型专利技术提出一种基于头戴式三维增强现实设备的手术训练和导航装置，所述装置包括：本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地计算机，远程计算机，三维模型扫描模块，和增强现实显示模块；所述的远程追踪器模块和本地追踪器模块结构相同，分别包括支架、以及位于同一平面上的三种颜色的LED灯，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上；所述本地和远程双目视觉追踪模块均包括双目相机；本地双目视觉追踪模块连接到本地计算机，所述远程双目视觉追踪模块连接到远程计算机；所述三维模型扫描模块连接到本地计算机。所述三维模型扫描模块连接到本地计算机。所述三维模型扫描模块连接到本地计算机。

【技术实现步骤摘要】
一种基于头戴式三维增强现实设备的手术训练和导航装置


[0001]本技术涉及医疗器械领域，尤其涉及一种基于头戴式三维增强现实显示设备的手术训练和手术及导航装置。

技术介绍

[0002]医疗资源分布不均衡一直是中国乃至世界医疗体系的重大挑战。全球医疗可及性和医疗质量指数(HAQ)的分布在许多发展中国家中(例如中国和印度)，出现了地方层面的悬殊差距。缺乏训练有素的外科手术队伍使中低收入国家低成本高质量的外科手术护理的普及受到了严重阻碍。即使在发达国家，在资源有限的地区迅速提供高效的医疗保健也非常具有挑战性，特别是在发生灾难或者意外的情况下。考虑到人力资源是卫生系统中最重要的要素之一，跨地域的适当人力资源分配策略可以提供更有效的医疗援助。远程医疗可以向患者提供远程医疗服务和医疗保健服务，并确保医疗服务的连续性和在偏远地区对医疗资源的最佳利用。此外远程医疗可以向想要提高手术技能的医生和想要改善治疗的病人提供了一种实时的低成本的共享远程医疗资源的方式。外科远程医疗的主要方式是远程指导，包括术中导航和手术训练。远程指导系统不仅可以使医学专家在现场救援人员几乎没有相关经验的情况下指导手术操作，而且还可以使经验丰富的外科医生以交互方式远程训练学生的手术操作。
[0003]从19世纪60年代通过卫星视频会议进行了第一例远程指导开放心脏手术案例起，各种外科远程指导系统层出不穷，并在腹腔镜手术和开放手术中进行了测试。远程指导的最常用形式之一是实时视频会议。使用视频会议系统进行远程指导时，专家通过语音进行指导，指导结果的精确度主要依赖于远程的指导者传递语音指令和本地的操作者理解语音指令的能力，这种指导方式的效果不是很理想。另一种常用的远程指导系统通过视频的方式进行指导，专家可以在实时传输的手术现场影像上进行定位标注，以便本地的操作者能够在视觉和听觉上获取指导信息。这些基于视频的远程指导系统的主要局限性在于它们需要使用屏幕来显示手术影像和进行标注，在远程指导的手术过程中，本地操作者必须在手术区域和屏幕之间不断切换视角，以便跟随远程的标注，这样本地医生需要付出大量的精力来将视频指导显示的位置在手术区域进行定位。
[0004]近年来，增强现实技术作为一种可以将虚拟模型融入现实世界的技术被用于远程指导中。通过增强现实的显示方式，本地医生可以在同一视野下同时看到远程的指导和现场的手术区域，克服了传统屏幕显示的局限性。这些AR远程指导系统中的一类是将真实手术区域信息和虚拟模型一起在屏幕上显示，因此本地医生在操作时只需要观察屏幕即可，还有一种AR指导系统是利用可穿戴式增强现实设备在医生的真实视觉感知下显示二维虚拟模型。但是这些二维的显示屏幕不能为医生提供深度方向的感知。
[0005]头戴式三维增强现实显示设备可以以全息图的方式将三维的虚拟模型显示并融入真实世界中，在外科手术指导和培训领域具有巨大的潜力。目前市面上的头戴式三维增强现实显示设备有更长的电池寿命和更明亮的图像显示。三维远程通讯功能更是使头戴式
三维增强现实显示设备成为许多医疗远程指导场景中的合适工具，例如AR指导手术，解剖学和操作培训。在外科远程指导中需要记录专家的手术刀位置，立体视觉常用于手术刀位置跟踪，尤其是在图像引导的神经外科手术中。

技术实现思路

[0006]为了解决上述技术问题，本技术提供一种新型的整合了三维坐标追踪和头戴式三维增强现实显示设备的远程手术指导和手术训练装置，可以使用双目相机实时追踪手术刀的三维坐标并将数据实时传输至头戴式三维增强现实显示设备。这种增强现实装置可以用于远程手术指导和手术训练。在做手术训练时，虚拟模型与真实模型配准融合，虚拟手术刀的位置可以使用双目视觉系统提前追踪录制或者在远端实时追踪并传输至本地，头戴式三维增强现实显示设备接收手术刀位置信息并用于指导虚拟手术刀，这样本地端的受训者可以根据虚拟手术刀的指导进行操作。在做远程指导的手术时，首先对手术现场进行三维模型的扫描并传输至远程端，远程端的医生在虚拟模型上规划手术刀路径并传输至头戴式三维增强现实显示设备指导虚拟手术刀，本地端的医生可以在虚拟手术刀的指导下操作。装置可以实时追踪本地端的手术刀的位置反馈给操作者，以保证操作的精确度。
[0007]本技术的技术方案为：一种基于头戴式三维增强现实设备的手术训练和导航装置，其特征在于，包括：
[0008]本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地计算机，远程计算机，三维模型扫描模块，三维路径规划模块和增强现实显示模块；
[0009]所述的远程追踪器模块和本地追踪器模块结构相同，分别包括支架、以及位于同一平面上的三种颜色的LED灯，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上；
[0010]所述本地和远程双目视觉追踪模块均包括双目相机；本地双目视觉追踪模块连接到本地计算机，所述远程双目视觉追踪模块连接到远程计算机；
[0011]所述三维模型扫描模块连接到本地计算机。
[0012]进一步的，所述增强现实显示模块为可开发的三维头戴式增强现实显示设备。
[0013]进一步的，所述远程追踪器模块包括支架，第一LED灯、第二LED灯、第三LED灯，三个LED灯分别位于同一平面上，且三种LED灯分别为不同颜色的，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上，支架伸出3个支杆，每个支杆上安装一个LED灯，每两个支杆之间的角度相同。
[0014]进一步的，所述三维模型扫描模块为三维扫描仪。
[0015]有益效果：
[0016]1.本技术的装置采用增强现实显示设备，使用者的视野中可以同时看到真实世界和融入真实世界的三维模型，解决了现有技术中医生需反复在显示器与操作部位间频繁切换视角的问题，有助于优化手术路径及提高手术成功率。
[0017]2.本技术的装置的增强显示设备以全息图的形式显示虚拟模型，与传统的平面显示的增强现实显示方法相比，三维全息显示可以为使用者提供深度方向上的感知，对于提高手术定位精度、减少手术损伤等具有十分重要的意义。
[0018]3.本技术的装置在用于手术训练时，培训者不仅可以实时指导并传输手术刀
路径，也可以将手术刀路径提前录制并保存，这样培训者的指导将不受时间和地点的限制，受训者可以在提前录制的手术刀路径的指导下进行训练，同时一位培训者可以对多位受训者同时进行指导，大大地提高了医疗资源的利用率。
[0019]4.本技术的装置有两套双目视觉追踪系统，本地被指导者的手术刀路径也会被同时追踪并反馈至显示模块中与用于指导的虚拟路径对比，操作者可以实时观测自己的操作偏差，这样的反馈机制可以监督并提醒操作者，提高了整体定位精度。
[0020]5.专利技术的采用头戴式增强现实显示设备，体积小，续航能力强，操作简单，该显示装置不受手术室空间和医生的术中操作以及患者身体部位的限制，虚拟模型实时随使用者的视角移动并与真实世界配准，大大提升了应用范围和灵活性，更易于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于头戴式三维增强现实设备的手术训练和导航装置，其特征在于，包括：本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地计算机，远程计算机，三维模型扫描模块，三维路径规划模块和增强现实显示模块；所述的远程追踪器模块和本地追踪器模块结构相同，分别包括支架、以及位于同一平面上的三种颜色的LED灯，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上；所述本地和远程双目视觉追踪模块均包括双目相机；本地双目视觉追踪模块连接到本地计算机，所述远程双目视觉追踪模块连接到远程计算机；所述三维模型扫描模块连接到本地计算机。2.根据权利要求1所述的一种基于头戴式三维...

【专利技术属性】
技术研发人员：邵鹏飞，李晨梦，刘鹏，张帆，
申请(专利权)人：中国科学技术大学，
类型：新型
国别省市：