基于运动捕捉和混合现实的眼科手术培训系统及方法技术方案

本发明专利技术提供了一种基于运动捕捉和混合现实的眼科手术培训系统及方法。所述基于运动捕捉和混合现实的眼科手术培训系统通过3D摄像显微镜实时采集手术过程中动物眼球标本的正面三维图像，通过在手术工具上设置脉冲激光探测器定位所述手术工具的位置，通过中央处理器比对所述手术工具的位置与标准位置的差别，给出位置纠正信息，通过中央处理器根据手术进程给出指导信息，并将位置纠正信息和指导信息叠加到所述3D摄像显微镜采集的正面三维图像中，由混合现实显示终端显示出来，能够提升眼科手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼科手术培训周期，降低眼科手术培训成本，提升培训质量。

【技术实现步骤摘要】
基于运动捕捉和混合现实的眼科手术培训系统及方法
本专利技术涉及医疗培训
，尤其涉及一种基于运动捕捉和混合现实的眼科手术培训系统及方法。
技术介绍
眼睛是人头部非常重要的器官，由于其结构复杂，极其脆弱，位置在人的头部，因此对眼睛进行的眼科手术，是医院最困难的手术中的一种，为了完成眼科手术需要医生具有极高的技术。目前全国共有眼科医生28000名左右，但能开展内眼手术的不足4000人，能够独立完成诸如角膜移植等高难度眼科手术的医生不足百人，眼科医生资源仍然十分匮乏，使得眼科疾病的治疗受到了极大限制，如何更多、更快地培养掌握眼科手术的医生成为急迫要解决的的一道难题。传统的眼科手术培训方法主要是集中讲授、观摩教学、替代物(如选择猪的眼球)演练及现场指导式实操，由于培训时学员观看角度与医生操作角度存在差异、观摩教学人数受限、替代物演练临场感不足、现场实操风险大等原因，即便是资深眼科医生掌握这项手术都需要较长时间，而年轻医生的培养周期就更为漫长。虚拟眼科手术培训的问题是设备和程序复杂昂贵，并且与真实手术的模拟度还是较大距离，真实感不强。虚拟现实(VirtualReality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机创造一个虚拟空间，用户通过VR眼镜能够完全沉浸到该虚拟空间中，利用双目视觉原理，虚拟空间在眼镜中是3D立体的，从而达到身临其境的效果。由虚拟现实技术发展而来的增强现实(AugmentedReality，AR)技术是将虚拟的信息叠加到真实世界中，被人类感官所感知，从而达到超越现实的感官体验，不同于虚拟现实技术，采用增强现实技术用户不仅能够看到由计算机生成的虚拟信息，还能够看到现有世界的真实信息，临场感与真实感都更强。混合现实技术(MixedReality，MR)结合了AR技术和VR技术，它将光学镜头拍摄到的真实物理世界的影像传输到处理器，处理器对该影像进行图像处理，并进行增强叠加，由于处理速度快，在沉浸显示设备中显示出来的，经过叠加和优化的图像，与真实物理世界的时间延迟在几十毫秒，完全可以看作是真实物理世界的实时影像。
技术实现思路
本专利技术的目的在于提供一种基于运动捕捉和混合现实的眼科手术培训系统，能够真实再现眼科手术进程，并对培训人员进行实时指导，提升眼科手术培训的真实感与临场感，缩短眼科手术培训周期，降低眼科手术培训成本。本专利技术的目的还在于提供一种基于运动捕捉和混合现实的眼科手术培训方法，能够真实再现眼科手术进程，并对培训人员进行实时指导，提升眼科手术培训的真实感与临场感，缩短眼科手术培训周期，降低眼科手术培训成本。为实现上述目的，本专利技术提供了一种基于运动捕捉和混合现实的眼科手术培训系统，包括：仿真手术台、设于所述仿真手术台上的动物眼球标本、对应所述动物眼球标本设置的3D摄像显微镜、与所述3D摄像显微镜通讯连接的中央处理器、对应所述动物眼球标本设置且与所述中央处理器通讯连接至少三个激光脉冲发射器、与中央处理器通讯连接的混合现实显示终端以及与所述中央处理器通讯连接的手术工具；所述手术工具上设有激光脉冲探测器及与所述激光脉冲探测器及中央处理器均通讯连接的通讯模块；所述3D摄像显微镜，用于拍摄手术过程中动物眼球标本的正面三维图像，并传输至中央处理器；所述激光脉冲发射器，用于产生并发送激光脉冲信号；所述激光脉冲探测器，用于侦测并接收各个激光脉冲发射器发出的激光脉冲信号，得到定位数据；所述通讯模块，用于将手术工具的定位数据传输给中央处理器；所述中央处理器，用于根据手术的进程给出预存在中央处理器中的相应的指导信息，并根据所述手术工具的定位数据，得出所述手术工具的位置信息，并将手术工具的位置信息和预设的标准位置信息进行实时比对，给出位置纠正信息，以及将指导信息和位置纠正信息添加到3D摄像显微镜采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端；所述混合现实显示终端，用于根据所述混合现实图像信号进行3D显示，培训人员根据所述混合现实显示终端显示的图像进行眼科手术培训。所述手术工具包括：形变类手术工具及非形变类手术工具，在每一个形变类手术工具的形变位置还设有姿态捕捉传感器，所述姿态捕捉传感器与所述通讯模块通讯连接；所述姿态捕捉传感器，用于采集所述形变类手术工具的形变数据；所述通讯模块，还用于将形变类手术工具的形变数据传输给中央处理器；所述中央处理器，还用于根据所述形变类手术工具的形变数据，得出所述形变类手术工具的姿态信息，并将形变类手术工具的姿态信息和预设的标准姿态信息进行实时比对，给出姿态纠正信息，并将姿态纠正信息和指导信息、位置纠正信息一起添加到3D摄像显微镜采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端。所述形变类手术工具包括：手术手套及手术剪刀，所述非形变类手术工具包括：手术刀。所述姿态捕捉传感器为微型弹性电阻，所述姿态捕捉传感器根据所述微型弹性电阻的电阻变化采集手术工具的形变数据。所述通讯模块为无线通讯模块。所述激光脉冲发射器的数量为三个且该三个激光脉冲发射器发出的激光脉冲信号的频率不同。所述三个激光脉冲发射器均匀分布于所述3D摄像显微镜的镜头的外周面上。所述混合现实显示终端包括：左眼显示屏和右眼显示屏，所述混合现实图像信号包括：左眼图像信号和右眼图像信号，所述左眼显示屏和右眼显示屏分别用于显示左眼图像信号和右眼图像信号，以实现3D显示。所述激光脉冲探测器以大于10脉冲/秒的速率侦测并接收各个激光脉冲发射器发出的激光脉冲信号。本专利技术还提供一种基于运动捕捉和混合现实的眼科手术培训方法，应用于上述的基于运动捕捉和混合现实的眼科手术培训系统，包括如下步骤：步骤S1、3D摄像显微镜拍摄手术过程中动物眼球标本的正面三维图像，并传输至中央处理器；步骤S2、激光脉冲发射器产生并发送激光脉冲信号，所述激光脉冲探测器侦测并接收各个激光脉冲发射器发出的激光脉冲信号，得到定位数据；步骤S3、所述通讯模块将手术工具的定位数据传输给中央处理器；步骤S4、中央处理器根据手术的进程给出预存在中央处理器中的相应的指导信息，并根据所述手术工具的定位数据，得出所述手术工具的位置信息，并将手术工具的位置信息和预设的标准位置信息进行实时比对，给出位置纠正信息，并将指导信息和位置纠正信息添加到3D摄像显微镜采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端；步骤S5、混合现实显示终端根据所述混合现实显示终端进行3D显示，培训人员根据所述混合现实显示终端显示的图像进行眼科手术培训。本专利技术的有益效果：本专利技术提供了一种基于运动捕捉和混合现实的眼科手术培训系统，所述基于运动捕捉和混合现实的眼科手术培训系统通过3D摄像显微镜实时采集手术过程中动物眼球标本的正面三维图像，通过在手术工具上设置脉冲激光探测器定位所述手术工具的位置，通过中央处理器比对所述手术工具的位置与标准位置的差别，给出位置纠正信息，通过中央处理器根据手术进程给出指导信息，并将位置纠正信息和指导信息叠加到所述3D摄像显微镜采集的正面三维图像中，由混合现实显示终端显示出来，能够提升眼科手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼科手术培训周期，降低眼科手术培训成本，提升培训质量。本专利技术还提供一本文档来自技高网...

【技术保护点】
一种基于运动捕捉和混合现实的眼科手术培训系统，其特征在于，包括：仿真手术台(1)、设于所述仿真手术台(1)上的动物眼球标本(2)、对应所述动物眼球标本(2)设置的3D摄像显微镜(3)、与所述3D摄像显微镜(3)通讯连接的中央处理器(4)、对应所述动物眼球标本(2)设置且与所述中央处理器(4)通讯连接的至少三个激光脉冲发射器(5)、与中央处理器(4)通讯连接的混合现实显示终端(6)以及与所述中央处理器(4)通讯连接的手术工具(7)；所述手术工具(7)上设有激光脉冲探测器(72)以及与所述激光脉冲探测器(72)及中央处理器(4)均通讯连接的通讯模块(73)；所述3D摄像显微镜(3)，用于拍摄手术过程中动物眼球标本(2)的正面三维图像，并传输至中央处理器(4)；所述激光脉冲发射器(5)，用于产生并发送激光脉冲信号；所述激光脉冲探测器(72)，用于侦测并接收各个激光脉冲发射器(5)发出的激光脉冲信号，得到定位数据；所述通讯模块(73)，用于将手术工具(7)的定位数据传输给中央处理器(4)；所述中央处理器(4)，用于根据手术的进程给出预存在中央处理器(4)中的相应的指导信息，并根据所述手术工具(7)的定位数据，得出所述手术工具(7)的位置信息，并将手术工具(7)的位置信息和预设的标准位置信息进行实时比对，给出位置纠正信息，以及将指导信息和位置纠正信息添加到3D摄像显微镜(3)采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端(6)；所述混合现实显示终端(6)，用于根据所述混合现实显示图像信号进行3D显示，培训人员根据所述混合现实显示终端(6)显示的图像进行眼科手术培训。...

【技术特征摘要】
1.一种基于运动捕捉和混合现实的眼科手术培训系统，其特征在于，包括：仿真手术台(1)、设于所述仿真手术台(1)上的动物眼球标本(2)、对应所述动物眼球标本(2)设置的3D摄像显微镜(3)、与所述3D摄像显微镜(3)通讯连接的中央处理器(4)、对应所述动物眼球标本(2)设置且与所述中央处理器(4)通讯连接的至少三个激光脉冲发射器(5)、与中央处理器(4)通讯连接的混合现实显示终端(6)以及与所述中央处理器(4)通讯连接的手术工具(7)；所述手术工具(7)上设有激光脉冲探测器(72)以及与所述激光脉冲探测器(72)及中央处理器(4)均通讯连接的通讯模块(73)；所述3D摄像显微镜(3)，用于拍摄手术过程中动物眼球标本(2)的正面三维图像，并传输至中央处理器(4)；所述激光脉冲发射器(5)，用于产生并发送激光脉冲信号；所述激光脉冲探测器(72)，用于侦测并接收各个激光脉冲发射器(5)发出的激光脉冲信号，得到定位数据；所述通讯模块(73)，用于将手术工具(7)的定位数据传输给中央处理器(4)；所述中央处理器(4)，用于根据手术的进程给出预存在中央处理器(4)中的相应的指导信息，并根据所述手术工具(7)的定位数据，得出所述手术工具(7)的位置信息，并将手术工具(7)的位置信息和预设的标准位置信息进行实时比对，给出位置纠正信息，以及将指导信息和位置纠正信息添加到3D摄像显微镜(3)采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端(6)；所述混合现实显示终端(6)，用于根据所述混合现实显示图像信号进行3D显示，培训人员根据所述混合现实显示终端(6)显示的图像进行眼科手术培训。2.如权利要求1所述的基于运动捕捉和混合现实的眼科手术培训系统，其特征在于，所述手术工具(7)包括：形变类手术工具及非形变类手术工具，在每一个形变类手术工具的形变位置还设有姿态捕捉传感器(71)，所述姿态捕捉传感器(71)与所述通讯模块(73)通讯连接；所述姿态捕捉传感器(71)，用于采集所述形变类手术工具的形变数据；所述通讯模块(73)，还用于将形变类手术工具的形变数据传输给中央处理器(4)；所述中央处理器(4)，还用于根据所述形变类手术工具的形变数据，得出所述形变类手术工具的姿态信息，并将形变类手术工具的姿态信息和预设的标准姿态信息进行实时比对，给出姿态纠正信息，并将姿态纠正信息和指导信息、位置纠正信息一起添加到3D摄像显微镜(3)采集的正面三维图像上，产生混合现实图像信号并发送给混合现实显示终端(6)。3.如权利要求2所述的基于运动捕捉和混合现实的眼科手术培训系统，其特征在于，所述形...

【专利技术属性】
技术研发人员：李方红，
申请(专利权)人：深圳科创广泰技术有限公司，
类型：发明
国别省市：广东,44