AR与VR相结合的眼角膜智能手术培训系统技术方案

本发明专利技术提供一种AR与VR相结合的眼角膜智能手术培训系统，该系统通过3D摄像显微镜实时采集手术过程中动物眼球标本以及培训人员使用的手术器械的正面三维图像，通过TOF传感器对动物眼球标本、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，通过中央处理器与预设数据进行对比并输出指导信息及纠正信息，建立包含3D摄像显微镜采集的正面三维图像、指导信息以及纠正信息的增强现实或虚拟现实模型，培训人员通过AR眼镜实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，提升眼角膜手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼角膜手术培训周期，降低眼角膜手术培训成本，提升培训质量。

【技术实现步骤摘要】

本专利技术涉及医疗培训
，尤其涉及一种AR与VR相结合的眼角膜智能手术培训系统。
技术介绍
根据世界卫生组织的调查，角膜盲是仅次于白内障的第二大致盲眼病。中国目前角膜盲患者约为500万人，并且每年新增10万多病例，在这些患者当中，绝大多数人可以通过角膜移植重见光明。但是由于多方面因素，我国各地眼库的角膜来源奇缺，不少患者只能被动地等待捐献。统计数据显示，我国每年等待角膜移植的患者至少有50万人，但有机会接受角膜移植手术并复明的患者不到5000人。随着科技不断发展，人工角膜的出现，解决角膜供体的不足，为我国500万乃至全球6000万的角膜盲患者带来复明的希望，但是角膜移植医生的严重不足仍然是横亘在角膜盲患者走向光明道路上的巨大障碍。目前全国共有眼科医生28000名左右，但能开展内眼手术的不足4000人，能够独立完成角膜移植手术的医生不足百人，眼科医生资源仍然缺乏。使得人工角膜推广应用受到极大限制，如何更多、更快地培养掌握板层角膜移植技术的医生成为急迫要解决的一道难题。当前传统的板层角膜移植手术医生培训方法主要是集中讲授、观摩教学、替代物（如选择猪的眼球）演练及现场指导式实操，由于培训时学员观看角度与医生操作角度存在差异、观摩教学人数受限、替代物演练临场感不足、现场实操风险大等原因，即便是资深眼科医生掌握这项手术都需要较长时间，而年轻医生的培养周期就更为漫长。虚拟眼球手术培训的问题是设备和程序复杂昂贵，并且与真实手术的模拟度还是较大距离，真实感不强。虚拟现实（VirtualReality，VR）技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机创造一个虚拟空间，用户通过VR眼镜能够完全沉浸到该虚拟空间中，利用双目视觉原理，虚拟空间在眼镜中是3D立体的，从而达到身临其境的效果。由虚拟现实技术发展而来的增强现实（AugmentedReality，AR）技术是将虚拟的信息叠加到真实世界中，被人类感官所感知，从而达到超越现实的感官体验，不同于虚拟现实技术，采用增强现实技术用户不仅能够看到由计算机生成的虚拟信息，还能够看到现有世界的真实信息，临场感与真实感都更强。
技术实现思路
本专利技术的目的在于一种AR与VR相结合的眼角膜智能手术培训系统，能够真实再现眼角膜手术进程，并对培训人员进行实时指导，提升眼角膜手术培训的真实感与临场感，缩短眼角膜手术培训周期，降低眼角膜手术培训成本。为实现上述目的，本专利技术提供了一种AR与VR（相结合的眼角膜智能手术培训系统，包括：仿真手术台、设有所述仿真手术台上的动物眼球标本、对应所述动物眼球标本设置的3D摄像显微镜、与所述3D摄像显微镜电性连接的中央处理器、与所述中央处理器电性连接的TOF传感器、以及与中央处理器电性连接的AR眼镜；所述3D摄像显微镜实时采集手术过程中动物眼球标本以及培训人员使用的手术器械的正面三维图像，并传输至中央处理器；所述TOF传感器对动物眼球标本、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，并将3D扫描图像传输至中央处理器；所述中央处理器根据手术的进程输出预存在中央处理器中的相应的指导信息，同时将TOF传感器采集来的3D扫描图像和预设的标准手术动作进行实时比对，给出纠正信息，并将3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型；所述AR眼镜实时获取中央处理器生成的增强现实或虚拟现实模型，并根据该虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中，培训人员通过AR眼镜观看动物眼球标本和其使用的手术器械或观看动物眼球标本和其使用的手术器械的正面三维图像，并获取指导信息以及纠正信息。还包括：与中央处理器电性连接的显示屏，所述显示屏同步显示培训人员通过AR眼镜观看到的画面的三维图像。所述仿真手术台上还设有人体头部模型，所述动物眼球标本设于所述人体头部模型的眼部。所述3D摄像显微镜拍摄的正面三维图像以及所述TOF传感器获取的3D扫描图像还通过互联网上传至云端，供培训指导人员对培训人员进行远程指导。所述仿真手术台还设有脚踏，通过所述脚踏控制所述3D摄像显微镜。所述中央处理器中设有存储单元，所述存储单元保存有预先建模好的标准的眼角膜手术进程、各个进程的指导信息、各个进程的标准手术动作、多种眼科病灶、以及多种手术突发事件。所述AR眼镜中还设有语音播报装置，通过语言播报装置对培训人员进行指导信息和纠正信息的语言提示。所述AR眼镜为采用LCOS芯片、或Si-OLED芯片、或Micro-LED芯片的AR眼镜。所述动物眼球标本为猪眼球。所述指导信息以及纠正信息为文字信息、图像信息、或文字信息与图像信息的组合。本专利技术的有益效果：本专利技术提供了一种AR与VR相结合的眼角膜智能手术培训系统，该系统通过3D摄像显微镜实时采集手术过程中动物眼球标本以及培训人员使用的手术器械的正面三维图像，通过TOF传感器对动物眼球标本、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，通过中央处理器给出纠正信息和指导信息，建立包含3D摄像显微镜采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型，培训人员通过AR眼镜实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，通过AR与VR的结合，在真实图像上叠加虚拟图像，提升眼角膜手术培训的真实感与临场感，提高手术培训中的实时指导作用，缩短眼角膜手术培训周期，降低眼角膜手术培训成本，提升培训质量。附图说明为了能更进一步了解本专利技术的特征以及
技术实现思路
，请参阅以下有关本专利技术的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本专利技术加以限制。附图中，图1为本专利技术的AR与VR相结合的眼角膜智能手术培训系统结构框图；图2为本专利技术的AR与VR相结合的眼角膜智能手术培训系统的立体图。具体实施方式为更进一步阐述本专利技术所采取的技术手段及其效果，以下结合本专利技术的优选实施例及其附图进行详细描述。请参阅图1及图2，本专利技术提供一种AR与VR相结合的眼角膜智能手术培训系统，包括：仿真手术台1、设有所述仿真手术台1上的动物眼球标本2、对应所述动物眼球标本2设置的3D摄像显微镜3、与所述3D摄像显微镜3电性连接的中央处理器4、与所述中央处理器4电性连接的TOF传感器5、以及与中央处理器4电性连接的AR眼镜6。具体地，所述仿真手术台1仿照真实的眼角膜手术的手术台制作，从而使得培训人员获取真实手术的临场体验，特别地，为了进一步提升手术的真实感，在该仿真手术台1上设有人体头部模型21，手术时，动物眼球标本2放于该人体头部模型21的眼部，同时与真实的眼角膜手术的手术台相同，该仿真手术台1也设有脚踏11，通过脚踏11可以调整3D摄像显微镜3拍摄的焦距、及位置等参数。具体地，所述3D摄像显微镜3拍摄动物眼球标本2以及培训人员使用的手术器械的正面三维图像，并传输至中央处理器4，优选地，如图2所示，该3D摄像显微镜3对应位于所述动物眼球标本2的正上方，从而采集与培训人员视角一致的正面三维图像，提升手术的真实感。具体地，所述飞行时间（TIMEOFFLIGHT，TOF）传感器5对动物眼球标本2、培训人员使用本文档来自技高网...

【技术保护点】
一种AR与VR相结合的眼角膜智能手术培训系统，其特征在于，包括：仿真手术台(1)、设有所述仿真手术台(1)上的动物眼球标本(2)、对应所述动物眼球标本(2)设置的3D摄像显微镜(3)、与所述3D摄像显微镜(3)电性连接的中央处理器(4)、与所述中央处理器(4)电性连接的TOF传感器(5)、以及与中央处理器(4)电性连接的AR眼镜(6)；所述3D摄像显微镜(3)实时采集手术过程中动物眼球标本(2)以及培训人员使用的手术器械的正面三维图像，并传输至中央处理器(4)；所述TOF传感器(5)对动物眼球标本(2)、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，并将3D扫描图像传输至中央处理器(4)；所述中央处理器(4)根据手术的进程输出预存在中央处理器(4)中的相应的指导信息，同时将TOF传感器(5)采集来的3D扫描图像和预设的标准手术动作进行实时比对，给出纠正信息，并将3D摄像显微镜(3)采集的正面三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D摄像显微镜(3)采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型；所述AR眼镜(6)实时获取中央处理器(4)生成的增强现实或虚拟现实模型，并根据该增强现实或虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中，培训人员通过AR眼镜(6)观看动物眼球标本(2)和其使用的手术器械或观看动物眼球标本(2)和其使用的手术器械的正面三维图像，并获取指导信息以及纠正信息。...

【技术特征摘要】
1.一种AR与VR相结合的眼角膜智能手术培训系统，其特征在于，包括：仿真手术台(1)、设有所述仿真手术台(1)上的动物眼球标本(2)、对应所述动物眼球标本(2)设置的3D摄像显微镜(3)、与所述3D摄像显微镜(3)电性连接的中央处理器(4)、与所述中央处理器(4)电性连接的TOF传感器(5)、以及与中央处理器(4)电性连接的AR眼镜(6)；所述3D摄像显微镜(3)实时采集手术过程中动物眼球标本(2)以及培训人员使用的手术器械的正面三维图像，并传输至中央处理器(4)；所述TOF传感器(5)对动物眼球标本(2)、培训人员使用的手术器械、以及培训人员的手部动作进行实时侧面3D扫描，并将3D扫描图像传输至中央处理器(4)；所述中央处理器(4)根据手术的进程输出预存在中央处理器(4)中的相应的指导信息，同时将TOF传感器(5)采集来的3D扫描图像和预设的标准手术动作进行实时比对，给出纠正信息，并将3D摄像显微镜(3)采集的正面三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D摄像显微镜(3)采集的正面三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型；所述AR眼镜(6)实时获取中央处理器(4)生成的增强现实或虚拟现实模型，并根据该增强现实或虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中，培训人员通过AR眼镜(6)观看动物眼球标本(2)和其使用的手术器械或观看动物眼球标本(2)和其使用的手术器械的正面三维图像，并获取指导信息以及纠正信息。2.如权利要求1所述的AR与VR相结合的眼角膜智能手术培训系统，其特征在于，还包括：与中央处理器(4)电性连接的显示屏(7)，所述显示屏(7)同步显示培训人员通过AR眼镜(6)观...

【专利技术属性】
技术研发人员：李方红，常嘉兴，俞震，郑亚星，刘贵友，
申请(专利权)人：深圳市科创数字显示技术有限公司，
类型：发明
国别省市：广东;44