AR和VR相结合的医学培训系统技术方案

本实用新型专利技术提供一种AR和VR相结合的医学培训系统，其通过3D图像采集模块采集手术目标对象以及培训人员使用的手术器械的三维图像，通过动作捕捉模块实时捕捉培训人员的手术动作，通过中央处理器输出纠正信息和指导信息，建立包含3D图像采集模块采集的三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型，培训人员通过AR交互模块实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，能够提升医疗培训的真实感与临场感，缩短医疗培训周期，降低医疗培训成本。

A medical training system based on AR and VR

Medical training system of the utility model provides a AR and VR combination, through the three-dimensional image of surgical instruments 3D image acquisition module acquisition operation target and training personnel to use the capture module to capture real-time operation action training personnel through action, the central processor output correct information and guidance information, includes the establishment of 3D image acquisition the 3D image acquisition module, information, information and correct guidance of augmented reality and virtual reality model, training of personnel through the AR interface module to obtain real-time operation target and operation equipment of the use of the situation, guiding information and correct information, to enhance the sense of reality of medical training and telepresence, shorten the medical training cycle, reduce medical training cost.

【技术实现步骤摘要】
AR和VR相结合的医学培训系统
本技术涉及医疗培训
，尤其涉及一种AR和VR相结合的医学培训系统。
技术介绍
随着医学院和医学生的增多，医院能够提供给医学生的实践机会和资源日益减少，本来就已经十分紧张的临床实践教学资源变得更加短缺，直接导致实习中观摩质量的下降，学生实操手术的机会更是微乎其微，难以培养出高水平的医生。与此同时，由于多种原因导致目前的医患关系十分紧张，医疗纠纷不断，国家医疗纠纷及医疗事故处理条例也纷纷出台，过去医学生在病人身上进行实习的培养方法也已经被淘汰，由此，使得医学生的理论学习与实践学习无法融会贯通，难以提升医学生的临床综合能力，难以培养出高水平的医生，进而导致医患关系进一步更加紧张，形成一个恶性循环。目前，很多机构也已经在研究通过各种手段进行模拟手术的技术，来为医学生增加更多的实习机会，目前的模拟手术大多是通过人造假体进行虚拟手术，其真实感与临场感很差，实用性不高，同时由于培训时学员观看角度与指导人员观看角度存在差异，以及指导人员的数量限制，学员也很难在第一时间得到手术指导，从而导致学员养成错误的手术习惯，难以改正。虚拟现实(VirtualReality，VR)与增强现实(AugmentedReality，AR)是近年出现的新的科研热点，通过VR和AR技术，人们可以观看到三维立体的虚拟画面，并且可以将三维立体的虚拟画面与现实世界中的场景进行叠加，从而使观众体验到身临其境的感觉，真实感与临场感极强。
技术实现思路
本技术的目的在于提供一种AR和VR相结合的医学培训系统，使得培训人员能够同时观看到手术目标对象的三维图像以及当前手术进程的提示信息。为实现上述目的，本技术提供了一种AR和VR相结合的医学培训系统，包括：模拟手术台、设于所述模拟手术台上手术目标对象、对应所述手术目标对象设置的3D图像采集模块、与所述3D图像采集模块通讯连接的中央处理器、与所述中央处理器通讯连接动作捕捉模块、与所述中央处理器通讯连接的AR交互模块。所述3D图像采集模块为3D摄像显微镜、或3D摄像机。所述动作捕捉模块为TOF传感器。所述AR交互模块为AR眼镜。所述AR眼镜为采用LCOS芯片、或Si-OLED芯片、或Micro-LED芯片的AR眼镜。所述手术目标对象为该手术对应的动物身体部分的标本。还包括设于所述模拟手术台上的人体模型，该手术对应的动物身体部分的标本对应设置于所述人体模型内。还包括显示模块。所述指导信息以及纠正信息均为文字信息、图像信息、或文字信息与图像信息的组合。所述AR交互模块中还设有语音播报装置。本技术的有益效果：本技术提供了一种AR和VR相结合的医学培训系统，其通过3D图像采集模块采集手术目标对象以及培训人员使用的手术器械的三维图像，通过动作捕捉模块实时捕捉培训人员的手术动作，通过中央处理器给出纠正信息和指导信息，建立包含3D图像采集模块采集的三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型，培训人员通过AR交互模块实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，能够提升医疗培训的真实感与临场感，缩短医疗培训周期，降低医疗培训成本。附图说明为了能更进一步了解本技术的特征以及
技术实现思路
，请参阅以下有关本技术的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本技术加以限制。附图中，图1为本技术的AR和VR相结合的医学培训系统结构图。具体实施方式为更进一步阐述本技术所采取的技术手段及其效果，以下结合本技术的优选实施例及其附图进行详细描述。请参阅图1，本技术提供一种AR和VR相结合的医学培训系统，包括：模拟手术台1、设于所述模拟手术台1上手术目标对象2、对应所述手术目标对象2设置的3D图像采集模块3、与所述3D图像采集模块3通讯连接的中央处理器4、与所述中央处理器4通讯连接动作捕捉模块5、与所述中央处理器通讯连接的AR交互模块6。具体地，所述模拟手术台1根据具体的医疗培训内容的需要，可以仿照真实手术台设置，以提升医疗培训的真实感，也可以是真实手术台的简化版，仅保留真实手术台的核心部分，以控制成本和便于模拟手术台1的携带。具体地，所述手术目标对象2可以采用需要培训的手术对应的动物身体部分的标本，例如眼角膜手术培训时，该手术目标对象2可以选择猪眼球标本，同时为了进一步提供手术的真实感，此时还可以在所述模拟手术台1上设置人体模型，并将手术目标对象2放置于所述人体模型，例如眼角膜手术培训时，将猪眼球放置于人体头部模型的眼部，当然所述手术目标对象2也可以为人的器官模型，这些都可以依据医疗培训的需要进行调整，并不会影响本技术的实现。具体地，所述3D图像采集模块3实时采集手术过程中手术目标对象2以及培训人员使用的手术器械的三维图像，并传输至中央处理器4，进一步地，根据医疗培训的需要该3D图像采集模块3可以选用3D摄像显微镜或3D摄像机，其中，需要在显微镜放大视野下进行的手术选择3D摄像显微镜以获取手术目标对象的三维放大图像，而不需要在显微镜下进行的手术则选用3D摄像机以获取手术目标对象的正常图像。具体地，所述动作捕捉模块5实时采集手术过程中培训人员的手术动作，并传输至中央处理器4，优选地，所述动作捕捉模块5为飞行时间(TimeofFlight，TOF)传感器，其在与所述3D图像采集模块3不同的角度采集培训人员的手术动作，例如3D图像采集模块3从手术目标对象2的正上方，采集三维图像，所述动作捕捉模块5从手术目标对象2的侧面采集手术动作，通过动作捕捉模块5的应用，使得图像与数据采集实现了包括垂直角度与水平角度在内的多角度获取，从而可以更加真实地表现手术中的每个细节，展现出培训人员和医学专家在正常手术培训中难以看到的视角，降低手术动作的理解难度，加快培训速度，提升培训质量。具体地，所述中央处理器4根据手术的进程相应输出的预存在中央处理器4中的指导信息，并将动作捕捉模块5采集来的培训人员的手术动作和预设的标准手术动作进行实时比对，给出纠正信息，并将所述3D图像采集模块3采集的三维图像、指导信息、以及纠正信息一起进行建模，实时生成包含3D图像采集模块3采集的三维图像、指导信息、以及纠正信息的增强现实或虚拟现实模型。进一步地，所述中央处理器4中存储有标准的手术进程、各个进程的标准手术动作、以及各个进程中可能出现的特殊状况，所述标准的手术进程、以及各个进程的标准手术动作参考的大量的专家手术的进程进行制定，保证手术进程的准确性，指导培训人员准确处理各个手术进程及各个手术进程中可能出现的特殊状况。优选地，所述指导信息以及纠正信息可以为文字信息、也可以图像信息、甚至为文字信息与图像信息的组合，培训人员根据指导信息获取手术进程及手术操作方法，根据纠正信息纠正错误的手术动作。具体地，所述AR交互模块6实时获取中央处理器4生成的增强现实或虚拟现实模型，并根据该增强现实或虚拟现实模型将指导信息以及纠正信息展示在培训人员的视野中，培训人员通过AR交互模块6观看手术目标对象2和其使用的手术器械或观看手术目标对象2和其使用的手术器械的三维图像，并获取指导信息以及纠正信息。优选地，所述AR交互模块6为AR眼镜，尤其是采用硅基液晶(LiquidC本文档来自技高网...

【技术保护点】
一种AR和VR相结合的医学培训系统，其特征在于，包括：模拟手术台(1)、设于所述模拟手术台(1)上手术目标对象(2)、对应所述手术目标对象(2)设置的3D图像采集模块(3)、与所述3D图像采集模块(3)通讯连接的中央处理器(4)、与所述中央处理器(4)通讯连接动作捕捉模块(5)、与所述中央处理器(4)通讯连接的AR交互模块(6)。

【技术特征摘要】
1.一种AR和VR相结合的医学培训系统，其特征在于，包括：模拟手术台(1)、设于所述模拟手术台(1)上手术目标对象(2)、对应所述手术目标对象(2)设置的3D图像采集模块(3)、与所述3D图像采集模块(3)通讯连接的中央处理器(4)、与所述中央处理器(4)通讯连接动作捕捉模块(5)、与所述中央处理器(4)通讯连接的AR交互模块(6)。2.如权利要求1所述的AR和VR相结合的医学培训系统，其特征在于，所述3D图像采集模块(3)为3D摄像显微镜、或3D摄像机。3.如权利要求1所述的AR和VR相结合的医学培训系统，其特征在于，所述动作捕捉模块(5)为TOF传感器。4.如权利要求1所述的AR和VR相结合的医学培训系统，其特征在于，所述AR交互模块(6)为AR眼镜。5.如权利要求4所述的AR和VR相结合的医学培训系统，其特...

【专利技术属性】
技术研发人员：李方红，常嘉兴，
申请(专利权)人：深圳市科创数字显示技术有限公司，
类型：新型
国别省市：广东,44