一种基于混合现实的虚拟手术训练方法及系统技术方案

本发明专利技术涉及一种基于混合现实的虚拟手术训练方法及系统，本发明专利技术根据真实人体的全身容积数据建立包括骨性结构以及软组织的数字化三维模型，使得模型数据准确且能够清晰反映人体的骨骼、肌肉、血管、神经等信息，结合混合现实头显即可实现动态教学、动态演示、实时沟通及多地会诊等功能。将数字化三维模型的坐标转换到以所述操作平台为基准建立的世界坐标系内，并将其匹配至操作平台平面，达到虚拟物体自然放置于平面上的效果，从而营造逼真的手术氛围。根据手术器械与三维模型中各组织的相对位置关系向手部施加相应的力反馈，能够让操作人员真实感受操作力度，体会手术器械在接触到不同组织器官时的手部触觉反应，提高手术训练真实度。

A Virtual Surgery Training Method and System Based on Hybrid Reality

The present invention relates to a virtual surgery training method and system based on hybrid reality. According to the volume data of real human body, the digital three-dimensional model including skeletal structure and soft tissue is established, so that the model data can accurately and clearly reflect the information of human skeleton, muscle, blood vessel, nerve and so on. Combining with head display of hybrid reality, dynamic teaching and dynamic teaching can be realized. Demonstration, real-time communication and multi-site consultation functions. The coordinates of the digitized three-dimensional model are transformed into the world coordinate system based on the operating platform, and matched to the plane of the operating platform to achieve the effect that virtual objects are naturally placed on the plane, thus creating a realistic surgical atmosphere. Applying force feedback to the hand according to the relative position relationship between the surgical instruments and the tissues in the three-dimensional model can make the operator feel the real operation intensity, experience the tactile response of the hand when the surgical instruments touch different tissues and organs, and improve the authenticity of the training.

【技术实现步骤摘要】
一种基于混合现实的虚拟手术训练方法及系统
本专利技术涉及生物医学与信息技术交叉学科
，具体涉及一种基于混合现实的虚拟手术训练方法及系统。
技术介绍
生物医学工程(BiomedicalEngineering，简称BME)是一门由理、工、医相结合的边缘学科，是多种工程学科向生物医学渗透的产物。它是运用现代自然科学和工程技术的原理和方法，从工程学的角度，在多层次上研究人体的结构、功能及其相互关系，揭示其生命现象，为防病、治病提供新的技术手段的一门综合性、高技术的学科。传统的手术教学做法是采用模拟橡皮人进行教学，手术录像的演示播放，器官实物标本讲解，人体尸体解剖教学，动物活体解剖教学以及专家手术观摩等形式，针对外科手术培训、手术预演、临床诊断、远程手术、康复治疗等医学辅助教学环节。教学一般需要在专门的实验室或手术间内进行。这种教学方法存在有许多不足，例如：1、模型人进行教学，模型人一般采用树脂或乳胶材料制得，易老化，使用过多次后就需要更换，模型人的价格比较高，经常更换教具大大增加了教学成本。2、人体解剖结构教学，在实验室里通过看录像或尸体解剖教学，不能起到使学生非常直观、轻松学习解剖结构的作用，并产生了大量的训练费用，如教材费，尸体解剖费，实习费等。3、专家手术观摩形式，使医务工作者不能完全沉浸于实际的场景内，通过视听触觉等多种感官了解和学习各种手术实际操作，对于年轻医生而言，不能亲自操作及与专家操作方法及时进行比对，发现自己的错误和不足，无疑使得培训年轻医务人员浪费大量费用和时间，不能获得良好的受训效果。4、对于病灶可以让医生在手术之前学习新的手术方法和程序，练习所制定的手术计划，并对治疗结果进行评判。如果让没有经验的医学生或实习生进行手术操作，大大增加手术的风险，无法保障病人的生命安全，增加了医院因手术失败，随之而来的支出成本和社会负面影响。5、动物活体解剖教学，一方面动物活体十分昂贵，且涉及到动物保护等较敏感的问题，另一方面由于动物与人体的差异性，在进行手术训练时，对提高手术熟练度的作用十分有限。近年来，随着计算机图形学的迅速发展，VR在医学方面的应用具有十分重要的现实意义。主要用于医学培训、医学研究、医学沟通和临床治疗，在虚拟环境中，可以建立虚拟的人体模型，借助于跟踪球、头戴式可视设备(HMD)、触觉感知手套，学生可以很容易了解人体内部各器官结构，这比现有的采用教科书的方式要有效得多。外科医生在真正动手术之前，通过虚拟现实技术的帮助，能在显示器上重复地模拟手术，移动人体内的器官，寻找最佳手术方案并提高熟练度。在远距离遥控外科手术，复杂手术的计划安排，手术过程的信息指导等方面，虚拟现实技术都能发挥十分重要的作用。然而目前虚拟手术训练类的系统或方法，其训练用的目标对象大都通过相关软件设计的，真实性不强，而且其训练多是以教程的训练形式进行训练，理论性比较强，与实际的临床手术还有很大差距。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种基于混合现实的虚拟手术训练方法及系统，真实性强，具有高沉浸度，能够为受训人员建立更为真实的训练场景，同时可以为非操作人员构建较为真实的现场观察场景。本专利技术解决上述技术问题的技术方案如下：一方面，本专利技术提供一种基于混合现实的虚拟手术训练方法，该方法包括：收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型；采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；将所述数字化三维模型的坐标转换到世界坐标系内，并将所述数字化三维模型匹配至所述操作平台平面；实时获取主视角位置坐标，并计算主视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；实时追踪手部动作，获取手术器械位置变化数据，并根据手术器械与数字化三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈。本专利技术的有益效果是：根据真实人体全身容积数据建立包括骨性结构以及软组织的数字化三维模型，使得人体三维模型准确且能够清晰反映人体的骨骼、肌肉、血管、神经等信息，结合混合现实头显即可实现动态教学、动态演示、实时沟通及多地会诊等功能。将数字化三维模型的坐标转换到以所述操作平台为基准建立的世界坐标系内，并将其匹配至所述操作平台平面，达到虚拟物体自然放置于平面上的效果。当此平面结构脱离视线时，数字化三维模型也将在视野里消失，当再次识别到平面结构时，将会再次生成数字化三维模型，从而逼真的营造手术氛围。根据手术器械与三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈，能够让操作人员真实感受操作力度，体会手术器械在接触到不同组织器官时的手部触觉反应，提高手术训练真实度。进一步，所述真实人体全身容积数据采集自核磁共振、CT及超声检查中的一种或多种。现有大多数建立三维模型的数据源多为单一数据源，但是CT虽然干扰较少，也可以从多个平面观察组织结构，反映骨骼的立体形态，但是其辐射较大，对同一个人从头到脚扫描获取全身数据会对当前人体造成不可逆的伤害。核磁共振可以随意做任何角度的切层，且无辐射。对病变组织的敏感度优于CT，尤其是关节、肌肉、中枢神经系统等软组织的检查结构更清晰。但是对肺部、骨骼结构的细节表现、骨折等方面，核磁共振的显示效果不如CT。超声检查(B超)以强度低、频率高、对人体无损伤、无痛苦、显示方法多样而著称，尤其对人体软组织的探测和心血管脏器的血流动力学的观察有其独到之处，如：浅表肿块、血管、穿刺定位等，但是B超的穿透力较弱，对含气性器官，如肺、肠等难以探测，病变较小或声阻抗差不大时，也很难在声像图上显示，如：1cm左右的肿瘤组织也不易检出，有一定的局限性。因此本专利技术结合多种数据来源，共同构建人体三维模型，取长补短，模型逼真。进一步，所述的收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型，包括以下步骤：在活体上设置标记物，利用核磁共振、CT及超声检查中的一种或多种手段采集包含有所述标记物的多组二维图像序列；根据所述多组二维图像序列分别进行三维重建；根据标记物的位置进行数据融合及配准，构建包括骨性结构以及软组织的数字化三维模型。在活体上设置标记物，所述标记物的材质可以有所不同，但是在分别进行核磁共振、CT及超声检查时，同一标记物设置的位置必须相同，以便在进行数据融合及配准时，能够有明确的参照物，使得数据融合操作可以顺利进行。进一步，在将所述数字化三维模型匹配至所述操作平台平面后，还包括：实时获取至少一个从视角位置坐标；根据所述从视角位置坐标，计算从视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在从视角头戴式可视设备投影屏幕上的显示角度。本专利技术可以设置多个参训人员，即通过从视角头戴式可视设备现场观察以主视角进行手术训练的操作人员的操作过程。在从视角头戴式可视设备投影屏幕上显示的数字化三维模型同样是与操作平台平面关联绑定的，从而达到虚拟物体自然放置于平面上的效果。实时获取从视角位置坐标，也就是根据从视角头戴式可视设备的摄像机拍摄内容计算世界坐标系内摄像机位置坐标，然后根据坐标变换获得从视角观察者的视角本文档来自技高网...

【技术保护点】
1.一种基于混合现实的虚拟手术训练方法，其特征在于，包括：收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型；采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；将所述数字化三维模型的坐标转换到世界坐标系内，并将所述数字化三维模型匹配至所述操作平台平面；实时获取主视角位置坐标，并计算主视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；实时追踪手部动作，获取手术器械位置变化数据，并根据手术器械与数字化三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈。

【技术特征摘要】
1.一种基于混合现实的虚拟手术训练方法，其特征在于，包括：收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型；采集现实场景中的操作平台特征数据，并以所述操作平台为基准建立世界坐标系；将所述数字化三维模型的坐标转换到世界坐标系内，并将所述数字化三维模型匹配至所述操作平台平面；实时获取主视角位置坐标，并计算主视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在主视角头戴式可视设备投影屏幕上的显示角度；实时追踪手部动作，获取手术器械位置变化数据，并根据手术器械与数字化三维模型中各组织的相对位置关系通过触觉感知手套向手部施加相应的力反馈。2.根据权利要求1所述一种基于混合现实的虚拟手术训练方法，其特征在于，所述真实人体全身容积数据采集自核磁共振、CT及超声检查中的一种或多种。3.根据权利要求2所述一种基于混合现实的虚拟手术训练方法，其特征在于，所述的收集完整的真实人体全身容积数据，并利用所述容积数据，构建包括骨性结构以及软组织的数字化三维模型，包括以下步骤：在活体上设置标记物，利用核磁共振、CT及超声检查中的一种或多种手段采集包含有所述标记物的多组二维图像序列；根据所述多组二维图像序列分别进行三维重建；根据标记物的位置进行数据融合及配准，构建包括骨性结构以及软组织的数字化三维模型。4.根据权利要求1所述一种基于混合现实的虚拟手术训练方法，其特征在于，将所述数字化三维模型匹配至所述操作平台平面，包括：旋转所述数字化三维模型，使得数字化三维模型的人体中轴线与操作平台中轴线平行；获取旋转后数字化三维模型中y值最小的坐标点，并将其所在平面所述操作平台平面进行配准，以实现将所述数字化三维模型匹配至所述操作平台平面的操作。5.根据权利要求1所述一种基于混合现实的虚拟手术训练方法，其特征在于，在将所述数字化三维模型与所述操作平台平面关联后，还包括：实时获取至少一个从视角位置坐标；根据所述从视角位置坐标，计算从视角相对于世界坐标系原点的旋转矩阵和平移向量，并以此更新所述数字化三维模型在...

【专利技术属性】
技术研发人员：叶哲伟，
申请(专利权)人：叶哲伟，
类型：发明
国别省市：湖北,42