基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块技术方案

一种基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块，系统手术器械分别连接实体模型和位姿捕捉系统，位姿捕捉系统的输出连接计算机，计算机连接显示器。方法：读入手术器械碰撞模型新的位姿信息并存储；与前一次读入的手术器械碰撞模型的位姿进行比较，判断是否有变化，有进入下一阶段，无回第１阶段；判断手术器械是否与实体模型接触，有记录与实体模型的碰撞点和时间，无回第１阶段；重置手术器械碰撞模型。模块有依次进行的渲染过程、应用过程和场景图显示，渲染过程有手术器械设定部分和实体模型设定部分；应用过程有手术器械的选择及人体实体的确定。本发明专利技术实时采集手术器械在空间运动的位姿信息，并及时反馈给虚拟环境，具有精度高、反应快的特点。

【技术实现步骤摘要】

本专利技术涉及一种虚拟手术仿真系统。特别是涉及一种用于医学教学和实践培训练习的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块。
技术介绍
现代科学技术的进步，特别是计算机技术的发展和广发应用，为医学技能训练领 域带来了新的契机。传统的医学技能培训中，医生要经过长时间的系统的学习和训练才能 熟练掌握，通常情况下是在尸体和活体动物上进行。这种传统的方法存在很多弊端也不符 合国际人道主义的惯例。 一方面，在尸体上进行训练时由于尸体经过防腐处理，尸体组织器 官都有组织结构和位置上的变化，医生也无法获得病人语言或是肢体反应；在活体上进行 时，由于活体组织结构与人体的差别较大，医生也无法得到好的训练；另一方面，传统培训 中的尸体或活体大都只能用一次，无法重复使用，训练成本很高。 目前医学培训领域应用较多的是美国3DImmersion公司的VIV以及Sensible公 司的PHANTOM，这些公司的力反馈系统价格昂贵、结构复杂、不易维修，而且在操作上与实际 手术过程有较大区别，因而难以达到训练效果。
技术实现思路
本专利技术所要解决的技术问题是，提供一种通过位姿捕捉系统将实体模型和虚拟环 境联系起来，实时采集手术器械在空间运动的位姿信息，并及时反馈给虚拟环境，具有精度 高、反应快的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块。本专利技术所采用的技术方案是一种基于实时位姿捕捉的手术仿真系统和方法及 图形渲染模块，基于实时位姿捕捉技术的虚拟手术仿真系统，包括有实体模型，手术器械， 位姿捕捉系统，计算机以及显示器，其中，所述的手术器械分别连接实体模型和位姿捕捉系 统，位姿捕捉系统的输出连接计算机，计算机连接显示器。 所述的手术器械包括针形的手术器械用针、插管。 所述的实体模型包括有骨骼模型、肌肉组织模型、神经模型和人体模型。 —种用于基于实时位姿捕捉技术的虚拟手术仿真系统的方法，包括如下阶段 1)读入手术器械碰撞模型新的位姿信息并存储； 2)与前一次读入的手术器械碰撞模型的位姿进行比较，判断是否有变化，有变化 进入下一阶段，否则返回第1阶段； 3)判断手术器械是否与实体模型接触，有接触记录与实体模型的碰撞点和时间，否则返回第1阶段； 4)重置手术器械碰撞模型。 第3阶段所述的判断手术器械是否与实体模型接触，有接触记录与实体模型的碰 撞点和时间，否则返回第1阶段包括如下步骤 1)判断手术器械是否与人体模型接触，有接触进入第2步骤，否则返回第1阶段；2)记录与人体模型的碰撞点和时间，然后分别进入第3、5步骤； 3)判断是否与肌肉模型接触，有接触进入第4步骤，否则返回第1阶段； 4)记录与肌肉模型的碰撞点和时间，然后进入第7步骤； 5)判断是否与神经模型接触，有接触进入第6步骤，同时播放音频，否则返回第1 阶段； 6)记录与神经模型的碰撞点和时间，然后进入第7步骤； 7)判断是否与骨骼模型接触，有接触进入第8步骤，否则返回第1阶段； 8)记录与骨骼模型的碰撞点和时间，然后进入第4阶段。 —种采用上述方法的数据制成的图形渲染模块，包括有依次进行的渲染过程、应 用过程和场景图显示，其中，所述的渲染过程有手术器械设定部分和实体模型设定部分；所 述的应用过程有手术器械的选择及人体实体的确定。 所述的实体模型设定部分包括有依次进行的设定人体外形可渲染对象和设定人 体外形子实体、依次进行的设定肌肉可渲染对象和设定肌肉子实体、依次进行的设定神经 可渲染对象和设定神经子实体、依次进行的设定骨骼可渲染对象和设定骨骼子实体以及对 人体外形及人体外形子实体的可见性的设定；所述的手术器械设定部分包括有依次进行的 设定手术器械可渲染对象和设定手术器械子实体。 所述的手术器械的选择设定包括有，依次进行的选择手术器械实体，以及手术器 械场景节点的确定。 所述的手术器械场景节点的确定是设定手术器械移动的具体位置，是根据计算机 中记录的手术器械与实体模型的碰撞点和时间进行设定。 所述的人体实体的确定，包括有依次进行的对人体实体静止对象的确定、以及场 景节点的确定。 本专利技术的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块，通过位姿捕 捉系统将实体模型和虚拟环境联系起来，实时采集手术器械在空间运动的位姿信息，并及 时反馈给虚拟环境，具有精度高、反应快的特点。将三维模型和材质导入图形渲染模块，建 立了手术的虚拟环境，具有友好的人机接口，互动性强。这种基于实时位姿捕捉技术的虚 实手术仿真系统为操作者真实地再现了手术现场，操作者在这样的虚拟环境中进行手术训 练，能获得很好的触觉、视觉和听觉上的训练。附图说明 图1是本专利技术的结构构成框图； 图2是本专利技术的物理碰撞检测系统流程图； 图3是图形渲染系统结构框图具体实施例方式下面结合附图和实施例对本专利技术的基于实时位姿捕捉的手术仿真系统和方法及 图形渲染模块做出详细说明。 如图1所示，本专利技术的基于实时位姿捕捉技术的虚拟手术仿真系统，包括有实体 模型1，手术器械2，位姿捕捉系统3，计算机4以及显示器5，其中，所述的手术器械2分别5对应实体模型1和位姿捕捉系统3，位姿捕捉系统3的输出连接计算机4，计算机4连接显 示器5。 所述的手术器械2包括针形的手术器械用针、插管。 所述的实体模型1包括有骨骼模型、肌肉组织模型、神经模型和人体模型。实体 骨骼模型通过CT扫描得到真人的骨骼三维模型，再通过快速成型激光三维打印技术得到， 使得骨骼的实体模型精度高。实体肌肉模型和实体皮肤由特种硅胶高分子材料制作，其结 构性能和人体肌肉类似；实体人体模型符合真人比例。实体人体模型上留有放置骨骼模型、 肌肉模型和皮肤的空间位置。分别将骨骼模型、肌肉模型和皮肤模型固定在人体模型相应 的位置上，模型固定在工作台上，操作过程中模型的位置不能有变动。 所述的位姿捕捉系统3采用Ascension Technology Corporation公司生产的3D Guidance trakSTAR 。包括磁场发生器6、位姿传感器7、由信号调理电路、数据采集卡和位 姿转换模块构成的位姿捕捉器8。位姿捕捉系统的磁场发生器有三个相互垂直的线圈，接通 交流电后在实体模型所在的空间产生稳定的磁场，传感器上的磁感应元件根据磁场强度和 空间位置不同发出不同的信号，信号通过调理电路进入数据采集卡，从而将信号转化为空 间位置和姿态信息。位姿转换模块将数据采集卡输出的实体空间的位置和姿态信息通过空 间变换原理变换为虚拟空间中的位置和姿态信息，使手术器械和手术器械模型分别保持与 实体模型和虚拟环境中三维模型一致的空间运动关系。 如图2所示，本专利技术的用于基于实时位姿捕捉技术的虚拟手术仿真系统的方法 首先在人体实体模型预设三个点，并记录三维模型上相应三点在虚拟环境空间中 的位姿信息，将传感器依次放在人体实体模型上预设的三个点上，这样系统检测的这三个 点在实体空间的位姿信息，通过空间位姿变换原理得到一个位姿变换矩阵。然后进行如下 所包括阶段 1)读入手术器械碰撞模型新的位姿信息并存储； 2)与前一次读入的手术器械碰撞模型的位姿进行比较，判断是否有变化，有变化 进入下一阶段，否则返回第1阶段； 3)判断手术器械是否与实体模型接触，有接触记录并显示与实体模型的碰撞点和 时间本文档来自技高网...

【技术保护点】
一种基于实时位姿捕捉技术的虚拟手术仿真系统，其特征在于，包括有实体模型（１），手术器械（２），位姿捕捉系统（３），计算机（４）以及显示器（５），其中，所述的手术器械（２）分别连接实体模型（１）和位姿捕捉系统（３），位姿捕捉系统（３）的输出连接计算机（４），计算机（４）连接显示器（５）。

【技术特征摘要】
一种基于实时位姿捕捉技术的虚拟手术仿真系统，其特征在于，包括有实体模型(1)，手术器械(2)，位姿捕捉系统(3)，计算机(4)以及显示器(5)，其中，所述的手术器械(2)分别连接实体模型(1)和位姿捕捉系统(3)，位姿捕捉系统(3)的输出连接计算机(4)，计算机(4)连接显示器(5)。2. 根据权利要求1所述的基于实时位姿捕捉技术的虚拟手术仿真系统，其特征在于， 所述的手术器械(2)包括针形的手术器械用针、插管。3. 根据权利要求1所述的基于实时位姿捕捉技术的虚拟手术仿真系统，其特征在于， 所述的实体模型(1)包括有骨骼模型、肌肉组织模型、神经模型和人体模型。4. 一种用于权利要求1所述的基于实时位姿捕捉技术的虚拟手术仿真系统的方法，其 特征在于，包括如下阶段1) 读入手术器械碰撞模型新的位姿信息并存储；2) 与前一次读入的手术器械碰撞模型的位姿进行比较，判断是否有变化，有变化进入 下一阶段，否则返回第l阶段；3) 判断手术器械是否与实体模型接触，有接触记录与实体模型的碰撞点和时间，否则 返回第1阶段；4) 重置手术器械碰撞模型。5. 根据权利要求4所述的用于基于实时位姿捕捉技术的虚拟手术仿真系统的方法，其 特征在于，第3阶段所述的判断手术器械是否与实体模型接触，有接触记录与实体模型的 碰撞点和时间，否则返回第1阶段包括如下步骤1) 判断手术器械是否与人体模型接触，有接触进入第2步骤，否则返回第1阶段；2) 记录与人体模型的碰撞点和时间，然后分别进入第3、5步骤；3) 判断是否与肌肉模型接触，有接触进入第4步骤，否则返回第1阶段；4) 记录与肌肉模型的碰撞...

【专利技术属性】
技术研发人员：刘霄飞，严小天，唐国潮，冀强，
申请(专利权)人：天津市天堰医教科技开发有限公司，
类型：发明
国别省市：12[中国|天津]