基于多视角行为辨识的多人协同外科手术虚拟实训系统技术方案

本发明专利技术公开一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，涉及手术虚拟实训领域，系统包括：控制模块、用于构建用于进行多人协同外科手术的虚拟环境虚拟环境构建模块、物品交换控制模块、用于多视角采集手术实施者的手术动作信息的动作捕捉模块、用于将手术动作信息同步赋给虚拟环境中的所述虚拟实施者的手术动作同步模块和用于将每一手术实施者的手术动作信息同步发送给各手术实施者的通信模块。本发明专利技术构建一个共享的虚拟空间，且多视角的实时采集各个手术实施者的动作信息并共享于各个手术实施者之间，从而提高了多人协同外科手术虚拟实训的准确性。人协同外科手术虚拟实训的准确性。人协同外科手术虚拟实训的准确性。

【技术实现步骤摘要】
基于多视角行为辨识的多人协同外科手术虚拟实训系统


[0001]本专利技术涉及手术虚拟实训领域，特别是涉及一种基于多视角行为辨识的多人协同外科手术虚拟实训系统。

技术介绍

[0002]外科手术是临床治疗的一种重要手段，具有见效快、针对性强等优势，但手术操作复杂且具有一定风险，因此外科医生通常需要长时间的训练与积累，才能达到较高的临床技能。传统手术训练使用人造模型、尸体、动物等作为训练对象，其存在诸多局限和问题：训练成本高、资源稀少、无法实现自主训练等。随着计算机技术的飞速发展，虚拟手术技术的出现成为解决此类问题的有效手段。虚拟手术为用户提供了手术场景的真实再现，通过人机交互模拟手术全过程，虚拟手术仿真系统可以专门针对手术过程中可能发生的各种现象进行仿真模拟，并且可反复操作，不受时间和空间的限制。目前已有将虚拟仿真技术应用于外科实践的研究，这种实践主要是针对学生个人的，用户彼此分离，完成各自的实验。
[0003]现阶段的研究团队的研究重点主要是将虚拟仿真技术应用在具体的手术案例上，侧重于手术的执行训练，训练重点是手眼合作和特定任务的必需运动技能，例如抓取、缝合等技能。而通常的外科手术是一个团队合作任务，除了特定的手术场景和操作方式需要进行训练外，还需要进行整体规划，提高手术过程中的团队配合能力，同时增强虚拟实训平台的通用性和扩展性。
[0004]因此，本专利技术提出一种基于多视角行为辨识的多人协同外科手术虚拟实训系统。

技术实现思路

[0005]本专利技术的目的是提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，可构建一个共享的虚拟空间，允许多个手术实施者在虚拟空间中协同完成仿真的通用外科手术任务，并且多视角的实时采集各个手术实施者的动作信息并共享于各个手术实施者之间，从而提高了多人协同外科手术虚拟实训的准确性。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，所述系统包括：控制模块和分别与所述控制模块连接的虚拟环境构建模块、动作捕捉模块、手术动作同步模块、通信模块和物品交换控制模块；
[0008]所述虚拟环境构建模块，用于构建用于进行多人协同外科手术的虚拟环境；所述虚拟环境中包括各项手术用物品、与手术实施者对应的虚拟实施者和虚拟手术对象；
[0009]所述物品交换控制模块，用于根据所述手术实施者的物品使用请求，控制所述手术用物品的执行手术动作；
[0010]所述动作捕捉模块，用于多视角采集所述手术实施者的手术动作信息；
[0011]所述手术动作同步模块，用于将所述手术动作信息同步赋给所述虚拟环境中的所述虚拟实施者；
[0012]所述通信模块，用于将每一所述手术实施者的手术动作信息同步发送给各所述手术实施者。
[0013]可选的，所述系统还包括与所述控制模块连接的运动姿态采集及同步模块；所述运动姿态采集及同步模块用于实时采集所手术实施者的运动姿态并将所述运动姿态同步至所述虚拟实施者。
[0014]可选的，所述系统还包括与所述控制模块连接的触发检测模块；所述触发检测模块用于在所述虚拟环境中执行手术操作时，检测所述手术实施者之间、所述手术实施者与所述手术用物品之间是否产生触发操作并判断所述触发操作是否为手术操作所需的交互操作。
[0015]可选的，所述系统还包括与所述控制模块连接的手术流程提示模块；所述手术流程提示模块用于在所述虚拟环境中，按照预设的手术流程向所述手术实施者提示不同的手术流程阶段。
[0016]可选的，所述动作捕捉模块的硬件结构包括分布于各手术实施者不同方位的摄像装置和设于所述手术实施者不同活动关节的反光装置。
[0017]可选的，所述系统采用MirrorNetworking网络框架。
[0018]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0019]本专利技术提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，涉及手术虚拟实训领域，系统包括：控制模块、用于构建用于进行多人协同外科手术的虚拟环境虚拟环境构建模块、物品交换控制模块、用于多视角采集手术实施者的手术动作信息的动作捕捉模块、用于将手术动作信息同步赋给虚拟环境中的所述虚拟实施者的手术动作同步模块和用于将每一手术实施者的手术动作信息同步发送给各手术实施者的通信模块。本专利技术构建一个共享的虚拟空间，且多视角的实时采集各个手术实施者的动作信息并共享于各个手术实施者之间，从而提高了多人协同外科手术虚拟实训的准确性。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术实施例提供的基于多视角行为辨识的多人协同外科手术虚拟实训系统框图；
[0022]图2为本专利技术实施例提供的基于多视角行为辨识的多人协同外科手术虚拟实训系统的设计原理图；
[0023]图3为本专利技术实施例提供的基于多视角行为辨识的多人协同外科手术虚拟实训系统的硬件环境部署示意图；
[0024]图4为本专利技术实施例提供的用户操作示意图；
[0025]图5为本专利技术实施例提供的虚拟环境示意图。
[0026]符号说明：
[0027]1—控制模块；2—虚拟环境构建模块；3—物品交换控制模块；4—动作捕捉模块；
5—手术动作同步模块；6—通信模块；7—运动姿态采集及同步模块；8—触发检测模块；9—手术流程提示模块。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]本专利技术的目的是提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，通过构建一个共享的虚拟空间，允许多个用户在虚拟空间中协同完成仿真的通用外科手术任务，其中用户可以通过虚拟现实设备单独进行虚拟场景中物品的交互，也可以与其他用户完成复杂任务的协作操作；并且在整个手术流程中，控制模块为所有用户提供实时信息数据，允许多个用户之间相互通信，可以实现资源信息共享以及允许用户自然操纵环境中的对象。
[0030]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0031]实施例
[0032]如图1和2所示，本实施例提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，本系统涉及的硬件设备包括可供用户穿戴的虚拟现实设备以及整套动作捕捉系统，如图3所示，每个用户利用虚拟现实设备体验虚拟实训的外科手术环境，并接收其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，其特征在于，所述系统包括：控制模块和分别与所述控制模块连接的虚拟环境构建模块、动作捕捉模块、手术动作同步模块、通信模块和物品交换控制模块；所述虚拟环境构建模块，用于构建用于进行多人协同外科手术的虚拟环境；所述虚拟环境中包括各项手术用物品、与手术实施者对应的虚拟实施者和虚拟手术对象；所述物品交换控制模块，用于根据所述手术实施者的物品使用请求，控制所述手术用物品的执行手术动作；所述动作捕捉模块，用于多视角采集所述手术实施者的手术动作信息；所述手术动作同步模块，用于将所述手术动作信息同步赋给所述虚拟环境中的所述虚拟实施者；所述通信模块，用于将每一所述手术实施者的手术动作信息同步发送给各所述手术实施者。2.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述控制模块连接的运动姿态采集及同步模块；所述运动姿态采集及同步模块用于...

【专利技术属性】
技术研发人员：许丽，王鸿鹏，陈逸飞，陈灏，王迪，陈永超，李穆源，
申请(专利权)人：南开大学，
类型：发明
国别省市：