一种基于VTK的医疗辅助可视化教学方法技术

本发明专利技术属于医疗辅助教学领域，涉及一种基于VTK的医疗辅助可视化教学方法，包括以下步骤：通过Unity3D引擎在教师端上搭建可视化场景；并在可视化场景中对医学影像进行三维重建，生成三维模型；教学模式：教师端对三维模型进行操作，并采用帧同步方式对学生端进行同步；协同模拟模式：建立VR客户端，教师端分配任务，学生通过VR客户端进行协同模拟操作，教师端对每个VR客户端的协同模拟操作进行记录，并进行汇总评分。本发明专利技术相比于传统教学模式，能让学习人员对影像有直观的了解，同时回放功能让学生在课后进行回顾。协同模拟模式下，让教师对学生的任务过程有直观的认识，成绩汇总使得发现整个任务训练的不足更加容易。得发现整个任务训练的不足更加容易。得发现整个任务训练的不足更加容易。

【技术实现步骤摘要】
一种基于VTK的医疗辅助可视化教学方法


[0001]本专利技术属于医疗辅助教学领域，涉及一种基于VTK的医疗辅助可视化教学方法。

技术介绍

[0002]从CT、MRI等设备获取到的是人体二维的断层数据，仅由这些切片序列难以对人体二维的断层数据中的特征和形态有较为直观的认识，导致医学影像学习难度较高，在学习医学影像的过程中会遇到很多困难，书本和幻灯片上的知识在学习过程中很容易忘记，复习巩固也不方便。一般的课程记录都是以录像的形式记录，占用空间，同时学生回顾视频看到信息的也是二维的，在本专利技术所述的场景中，回放的数据是三维形式的呈现，可以自由调整角度，更容易理解。
[0003]传统影像教学是PPT和幻灯片的方式，不够直观，知识点的复习不方便，为此设计可视化平台用于更直观的进行教学，同时回放功能使得知识的回顾更高效；因此，结合三维模型可视化的方式来教学方式有着十分重要的意义。

技术实现思路

[0004]本专利技术目的是提供一种基于VTK的医疗辅助可视化教学方法，其中，教学模式通过Unity3D引擎搭建可视化平台，在Unity3D中使用VTK工具箱进行三维重建，各个Unity3D客户端之间采用帧同步来保持画面的一致性以及授课内容的记录。协同模拟模式通过Unity3D引擎搭建可视化场景，可以快速部署训练室，借助VR设备进行训练，可以加深学生对任务过程的记忆，在训练过程中对任务进行记录，方便考核。以克服上述传统影像教学PPT或幻灯片的缺陷。
[0005]本专利技术为实现上述目的所采用的技术方案是：一种基于VTK的医疗辅助可视化教学方法，包括以下步骤：
[0006]1)通过Unity3D引擎在教师端上搭建可视化场景；并在可视化场景中对医学影像进行三维重建，生成三维模型；
[0007]2)教学模式：教师端开启Socket以作为服务器，对三维模型进行操作，对三维模型的操作指令采用帧同步方式对学生端进行同步，以实现教师端与学生端的画面一致；
[0008]同时，基于帧同步的方式对教师端的操作进行记录并以文本的方式保存下来，以供学生进行回放；
[0009]3)协同模拟模式：
[0010]基于Unity3D引擎和SteamVR建立VR客户端，学生登录VR客户端，等待教师端分配任务，学生通过VR客户端进行协同模拟操作，教师端对每个VR客户端的协同模拟操作进行记录，并进行汇总评分。
[0011]所述通过Unity3D引擎在教师端上搭建可视化场景，具体为：
[0012]在Unity3D场景中预先创建一个空的GameObject，在空的GameObject的Component上添加三维重建脚本，用于影像数据的三维模型的构建；
[0013]在场景相机的Component中添加相机脚本，用于调整可视化场景中相机的姿态；
[0014]在场景光的Component中添加场景光脚本，用于调整场景中的光线参数。
[0015]步骤2)中，所述可视化场景中对医学影像进行三维重建，生成三维模型，具体为：
[0016]将医学影像数据通过阈值分割法进行预处理，得到预处理后的医学影像数据，并对预处理后的医学影像数据进行二值化，得到二值化医学影像图像；
[0017]在Unity3D引擎项目中引入VTK工具中的dll文件，从dll引入的工具函数需要设置为静态；
[0018]设定建模参数，对二值化医学影像图像进行光线投射算法进行三维重建，获取三维模型。
[0019]所述静态函数，具体包括：
[0020]相机参数函数、光线参数函数、体积量函数以及不透明度函数；
[0021]所述相机参数函数，用于设置的相机视角范围；
[0022]所述光线参数函数，用于设置三维重建所需的光线属性，即模型表面反射光；
[0023]所述体积量函数，用于设置渲染后的模型属性；
[0024]所述不透明度函数，用于设置三维模型不透光程度。
[0025]所述建模参数，包括：模型颜色参数、模型灰度不透明度参数以及模型梯度不透明参数，通过设定建模参数，以调整三维重建后展示指定的效果。
[0026]所述对三维模型进行操作，具体为：
[0027]教师端控制查看xoy、xoz以及yoz三个切面的影像图，通过VTK工具，调整采样间隔来控制三维模型的光照照射的显示效果；
[0028]通过VTK工具，调整三维模型上等值面的值，以改变三维模型不同位置的显示效果。
[0029]所述步骤3)，具体为：
[0030]登录成功后，教师进入教师端或学生进入VR客户端；
[0031]教师端通过MySQL数据库上分配学生端中所登录学生的角色列表，并通过MySQL数据库对所登录学生进行任务分配；
[0032]学生佩戴VR设备进入可视化场景进行训练，同时调取MySQL数据库中对应自身的任务列表，并通过VR设备在可视化场景中进行协同模拟操作，每完成一项任务通过VR设备进行操作，操作完成会反馈给教师端和其他学生端；教师通过教学端实时查看并进行考核。
[0033]所述教师通过教学端实时查看并进行考核，具体为：考核分数＝完成的任务数/所有任务。
[0034]可视化场景中的搭建了模型和模型的交互动画，不同客户端对模型进行操作后会展示动画。
[0035]本专利技术具有以下有益效果及优点：
[0036]1、相比传统的二维形式的教学，能有效提升学生学习医疗知识的效率；
[0037]2、相比传统的录像存放，本专利技术存储的回放数据所需空间更小；
[0038]3、使用VR设备进行训练，能节省搭建任务环境所需的时间，节省实验器材的消耗；
[0039]4、任务训练过程的考核更加方便，能有效进行任务的总结和复盘。
附图说明
[0040]图1为本专利技术的系统结构图；
[0041]图2为本专利技术教学模式的方法流程图；
[0042]图3为本专利技术协同模拟操作模式的方法流程图；
[0043]图4为本专利技术客户端与教师端数据的交互图；
[0044]图5为本专利技术使用3D Slicer来制作模拟任务中使用到的模型
具体实施方式
[0045]下面结合附图及实施例对本专利技术做进一步的详细说明。
[0046]如图1所示，为本专利技术的系统结构图，其中：
[0047]教学模式的方法，包括以下步骤：
[0048]1、使用Unity3D引擎搭建可视化场景，场景中需要添加必要的Camera、GameObject、Light。在GameObject上挂载三维重建脚本；
[0049]2、需要在项目中使用DLLImport引入VTK工具工具箱中的函数；
[0050]3、使用VTK光线投射算法对医学影像进行三维重建；
[0051]4、通过自定义Camera操作脚本,教师可对场景资源的操作指令会广播到各个同学的电脑上；
[0052]5、教师端有程序开启充当服务器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VTK的医疗辅助可视化教学方法，其特征在于，包括以下步骤：1)通过Unity3D引擎在教师端上搭建可视化场景；并在可视化场景中对医学影像进行三维重建，生成三维模型；2)教学模式：教师端开启Socket以作为服务器，对三维模型进行操作，对三维模型的操作指令采用帧同步方式对学生端进行同步，以实现教师端与学生端的画面一致；同时，基于帧同步的方式对教师端的操作进行记录并以文本的方式保存下来，以供学生进行回放；3)协同模拟模式：基于Unity3D引擎和SteamVR建立VR客户端，学生登录VR客户端，等待教师端分配任务，学生通过VR客户端进行协同模拟操作，教师端对每个VR客户端的协同模拟操作进行记录，并进行汇总评分。2.根据权利要求1所述的一种基于VTK的医疗辅助可视化教学方法，其特征在于，所述通过Unity3D引擎在教师端上搭建可视化场景，具体为：在Unity3D场景中预先创建一个空的GameObject，在空的GameObject的Component上添加三维重建脚本，用于影像数据的三维模型的构建；在场景相机的Component中添加相机脚本，用于调整可视化场景中相机的姿态；在场景光的Component中添加场景光脚本，用于调整场景中的光线参数。3.根据权利要求1所述的一种基于VTK的医疗辅助可视化教学方法，其特征在于，步骤2)中，所述可视化场景中对医学影像进行三维重建，生成三维模型，具体为：将医学影像数据通过阈值分割法进行预处理，得到预处理后的医学影像数据，并对预处理后的医学影像数据进行二值化，得到二值化医学影像图像；在Unity3D引擎项目中引入VTK工具中的dll文件，从dll引入的工具函数需要设置为静态；设定建模参数，对二值化医学影像图像进行光线投射算法进行三维重建，获取三维模型。4.根据权...

【专利技术属性】
技术研发人员：苏谟，胡明瑞，高延军，马慧敏，于金刚，王浩，董莉颖，
申请(专利权)人：中国科学院沈阳计算技术研究所有限公司，
类型：发明
国别省市：