沉浸式环境下针对医学图像的可视化呈现和交互方法技术

本发明专利技术公开了一种沉浸式环境下针对医学图像的可视化呈现和交互方法，包括以下步骤：加载医学图像数据；数据预处理；对预处理后数据进行可视化绘制；通过头戴式显示设备沉浸式显示可视化绘制结果；借助体感控制器跟踪手势动作，获取手势的关节点信息坐标；引入弹簧模型去除手势的抖动，提高手势识别准确率；手势动作定义；交互功能与手势动作绑定；通过游标模型基于上下文判断手势状态；根据手势状态执行对应交互任务。本发明专利技术能实现位移、缩放、旋转、剖切等交互范例来改善用户的沉浸式体验，帮助用户多层次多角度立体观察与分析医学图像的可视化绘制结果，从本质上拓展人机交互的应用领域，有效地提高分析和理解医学图像数据的效率和质量。

Visual rendering and interaction methods for medical images in immersive environment

【技术实现步骤摘要】
沉浸式环境下针对医学图像的可视化呈现和交互方法
本专利技术涉及一种医学图像的呈现和交互方法，尤其涉及一种沉浸式环境下针对医学图像的可视化呈现和交互方法。
技术介绍
沉浸式医学可视化将医学可视化与虚拟现实技术结合，不仅能够逼真的表现医学图像的立体形态，与此同时还能够对图像的呈现方式进行调整，多角度、多层次的观察与分析医学影像数据。以CT数据为例，传统分析方式是观察每一张平扫图像，然后医疗专家借助先验知识主观构建每一个器官或结构的立体图像并做出合理解释。而在沉浸式医学可视化系统中，可以直接对从医学设备获得的图像数据进行三维重建，并投影到头戴式显示设备中构建立体图像。用户在沉浸式环境中能够获得更多的深度信息和上下文关系，相比于传统的分析方式，医学图像可视化的应用使传统医学诊断所依赖的波形图、二维截面图变成更加直观并可方便交互操作的三维医学模型，实现从任意角度多层次立体观察，为医学诊断、治疗提供了一个安全、可靠、准确的解决途径。现阶段沉浸式环境下的交互方式主要有三种：传统交互，手柄交互和手势交互。传统交互是基于鼠标、键盘等传统交互设备的交互，这些设备适用于二维人机对话方式的交互，交互方式简单精确，但在进行三维交互时缺乏深度信息和上下文关系，用户的整体视觉空间被渲染的可视化映射所覆盖，用户无法感知到交互设备的具体位置。手柄交互是现阶段沉浸式环境下比较常用的交互方式，如OculusTouch、HTCVive等。手柄交互具有可用性高、延迟低等优点，与传统交互方式不同，手柄交互通过追踪手柄设备将实时的位置和方向信息映射到虚拟空间中，用户借助投影出的手柄设备完成交互操作；然而在沉浸式环境中，用户更希望通过双手直接操控虚拟空间中的物体，即以人为中心的自然人机交互。手势交互是通过人体信息的自然输入实现的人机交互，具有自然、直观、灵活的特点，借助针对手势的体感设备，用户可以在沉浸式环境中直接通过双手操作虚拟空间中的三维图像，降低了交互的复杂度和学习门槛，但现阶段基于视觉的手势识别与交互响应仍存在诸多问题，如手势追踪不稳定、追踪范围有限制、交互手势单一、交互功能与手势绑定困难等。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种利用非接触式手势交互操作实现从不同角度和不同方向观察数据、有效提高对医学图像分析效率的沉浸式环境下针对医学图像的可视化呈现和交互方法。本专利技术通过以下技术方案来实现上述目的：一种沉浸式环境下针对医学图像的可视化呈现和交互方法，包括以下步骤：步骤一、加载医学图像数据；步骤二、数据预处理；步骤三、对预处理后数据进行可视化绘制；步骤四、通过头戴式显示设备沉浸式显示可视化绘制结果；这里的头戴式显示设备优选HTCVive，是由HTC与Valve联合开发的一款VR头显(虚拟现实头戴式显示器)产品；步骤五、借助体感控制器跟踪手势动作，获取手势的关节点信息坐标；这里的体感控制器优选LeapMotion，是面向PC以及Mac的体感控制器制造公司Leap于2013年2月27日发布的体感控制器；步骤六、引入弹簧模型去除手势的抖动，提高手势识别准确率；步骤七、手势动作定义，包括手握拳平移、双手向两边移动、双手旋转和单手张开移动这四种手势动作的定义；步骤八、交互功能与手势动作绑定，上述四种手势动作依次对应缩放、位移、旋转和剖切这四种交互操作；步骤九、通过游标模型基于上下文判断手势状态；步骤十、根据手势状态执行对应交互任务。作为优选，所述步骤六中，在手的每个关节点添加虚拟弹簧以减少抖动，具体来说，所述弹簧模型的建立方法是：选取一段时间内的第一个手势作为模板手势，当后面时间序列中的手势与模板手势之间的距离小于或等于D时，沉浸式环境下呈现的手势被锁定为模板手势；当后面时间序列中的手势与模板手势之间的距离大于D时，将该手势作为新的模板手势；对于从体感控制器获取的手部模型，将单手划分为25个关节点，每个手指有5个包含指尖的关节点，为手指每个关节点赋予不同的权重；当关节点靠近指尖时，权重会降低；上述手势与模板手势之间的距离其中，i表示手指，j表示每根手指的关节点，wj表示每根手指的第j个关节点的权重，dij表示第i根手指的第j个关节点与模板手势对应的关节点之间的空间距离。作为优选，所述步骤八中，所述位移、缩放、旋转这三种交互操作的实现方式为：首先通过平移矩阵将交互目标平移到原点，然后通过旋转矩阵和缩放矩阵对其进行旋转和缩放，最后通过平移矩阵将其平移到新坐标；新坐标的计算公式为M＝T(-x1，-y1，-z1)*R(θ)*S(s)*T(x2，y2，z2)，其中，(x1，y1，z1)和(x2，y2，z2)分别是交互前和交互后双手的中心点，θ为双手旋转的角度，s为缩放因子，大小等于交互前后双手距离的比值。具体地，所述步骤八中，所述位移这种交互操作与对应的手势动作绑定的方法是：单手或者双手握拳，系统根据手的方向选中交互目标，然后向一个方向移动，目标的位置会随着手的移动而改变位置；当手不再保持握拳状态时，则为结束状态。具体地，所述步骤八中，所述缩放这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整双手之间的距离，目标的位置会随着双手距离的变化改变大小，当双手距离变大时，交互目标会被放大，双手距离变小时，交互目标会被缩小；当手不再保持握拳状态时，则为结束状态。具体地，所述步骤八中，所述旋转这种交互操作与对应的手势动作绑定的方法是：双手握拳，系统根据手的方向选中交互目标，然后调整由左手到右手的射线所在的方向，目标的位置会随之改变方向；当手不再保持握拳状态时，则为结束状态。具体地，所述步骤八中，所述剖切这种交互操作与对应的手势动作绑定的方法是：单手张开，系统向手掌所在的位置添加切面，切面的方向为手心所对着的方向，当手的位置和方向发生改变时，虚拟现实场景中的切面的位置和方向会随之改变；当手不再保持张开状态时，则为结束状态。具体地，所述步骤九中，每一种手势均包含三个状态：准备，执行，结束；对于位移、缩放、旋转这三种交互操作对应的手势，在准备状态时根据手的方向和位置确定交互目标；在执行状态响应交互操作从而改变交互目标的位置、大小或方向；在结束状态释放此次交互占用的资源；对于剖切这种交互操作对应的手势，在准备状态时根据手的位置和方向在虚拟空间中构建切面；在执行状态时切面跟随手的移动和旋转变化；在结束状态时删除该切面。作为优选，所述步骤九的具体方法是：先通过手势识别得到一组不断更新的手势操作序列，保存手势操作序列中最近的三个手势，根据这三个手势所代表的操作确定此时位于交互的哪一个阶段，即手势的状态；当手势操作序列更新且新的手势被识别时，向后移动游标，更新游标内的手势，然后再根据游标内的手势判断操作的状态；在交互过程中，当游标内第一个手势为非交互操作且后面两个为相同的手势操作时，标记此时为准备状态，执行后面两个手势的准备工作；当游标内的三个手势相同时，标记此时为执行状态，执行游标内手势所对应的交互操作；当游标内最后一个手势与其它两个手势不同时，将状态改为结束，执行前两个手势操作的结束工作。本专利技术的有益效果在于：本专利技术以设计高体验度的沉浸式医学可视化用户交互方式为出发点，结合目前热门的虚拟现实技术、可视化技术与沉浸式展本文档来自技高网...

【技术保护点】
1.一种沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：包括以下步骤：步骤一、加载医学图像数据；步骤二、数据预处理；步骤三、对预处理后数据进行可视化绘制；步骤四、通过头戴式显示设备沉浸式显示可视化绘制结果；步骤五、借助体感控制器跟踪手势动作，获取手势的关节点信息坐标；步骤六、引入弹簧模型去除手势的抖动，提高手势识别准确率；步骤七、手势动作定义，包括手握拳平移、双手向两边移动、双手旋转和单手张开移动这四种手势动作的定义；步骤八、交互功能与手势动作绑定，上述四种手势动作依次对应缩放、位移、旋转和剖切这四种交互操作；步骤九、通过游标模型基于上下文判断手势状态；步骤十、根据手势状态执行对应交互任务。

【技术特征摘要】
1.一种沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：包括以下步骤：步骤一、加载医学图像数据；步骤二、数据预处理；步骤三、对预处理后数据进行可视化绘制；步骤四、通过头戴式显示设备沉浸式显示可视化绘制结果；步骤五、借助体感控制器跟踪手势动作，获取手势的关节点信息坐标；步骤六、引入弹簧模型去除手势的抖动，提高手势识别准确率；步骤七、手势动作定义，包括手握拳平移、双手向两边移动、双手旋转和单手张开移动这四种手势动作的定义；步骤八、交互功能与手势动作绑定，上述四种手势动作依次对应缩放、位移、旋转和剖切这四种交互操作；步骤九、通过游标模型基于上下文判断手势状态；步骤十、根据手势状态执行对应交互任务。2.根据权利要求1所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤六中，所述弹簧模型的建立方法是：选取一段时间内的第一个手势作为模板手势，当后面时间序列中的手势与模板手势之间的距离小于或等于D时，沉浸式环境下呈现的手势被锁定为模板手势；当后面时间序列中的手势与模板手势之间的距离大于D时，将该手势作为新的模板手势；对于从体感控制器获取的手部模型，将单手划分为25个关节点，每个手指有5个包含指尖的关节点，为手指每个关节点赋予不同的权重；当关节点靠近指尖时，权重会降低；上述手势与模板手势之间的距离其中，i表示手指，j表示每根手指的关节点，wj表示每根手指的第j个关节点的权重，dij表示第i根手指的第j个关节点与模板手势对应的关节点之间的空间距离。3.根据权利要求1所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤八中，所述位移、缩放、旋转这三种交互操作的实现方式为：首先通过平移矩阵将交互目标平移到原点，然后通过旋转矩阵和缩放矩阵对其进行旋转和缩放，最后通过平移矩阵将其平移到新坐标；新坐标的计算公式为M＝T(-x1，-y1，-z1)*R(θ)*S(s)*T(x2，y2，z2)，其中，(x1，y1，z1)和(x2，y2，z2)分别是交互前和交互后双手的中心点，θ为双手旋转的角度，s为缩放因子，大小等于交互前后双手距离的比值。4.根据权利要求1或3所述的沉浸式环境下针对医学图像的可视化呈现和交互方法，其特征在于：所述步骤八中，所述位移这种交互操作与对应的手势动作绑定的方法是：单手或者双手握拳，系统根据手的方向选中交互目标，然后向一个方向移动，目标的位置会随着手的移动而改变位置；当手不再...

【专利技术属性】
技术研发人员：王松，吴亚东，雷金树，朱东，王知轩，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：四川,51