一种基于虚拟现实的人体解剖交互系统技术方案

本发明专利技术公开了一种基于虚拟现实的人体解剖交互系统，涉及医疗、医学、人体科研研究领域。该系统由头戴式显示设备、主机系统、追踪系统、控制器设备组成，利用VR的特性建立出全三维的虚拟环境，并在虚拟环境中导入完整的3D数字人体解剖结构后，显示在虚拟场景之中。使用户在完全的虚拟场景中通过控制器对模型进行拾取、旋转、隐藏等交互操作，就像身历其境在场景当中。通过该系统可以辅助用户进行学习和研究，提高教学和研究效率，降低教学和研究中的成本。

【技术实现步骤摘要】

本专利技术为一种基于虚拟现实技术的人机交互系统，尤其涉及到在虚拟场景中完整展示从内到外的3D人体解剖数字模型，并且能够进行交互的人体解剖交互系统。
技术介绍
人机交互技术是目前用户界面技术中发展迅速的领域之一，现已获得大量研究成果，包括侧重于多媒体技术的触摸式显示屏、可折叠电子书显示屏、3D显示器和视网膜成像显示器等等。虚拟现实作为一门新兴人机交互技术，具有更广阔的应用前景。虚拟现实(VirtualReality，简称VR)技术是80年代随着计算机图形仿真技术的深入研究而发展起来的一个新的研究领域，人们利用它在计算机系统上创建和体验虚拟世界。虚拟世界是全体虚拟环境(VirtualEnvironment简称VE)或给定仿真对象的全体，而虚拟环境由计算机产生，通过视、听、触觉等作用于用户使之产生身临其境感觉的交互式视觉仿真系统。通常虚拟现实系统由智能眼镜、控制单元、人体动作捕捉单元等组成，但在互动性和视觉呈现上效果不佳。现有的虚拟现实技术在医学领域中的应用，主要是利用X射线计算机断层成像(CT)、核磁共振(MRI)等医学影像技术，对人体活体或尸体进行全方位的扫描，从而获取人体组织器官信息，再通过三维重建直接建立扫描的人体模型，应用虚拟现实技术和设备将虚拟模型呈现在场景之中，使用户在场景中看到一个三维还原的扫描人体结构。但这样的人体结构在不同个体之间或活体与尸体之间都存在个体差异性，例如扫描的活体对象偏胖或偏瘦，组织器官存在病变，又如尸体在扫描时，存在和活体时的差异，加之经过了物理和化学处理，松懈程度会增大，从而产生更大的形变。因此直接通过三维扫描重建出来的人体结构对真正意义上的模型应用效果有限，无法以点盖面地作为标准人体结构。此外，虽然目前关于视觉合成的研究较多，但用于医疗医学领域的产品相对较少，大多数的瓶颈都卡在人体模型的精细程度，以及力触觉模拟技术上的不足。人体模型的精细度在虚拟显示环境中具有突出的优越性，它使得虚拟现实环境变得真实，更具有代入感，极大的增强了可视化呈现效果。另外，力反馈也是虚拟现实中不可缺少的一部分，它是使用户可接收周围环境输入，同时可对周围环境输出的感知通道。但目前大多虚拟现实系统均只有单一的视觉立体或触觉立体，无法实现视觉与触觉的同步匹配，代入感不强。如果能实现二者的同步渲染与配合，同时结合医学、医疗领域相关的标准化数据资源，无疑将大大增强用户与虚拟模型和环境的交互，并使感受到与虚拟对象交互产生的接触和力，形成对虚拟模型的完整认知，如同操作真实物体一样，使人机交互体验更真实、准确。再者，用户在虚拟环境中可随意快速地移动，移动过程中如画面追踪不到位可能会产生拖影或掉帧的现象，使用户产生眩晕感甚至造成人体不适。
技术实现思路
基于上述问题，本专利技术的目的在于提供一种基于虚拟现实的人体解剖交互系统，通过VR建立全三维的虚拟环境，使用户与人体模型进行交互操作。该系统包括：头戴式显示设备，佩戴于用户头部，使用户通过所述头戴式显示设备中的显示器观看虚拟环境以及三维人体数字模型；主机系统，用于为所述头戴式显示设备提供功能保证，所述头戴式显示设备根据自身智能化和自动化程度利用主机系统；追踪系统，用于捕捉用户的运动，并将信息返回给所述头戴式显示设备，从而创建一种沉浸式VR体验；控制器，所述控制器为手持设备，用于追踪用户的动作或手势；辅助可视系统，包括：可视化公告板和动态可视效果发生器；所述系统还包括：通过主机系统实时判断传感器所处的位置和虚拟场景中的某个人体结构位置，如有接触或碰撞，则根据接触或碰撞对象的性质进行不同的力度回馈。优选地，所述追踪系统包括内置传感器、陀螺仪和磁力计，所述传感器与HMD设备分离，采用内部摄像头或LED灯。优选地，所述控制器还具备触觉触发模块，提供触觉体验，使用户感觉到震动。优选地，所述控制器包括：左手柄，通过所述左手柄的控制台对所述系统进行控制；右手柄，通过所述右手柄的功能按钮对所述系统进行控制。优选地，所述左手柄包括：VR接收器、陀螺仪装置和一块实体板，实体板与VR接收器形成一体式结构握于左手，通过陀螺仪装置进行水平和翻转判断，当左手柄处于水平状态时呼出虚拟场景中的控制台，左手柄脱离水平状态时关闭控制台。进一步的，所述右手柄的功能按钮包括：扳机、单按钮、左方向按钮、右方向按钮。优选地，所述扳机包括：扳机：扳机包括功能激活按钮，可对左手柄的控制台进行操作，其中，所述操作包括，对6组人体模型的任一模型接触后进行抓取工作，进一步的：按下扳机确定处于抓住状态，处于抓住状态下的模型可随手柄的旋转进行旋转；松开扳机取消抓取，模型停留在当前坐标点上。优选地，所述单按钮具有对手柄所接触的模型进行单个还原功能。优选地，所述左右按钮具有对处于光标圈的模型组进行左右旋转功能，组内所有模型沿场景Y坐标开始旋转。优选地，左右手柄的特性包括：当在虚拟场景中移动坐标时，实时检测碰撞属性。优选地，所述可视化公告板在任何模型处于抓取状态时，在被抓取的模型世界坐标的左上角出现透明式描述界面，界面中显示当前被抓取模型的中文、英文名称，以及其他模型相关描述。优选地，所述动态可视效果发生器在所有模型立于场景中原始坐标点时，针对动态模型渲染动态效果。优选地，所述三维人体数字模型的构建包括以下步骤：1)获取人体医学图像；2)采用体绘制技术，建立人体数字模型的解剖学数据库；3)通过医学专家指导，根据人体的个体差异和不足，调整人体数字模型的偏差，获得准确的人体数字模型；4)通过手工绘制步骤3)获得的人体数字模型，建立准确的人体结构模型。优选地，步骤2)建立数字模型为根据男女体型差异分别构建。优选地，上述人体数字模型的构建采用次世代3D数字建模方法。所述系统还包括：为了降低VR环境中用户的眩晕感，采用以下任一调整方式或其组合：在用户视野范围内加入静态参照物；适当减少用户的视野范围或避免视野的经常转换；增加显示画面的刷新帧率；提示用户在VR环境中匀速活动。根据上述各方式，本专利技术可使用户获得更加精细准确的交互体验。在虚拟场景中用户将看到拥有和正常人同等体形体格的3D人体数据，如身高、胸围、上下半身比例等；同时可通过控制器直接对对虚拟场景中任意的人体结构进行拆解拆分，而无需再借助额外的外部器械。并且，不同于现有虚拟现实系统单一的视觉立体或触觉立体，或触觉效果的简单模拟，本专利技术针对不同的组织进行不同的力度反馈，使用户同时感受到不同组织的触感、结构性质、形态和柔韧度等等。更进一步地，本专利技术的模型资源打破传统三维重建技术，通过两次人体结构绘制，对原始医学数据进行转化，运用次世代3D数字建模技术及PBR工作流程制作获得准确、标准化的人体模型结构。此外，本专利技术从用户切身体验出发，考虑到用户使用的持久性，采用了有效的调整措施，防止和降低用户的眩晕感。附图说明图1为本专利技术系统结构示意图。图2为右手柄的示意图。图3为数字人体模型示意图。图4和图5为本专利技术系统中的力反馈描述示意图。图6为人体眩晕感产生原因示意图。具体实施方式以下，将参照附图来详细说明本专利技术的实施例。图1为本专利技术系统结构示意图。其中，主机系统包括智能手机、PC或视频游戏机。本医学解剖交互系统追踪系统可创建一种沉浸式的VR体验，例如，如果用户戴上HMD设备仰望天空，HMD屏本文档来自技高网...

【技术保护点】
一种基于虚拟现实的人体解剖交互系统，通过VR建立三维虚拟环境及三维人体数字模型，使用户与人体模型进行交互操作，该系统包括：头戴式显示设备，佩戴于用户头部，使用户通过所述头戴式显示设备中的显示器观看虚拟环境以及三维人体数字模型；主机系统，用于为所述头戴式显示设备提供功能保证，所述头戴式显示设备与主机系统进行交互；追踪系统，用于捕捉用户的运动，并将信息返回给所述头戴式显示设备，从而创建沉浸式VR体验；控制器，所述控制器为手持设备，用于追踪用户的动作或手势；所述控制器进一步包括左手柄和右手柄；其中，左手柄可调取虚拟场景中的控制台对所述交互系统进行控制；所述左手柄包括：VR接收器、陀螺仪装置和实体板，实体板与VR接收器形成一体式结构握于左手，通过陀螺仪装置进行水平和翻转判断，当左手柄处于水平状态时呼出虚拟场景中的控制台，左手柄脱离水平状态时关闭控制台；右手柄通过所述右手柄的功能按钮对所述交互系统进行控制；辅助可视系统，包括：可视化公告板和动态可视效果发生器；所述系统还包括：通过主机系统实时判断传感器所处的位置和虚拟场景中的某个人体结构位置，如有接触或碰撞，则根据接触或碰撞对象的性质进行不同的力度回馈。...

【技术特征摘要】
1.一种基于虚拟现实的人体解剖交互系统，通过VR建立三维虚拟环境及三维人体数字模型，使用户与人体模型进行交互操作，该系统包括：头戴式显示设备，佩戴于用户头部，使用户通过所述头戴式显示设备中的显示器观看虚拟环境以及三维人体数字模型；主机系统，用于为所述头戴式显示设备提供功能保证，所述头戴式显示设备与主机系统进行交互；追踪系统，用于捕捉用户的运动，并将信息返回给所述头戴式显示设备，从而创建沉浸式VR体验；控制器，所述控制器为手持设备，用于追踪用户的动作或手势；所述控制器进一步包括左手柄和右手柄；其中，左手柄可调取虚拟场景中的控制台对所述交互系统进行控制；所述左手柄包括：VR接收器、陀螺仪装置和实体板，实体板与VR接收器形成一体式结构握于左手，通过陀螺仪装置进行水平和翻转判断，当左手柄处于水平状态时呼出虚拟场景中的控制台，左手柄脱离水平状态时关闭控制台；右手柄通过所述右手柄的功能按钮对所述交互系统进行控制；辅助可视系统，包括：可视化公告板和动态可视效果发生器；所述系统还包括：通过主机系统实时判断传感器所处的位置和虚拟场景中的某个人体结构位置，如有接触或碰撞，则根据接触或碰撞对象的性质进行不同的力度回馈。2.根据权利要求1所述的基于虚拟现实的人体解剖交互系统，其特征在于：所述追踪系统包括内置传感器、陀螺仪和磁力计，所述传感器与HMD设备分离，采用内部摄像头或LED灯。3.根据权利要求1或2所述的基于虚拟现实的人体解剖交互系统，其特征在于：所述控制器还具备触觉触发模块，提供触觉体验，使用户感觉到震动；具体地，当接触或碰撞到人体组织结构时读取对应模型信息，根据模型信息判断，并给出对应模型类别对应的力回馈拉扯力的对应信息；力回馈传递给手部接收器，根据用户接触或碰撞的对象的性质，主机系统对所述对象进行分析后回馈给用户不同的力度抵触体验，使用户得到不同的力回馈信息，达到真实世界的质感和力度阻挡感觉；传感器所处的位置和虚拟场景中的某个人体结构位置通过主机系统进行实时判断，如有碰撞，则根据碰撞对象的性质进行不同的力度回馈。4.根据权利要求1-3任一...

【专利技术属性】
技术研发人员：翁云兵，邓田，冯伟，王昕洋，朱云丽，卢斌，黄必强，王迅，林自成，王信果，
申请(专利权)人：成都华域天府数字科技有限公司，
类型：发明
国别省市：四川;51