一种视觉-触觉融合的增强现实口腔手术技能训练模拟器制造技术

本发明专利技术涉及一种视觉‑触觉融合的增强现实口腔手术技能训练模拟器，包括：基于仿真头部模型构造的仿真训练平台；基于力反馈设备的口腔操作训练系统；基于增强现实头盔的观察系统；基于患者口腔CBCT数据和扫描数据生成虚拟口腔模型，构建虚拟口腔环境；基于虚拟口腔模型和仿真头部模型上的特征点，进行虚拟口腔和口腔模型的空间匹配；虚拟口腔手术仿真方法，分别以不低于1000Hz和60Hz的频率输出力觉信息和视觉信息；对网格数据进行简化的视觉信息处理方法；基于操作者头部信息校准输出力方向的力觉‑视觉空间校准方法。本系统解决了口腔传统训练中材料消耗和练习病例单一的问题；与现有的数字化训练方案相比，本系统借助增强现实技术增强了操作沉浸感，更加符合临床操作习惯。

An augmented reality oral surgery skill training simulator based on visual tactile fusion

The invention relates to an augmented reality oral surgery skill training simulator based on visual and tactile fusion, which includes: a simulation training platform based on the simulation head model; a oral operation training system based on force feedback device; an observation system based on the augmented reality helmet; a virtual oral model based on the patient oral CBCT data and scanning data, and a virtual oral environment; and Based on the feature points on the virtual oral model and the simulation head model, the space matching between the virtual oral model and the oral model is carried out; the virtual oral surgery simulation method outputs the force information and visual information at a frequency of not less than 1000Hz and 60Hz respectively; the visual information processing method of simplifying the grid data; the force space \u2011 visual space of the output force direction is calibrated based on the operator's head information Calibration method. The system solves the problem of material consumption and single practice cases in traditional oral training; compared with the existing digital training scheme, the system enhances the sense of immersion in operation with the aid of augmented reality technology, which is more in line with clinical practice.

【技术实现步骤摘要】
一种视觉-触觉融合的增强现实口腔手术技能训练模拟器
本专利技术涉及口腔手术训练模拟领域，是基于增强现实技术、力觉渲染技术、计算机图形学技术和运动力学等相关学科，模拟口腔手术操作过程，进行相关口腔手术操作的模拟训练。
技术介绍
随着人们牙齿保护意识的提高，牙周、种植等口腔治疗的需求愈来愈多，而口腔医生技能培训周期长、成本高的现实情况，极大地限制了人们获取口腔治疗的机会。基于计算机图形学和增强现实等新技术，本专利技术提出一种视觉-触觉融合的增强现实口腔手术技能训练模拟器的构建方案，为口腔医生培训提供了新途径。口腔医学是一门实践与理论相结合的学科，传统口腔医生的实践培训主要基于仿真头模进行。仿真头模的外形和病人平躺在牙椅上接受治疗的口腔诊室环境较为接近，用户可以较好地训练操作体位调节和支点使用等技巧，实现训练效果的迁移；但是仿头模练习过程中需要大量材料消耗，并具有训练病例单一、真实感差的缺陷。针对传统口腔训练方案的不足，MoogInc.等在专利号为US009383832B1“HAPTICUSERINTERFACE”的专利中提出了一种数字化训练方案，使用力反馈设备产生钻牙过程的虚拟力感，取代传统训练过程中的材料消耗；同时采用双投影的方式展示虚拟环境，并基于镜面反射的方式实现视觉空间和力觉空间的统一，使得用户观察到的虚拟环境和用户触碰的虚拟环境空间位置相同。该方案的主要问题在于采用镜面反射原理构建的训练平台，外形和仿真头模有较大差别，不仅用户需要花费较多的时间熟悉操作环境，同时也缺乏手指支撑，不容易实现训练效果的迁移。此外，为了实现虚拟视觉环境和虚拟力觉环境的空间校准，屏幕产生的图像需要经过反射镜反射后进行观察，所以在操作过程中无法观察到操作手，操作沉浸感较差。
技术实现思路
本专利技术技术解决问题：提供一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，外形接近传统的仿真头模口腔训练平台，可以作为操作过程中的手指支撑；构成虚拟环境的口腔模型和口腔工具模型通过CT扫描和测量获得，可以模拟多种病例；使用增强现实眼镜进行观察，将口腔模型和口腔工具等虚拟环境叠加与真实环境进行显示，增强操作过程中的沉浸感；使用力反馈设备产生虚拟力感，避免了训练过程中的材料消耗。本专利技术技术解决方案：一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或以观察口腔训练平台和力反馈设备真实环境，增强训练过程中的沉浸感；所述训练模拟器实现过程：a.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；b.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和实际训练模型相应点的空间位置相匹配；c.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以>1000Hz的频率和>60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；d.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现>60Hz的刷新频率；e.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。所述口腔训练平台的实现过程如下：(1)口腔训练平台的整体外形接近接受治疗的口腔患者，模仿患者平躺于牙椅上的外形构造，由口腔训练平台机箱、连接部分和头部三部分构成；(2)口腔训练平台机箱起到稳固支撑和放置主机的作用；(3)口腔训练平台连接部分，用于连接口腔训练平台的头部和底部的机箱，起到稳固支撑的作用，同时用于放置力反馈设备；(4)口腔训练平台的头部，外形和大小接近真实的病人头部，去除口腔及以下部分，防止和力反馈设备的末端操作手柄产生干涉；在原有的口腔位置放置半圆环，在用户操作过程中起到手指支撑的作用。所述基于力反馈设备的口腔操作训练系统实现过程如下：(1)移动力反馈设备，使得力反馈设备工作空间的中心位置和口腔训练平台的口腔中心位置重合，并记录力反馈设备的位置；(2)设计力反馈设备支架，将力反馈设备固定在口腔训练平台上，使得力反馈设备在使用过程中不出现晃动，并能够自由运动。所述基于增强现实头盔的观察系统实现过程如下：(1)选择MicrosoftHoloLens作为增强现实设备，该设备可以实现无线传输，不受线缆限制；(2)使用增强现实眼镜扫描口腔训练平台和力反馈设备，定位增强现实眼镜的工作中心，同时将虚拟环境叠加于口腔训练平台和力反馈设备进行显示，实现与周围真实环境中的全息影像互动。所述步骤a中的虚拟环境构造方法：(1)获得患者口腔DICOM格式CBCT数据；(2)获得患者口腔的stl格式的口腔扫描数据；(3)叠加重建后得到完整的下半颅骨三维表面和物理模型，构成虚拟口腔模型。所述步骤b中的模型匹配方法：(1)获取虚拟口腔模型三角网格的空间位置(P1，P2，……Pn)；(2)对仿真头部模型上的相应点进行采样，得到(T0，T1，……Tn)；(3)设空间矩阵校准矩阵为M，通过最小二乘法进行拟合，即求出使得R2最小的校准矩阵M。所述步骤d中的视觉信息处理方法：(1)对于网格中的所有顶点V，定义对称误差矩阵其中P＝[abcd]为每个顶点周围所在平面，可以使用方程ax+by+cz+d＝0表示，Kp＝PPT为二次基本误差矩阵；(2)定义顶点v＝[vxvyvz1]T的误差矩阵为Δ(v)＝vTQv；(3)对网格中的边(v1,v2)，化简后合并为顶点为vbar，定义顶点vbar的误差矩阵Qbar＝Q1+Q2；(4)数值计算顶点vbar位置使得Δ(vbar)最小，依次选取收缩后新本文档来自技高网...

【技术保护点】
1.一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；/n所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；/n基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；/n所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或观察口腔训练平台和力反馈设备的真实环境，增强训练过程中的沉浸感；/n所述训练模拟器实现过程：/na.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；/nb.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和训练模型上相应点的空间位置相匹配；/nc.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以>1000Hz的频率和>60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；/nd.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现>60Hz的刷新频率；/ne.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。/n...

【技术特征摘要】
1.一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；
所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；
基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；
所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或观察口腔训练平台和力反馈设备的真实环境，增强训练过程中的沉浸感；
所述训练模拟器实现过程：
a.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；
b.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和训练模型上相应点的空间位置相匹配；
c.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以>1000Hz的频率和>60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；
d.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现>60Hz的刷新频率；
e.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。


2.根据权利要求1所述的视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于：所述口腔训练平台的实现过程如下：
(1)口腔训练平台的整体外形接近接受治疗的口腔患者，模仿患者平躺于牙椅上的外形构造，由口腔训练平台机箱、连接部分和头部三部分构成；
(2)口腔训练平台机箱起到稳固支撑和放置主机的作用；
(3)口腔训练平台连接部分，用于连接口腔训练平台的头部和底部的机箱，起到稳固支撑的作用，同时用于放置力反馈设备；
(4)口腔训练平台的头部，外形和大小接近真实的病人头部，去除口腔及以下部分，防止和力反馈设备的末端操作手柄产生干涉；在原有的口腔位置放置半圆环，在用户操作过程中起到手指支撑的作用。


3.根据权利要求1所述的视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于：所述基于力反馈设备的口腔操作训练系统实现过程如下...

【专利技术属性】
技术研发人员：郝爱民，丛宇，赵永涛，赵晓含，
申请(专利权)人：北京众绘虚拟现实技术研究院有限公司，
类型：发明
国别省市：北京;11