一种基于XR技术的远程手术教学系统及其教学方法技术方案

本发明专利技术公开了一种基于XR技术的远程手术教学系统，属于医疗技术领域，包括数据采集端、交互式教学单元、虚拟现实三维动态场景构建单元、场景姿态识别单元、端口接入模块和验证模块。同时公开了基于上述系统的教学方法，采用上述一种基于XR技术的远程手术教学系统及其教学方法，应用了虚拟现实技术中的单目视觉法进行数据采集处理，保证了在数据采集过程中的数据阻断性，经过去噪处理，保证成像的完整度，并进行人体姿态识别，有效针对三维场景中的人体姿态进行判断，提高教学学习效果，防止因操作不规范而无法及时调整影响手术的正常进行，采用XR技术准确的进行标注，不易造成误判从而导致手术出现异常，从而提高远程教学效果。从而提高远程教学效果。从而提高远程教学效果。

【技术实现步骤摘要】
一种基于XR技术的远程手术教学系统及其教学方法


[0001]本专利技术涉及医疗
，尤其是涉及一种基于XR技术的远程手术教学系统及其教学方法。

技术介绍

[0002]远程医疗教学可以帮助医学专家进行远程教学指导，通过使用远程通讯方式进行交互，手术现场经验不足的外科医生可以与远程现场的手术专家分享彼此的观点，从而克服距离的障碍实现交互式知识传递和有指导的教学干预，以使经验丰富的外科医生能够以交互方式教授复杂的外科手术程序，且远程交互方式将由2D交互向更具效率的3D交互转变，3D视觉交互系统则取决于虚拟现实(VR)、增强现实(AR)和混合现实(MR)的发展，这些技术统称为“扩展现实”(XR)。
[0003]目前，传统远程医疗教学方式基于远程会议系统，根据现场摄像头拍摄的手术场景画面进行标注指导手术，远程会议系统将指导标注传输给手术室的监视器，并配合语音进行术中指导，且视角需进行反复切换，同时针对手术场景画面的标注指导，观察效果不理想，很难确定标注的实际大小和位置，易造成误判从而导致手术出现异常，进一步的，在实际远程教学中，难以针对三维场景中的人体姿态进行识别判断，导致在手术教学过程中难以达到预期效果，易因操作不规范影响手术正常进行，因此基于XR技术的远程手术教学方法是十分有必要的。

技术实现思路

[0004]本专利技术的目的解决上述现有技术存在的问题。
[0005]为实现上述目的，本专利技术提供了一种基于XR技术的远程手术教学系统，包括数据采集端、交互式教学单元、虚拟现实三维动态场景构建单元、场景姿态识别单元、端口接入模块和验证模块，
[0006]所述数据采集端用于将手术室的音视频信号压缩编码后通过网络传输至所述交互式教学单元，所述交互式教学单元与端口接入模块相连接，所述交互式教学单元与所述虚拟现实三维动态场景构建单元双向通讯，所述虚拟现实三维动态场景构建单元与所述场景姿态识别单元双向通讯；
[0007]所述数据采集端、所述交互式教学单元以及所述端口接入模块均与所述验证模块相连接，用于身份验证，并且进行地址解析，对整个教学工作状态进行实时监控，同时用于实现视频转发和协议翻译。
[0008]优选的，所述交互式教学单元包括教学端、语音麦克和显示模块，所述语音麦克和显示模块均与所述教学端相连接；所述端口接入模块用于将交互式教学单元的端口节点外接，用于多个异地专家以网络会议的形式进行虚拟会诊，同时所有视频、语音、数据均通过端口接入模块实现远程传送至教学端。
[0009]优选的，所述数据采集端包括高清球机、高清术野机以及高清监听器，所述高清球
机、所述高清术野机以及所述高清监听器均与所述教学端相连接。
[0010]优选的，所述虚拟现实三维动态场景构建单元包括依次连接的虚拟现实设计模块、三维构建模块和去噪处理模块，所述虚拟现实设计模块与所述教学端相通讯。
[0011]优选的，所述场景姿态识别单元包括依次连接的数据集构建模块、人体部位检测模块以及部位关节点提取识别模块，所述数据集构建模块用于获取所述虚拟现实三维动态场景构建单元的图像信息，人体部位检测模块用于检测人体部位并进行相应的类别标签，所述位关节点提取识别模块用于提取人体部位的关节点并进行人体姿态识别。
[0012]一种基于XR技术的远程手术教学系统的教学方法，具体步骤如下：
[0013]步骤S1：数据采集端通过高清球机和高清术野机对手术室进行全景图像采集，所述高清监听器将主刀医生的语音及整个手术室的语音实时传送至交互式教学单元；
[0014]步骤S2：所述交互式教学单元中的教学端对采集到的音视频模拟信号进行编码处理，并且通过端口接入模块从网络接收的数字音视频数据进行解码处理，还原为模拟视频信号进行输出，同时配合语音麦克进行手术室现场语音环境的再现和与教学端之间的语音交互，通过显示模块将还原为模拟视频信号输出至教学端的显示设备；
[0015]步骤S3：虚拟现实三维动态场景构建单元中虚拟现实设计模块将交互式教学单元获取的图像信息进行光度立体视觉虚拟现实设计，得到光度立体视觉虚拟现实设计数据；
[0016]步骤S4：三维构建模块将得到光度立体视觉虚拟现实设计数据进行三维构建，形成三维动态场景；
[0017]步骤S5：去噪处理模块将步骤S4中的三维动态场景进行去噪，完成最终的三维虚拟现实动态场景的重建；
[0018]步骤S6：通过数据集构建模块提取三维虚拟现实动态场景构建单元获取三维虚拟现实动态场景的图像信息，提取图像信息的像素深度差分特征，通过数据集构建模块获取的数据信息，通过人体部位检测模块检测人体相应部位，并进行类别标签，通过部位关节点提取识别模块提取人体部位的关节点，并且进行人体姿态的识别；
[0019]步骤S7：将步骤S5中的三维虚拟现实动态场景和步骤S6中的人体姿态识别结果传输至教学端，并通过显示模块进行显示，由教学端负责人员进行标注指导，并且回传至手术现场的显示设备中。
[0020]优选的，三维虚拟现实动态场景的重建具体步骤如下：
[0021]首先，获取光度立体视觉虚拟现实设计数据：
[0022]通过引入光度立体视觉法进行虚拟现实设计，基础亮度方程为：
[0023][0024]式中，D
i
为基础亮度总值，α为反射常数，(1
‑
Θ
i
)表示由物体表面反射光源强度系数；g
j
为物体动能法向量，g
i
为光源折射向量；Ψ
i
′
为图像像素，Ψ
′
j为图像折射像素，(d
j
‑
d
i
)表示二维参量变换值，反应采集数据的值能够在分析数据的过程中保证数据的完整程度，j∈N(i)表示数据采集点的值域；
[0025]光度立体视觉法利用多个不共轭来源的光源来获得同一物体的多幅图像，将不同图像的共轭方程联立，求解出物体动能法向量g
j
以及光源折射向量g
i
，最终能够实现物体三维立体形状的恢复，则采用多个光源进行三维重建，用矩阵表示为：
[0026][0027]式中，GH矩阵表示采集到的数据存储计算模式，表示光源的可转化化简条件的数量；
[0028]经过转化后的数据需要进行相应辨别处理，过程如下：
[0029][0030]式中，exp(
‑
iβ)表示数据转化后的高阶属性畸变向量，通过高阶属性畸变向量能够反应出转化过程的有效程度，X0表示数据在转化过程中能够有效保留的变量参数，X1,X2,X3,X4表示转化成功率；
[0031]其次，三维构建模块进行三维构建：
[0032]首先将光度立体视觉虚拟现实设计数据中RGB图像和深度图像进行提取，将RGB图像经过坐标变换，使得与深度图像坐标对齐，得出空间点的x，y坐标位置，最后将三维坐标点云数据(x,y,z,R,G,B)通过LOD层次模型显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于XR技术的远程手术教学系统，其特征在于：包括数据采集端、交互式教学单元、虚拟现实三维动态场景构建单元、场景姿态识别单元、端口接入模块和验证模块，所述数据采集端用于将手术室的音视频信号压缩编码后通过网络传输至所述交互式教学单元，所述交互式教学单元与端口接入模块相连接，所述交互式教学单元与所述虚拟现实三维动态场景构建单元双向通讯，所述虚拟现实三维动态场景构建单元与所述场景姿态识别单元双向通讯；所述数据采集端、所述交互式教学单元以及所述端口接入模块均与所述验证模块相连接，用于身份验证，并且进行地址解析，对整个教学工作状态进行实时监控，同时用于实现视频转发和协议翻译。2.根据权利要求1所述的一种基于XR技术的远程手术教学系统，其特征在于：所述交互式教学单元包括教学端、语音麦克和显示模块，所述语音麦克和显示模块均与所述教学端相连接；所述端口接入模块用于将交互式教学单元的端口节点外接，用于多个异地专家以网络会议的形式进行虚拟会诊，同时所有视频、语音、数据均通过端口接入模块实现远程传送至教学端。3.根据权利要求2所述的一种基于XR技术的远程手术教学系统，其特征在于：所述数据采集端包括高清球机、高清术野机以及高清监听器，所述高清球机、所述高清术野机以及所述高清监听器均与所述教学端相连接。4.根据权利要求3所述的一种基于XR技术的远程手术教学系统，其特征在于：所述虚拟现实三维动态场景构建单元包括依次连接的虚拟现实设计模块、三维构建模块和去噪处理模块，所述虚拟现实设计模块与所述教学端相通讯。5.根据权利要求4所述的一种基于XR技术的远程手术教学系统，其特征在于：所述场景姿态识别单元包括依次连接的数据集构建模块、人体部位检测模块以及部位关节点提取识别模块，所述数据集构建模块用于获取所述虚拟现实三维动态场景构建单元的图像信息，人体部位检测模块用于检测人体部位并进行相应的类别标签，所述位关节点提取识别模块用于提取人体部位的关节点并进行人体姿态识别。6.一种基于上述权利要求1
‑
5任意一项的基于XR技术的远程手术教学系统的基于XR技术的远程手术教学方法，其特征在于，具体步骤如下：步骤S1：数据采集端通过高清球机和高清术野机对手术室进行全景图像采集，所述高清监听器将主刀医生的语音及整个手术室的语音实时传送至交互式教学单元；步骤S2：所述交互式教学单元中的教学端对采集到的音视频模拟信号进行编码处理，并且通过端口接入模块从网络接收的数字音视频数据进行解码处理，还原为模拟视频信号进行输出，同时配合语音麦克进行手术室现场语音环境的再现和与教学端之间的语音交互，通过显示模块将还原为模拟视频信号输出至教学端的显示设备；步骤S3：虚拟现实三维动态场景构建单元中虚拟现实设计模块将交互式教学单元获取的图像信息进行光度立体视觉虚拟现实设计，得到光度立体视觉虚拟现实设计数据；步骤S4：三维构建模块将得到光度立体视觉虚拟现实设计数据进行三维构建，形成三维动态场景；步骤S5：去噪处理模块将步骤S4中的三维动态场景进行去噪，完成最终的三维虚拟现实动态场景的重建；
步骤S6：通过数据集构建模块提取三维虚拟现实动态场景构建单元获取三维虚拟现实动态场景的图像信息，提取图像信息的像素深度差分特征，通过数据集构建模块获取的数据信息，通过人体部位检测模块检测人体相应部位，并进行类别标签，通过部位关节点提取识别模块提取人体部位的关节点，并且进行人体姿态的识别；步骤S7：将步骤S5中的三维虚拟现实动态场景和步骤S6中的人体姿态识别结果传输至教学端，并通过显示模块进行显示，由教学端负责人员进行标注指导，并且回传至手术现场的显示设备中。7.根据权利要求6所述的一种基于XR技术的远程手术教学方法，其特征在于，三维虚拟现实动态场景的重建具体步骤如下：首先，获取光度立体视觉虚拟现实设计数据：通过引入光度立体视觉法进行虚拟现实设计，基础亮度方程为：式中，D
i
为基础亮度总值，α为反射常数，(1
‑

【专利技术属性】
技术研发人员：袁元，
申请(专利权)人：上海域圆信息科技有限公司，
类型：发明
国别省市：