一种基于混合现实的手术控制方法及系统技术方案

本发明专利技术涉及手术控制领域，更具体地，本发明专利技术涉及一种基于混合现实的手术控制方法及系统，方法包括：获取头部信息，标记头部位置，对所述头部信息进行三维建模，生成视频流，并进行预处理；根据预处理的视频流，得到多个灰度图像；计算相邻两帧所述灰度图像的各个像素点的同范围指数值；根据所述同范围指数值，确定相邻两帧灰度图像各个像素点的同位移变化范围；根据所述同位移变化范围，计算前后两帧灰度图像的像素点的移动速度；根据所述移动速度，设置补帧流程

【技术实现步骤摘要】
一种基于混合现实的手术控制方法及系统


[0001]本专利技术一般地涉及手术控制领域
。
更具体地，本专利技术涉及一种基于混合现实的手术控制方法及系统
。

技术介绍

[0002]混合现实手术是指将虚拟现实技术与实时手术操作相结合，通过头戴式显示器或其他设备将虚拟信息叠加在实际手术场景中，以提高手术效率和准确性
。
混合现实手术可以帮助医生更好地理解患者的病情和解剖结构，提高手术的精确性和安全性
。
例如，在神经外科手术中，医生可以使用混合现实技术来可视化患者的脑部结构，以更好地定位肿瘤或其他异常区域
。
此外，混合现实手术还可以改善医生之间的协作和培训
。
医生可以共享虚拟信息，以便更好地理解手术过程和步骤，从而提高整个团队的效率和准确性
。
[0003]现有的专利授权号为
CN111419398B
的一种基于虚拟现实的胸外科手术辅助控制系统，通过建立三维重建模块
,
用于基于医学影像数据实现手术区域内的人体器官三维模型的重建，通过投影坐标生成模块，用于获取手术流程引导素材所在三维模型内的三维坐标，以使人体器官所在位置
、
尺寸参数生成投影模块的投影坐标，有助于提高手术的效率和成功率，但是，在使用该三维模型时，由于三维模型的数据生成量大，三维模型中患者的采样部位会造成帧数降低，甚至发生模型位置偏移，导致在手术存在安全风险
。
[0004]目前，混合现实手术在使用三维模型时，存在低帧或者像素点错位的现象，导致在进行手术刀时，需要等待具体帧数稳定，可能会导致手术错过最佳时间，甚至误判手术位置，因此需要一种基于混合现实的手术控制方法及系统
。

技术实现思路

[0005]为解决上述一个或多个技术问题，本专利技术根据三维模型的特性，划分位移变化范围，并根据所述位移变化范围，在移动模型中患者的采样部位时，进行同步的视频流补帧，提高三维模型在移动时的流畅程度和位置精度，为此，本专利技术在如下的多个方面中提供方案
。
[0006]在第一方面中，获取头部信息，标记头部位置生成多个标记点，对所述头部信息进行三维建模，生成视频流并进行预处理，得到多个灰度图像；构建相邻两帧所述灰度图像中像素点的目标位移向量；计算相邻两帧所述灰度图像的各个像素点的同范围指数值；根据所述同范围指数值，确定相邻两帧灰度图像各个像素点的同位移变化范围；根据所述同位移变化范围，计算前后两帧灰度图像的像素点的移动速度；根据所述移动速度，设置补帧流程
。
[0007]在一个实施例中，构建相邻两帧所述灰度图像中像素点的目标位移向量中，所述目标位移向量包含：标记点的中心位移向量和非标记点的位移向量；通过采用上述技术方案，通过对视频流中任意相邻的前后两帧灰度图像中进行补帧，减少生成三维模型的时长
。
[0008]在一个实施例中，构建相邻的前后两帧灰度图像中，所述标记点的中心位移向量，所述中心位移向量满足下述关系式：
[0009]其中，表示为像素点中心位移向量，表示为前帧图像标记点的位置，表示为后帧图像标记点的位置
。
[0010]相邻的前后两帧灰度图像中，确定非标记点的位移向量，其中，前帧图像中所述非标记点的像素点位置与后帧图像中所述非标记点的像素点位置一致，确定后帧图像中所述非标记点的像素点位置，得到非标记点的位移向量
。
[0011]在一个实施例中，计算相邻两帧所述灰度图像的各个像素点的同范围指数值，包括：计算非标记点所述灰度图像的各个像素点的位移向量与所述标记点的中心向量的相似度，其中，相似程度作为同范围指数值；所述同范围指数值满足下述关系式：
[0012]其中，表示为同范围指数，表示为像素点中心位移向量，表示为像素点邻域内的任意一个像素点1的目标位移向量
。
[0013]通过采用上述技术方案，计算标记点周围邻域内的各个像素点位移向量与中心向量的相似程度，且相似程度越高，标记点与邻域像素点具有相似的位移变化，相似程度作为同范围指数
。
[0014]在一个实施例中，所述计算前后两帧灰度图像的像素点的移动速度，包括：所述移动速度为标记点的中心位移向量与两帧灰度图像的像素点的时间差的比值
。
[0015]在一个实施例中，根据所述移动速度，使用损失函数计算相邻两帧灰度图像的各个位移变化范围之间速度比值，损失函数满足关系式满足下述关系式：
[0016]其中，表示为损失函数的值，表示为同位移变化范围在前后两帧之间的速度，表示为同位移变化范围在前后两帧之间的速度，表示为同位移变化范围在前帧与补充帧之间的速度，表示为同位移变化范围在前帧与补充帧之间的速度，表示为补充帧中新增像素点的同位移变化范围的个数
。
[0017]在一个实施例中，所述同位移变化范围，还包括：计算所述同位移变化范围中，各个像素点的均值向量，所述均值向量为同位移变化范围的各个像素点的线性特征
。
[0018]根据所述线性特征，确定补充帧像素点在移动方向的位移量，所述位移量为前帧灰度图像和补充帧的时间差与灰度图像的像素点的移动速度相乘
。
[0019]通过采用上述技术方案，根据相邻两帧中同一个位移变化范围内像素点的位移大
小与移动方向，对范围内各个像素点进行帧数补充，补充像素点在前帧像素点和后帧像素点的位移向量中，从而有利于确定补充帧像素点在移动方向的位移量
。
[0020]在一个实施例中，根据所述移动速度，设置补帧流程，包括：生成一个空白图像，并确定所述空白图像的插入位置；根据前帧图像中确定一个标记点和一个同位移变化范围，计算标记点的同位移变化范围，得到前后图像帧中所述移动速度；确定同位移变化范围的位移距离，将前帧图像的位移变化范围投影到空白图像的位置上，根据位移距离移动到新的位置上；遍历各个所述同位移变化范围在所述空白图像上的位置第二方面，一种基于混合现实的手术控制系统，包括：处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现任一项所述的基于混合现实的手术控制方法
。
[0021]本申请具有以下效果：
1、
本申请通过对视频流进行补帧处理，有利于降低生成三维模型时长，减少等待具体帧数稳定时间，避免在移动三维模型时视频流帧数降低，以使补帧后的视频流更流畅清晰，减少治疗风险，确保医生可以清晰的观测到手术信息
。
[0022]2、
本申请通过在生成补充帧的过程中，对位移变化范围进行移动时，获得前帧和补充帧的每一个位移变化范围速度比值，并且确保与前后帧中的每一个位移变化范围速度比值一致，有利于补充帧图像中的各个位移变化范围进行了同步位移，从而使视频流更流畅
。
附图说明
[0023]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于混合现实的手术控制方法，其特征在于，包括：获取头部信息，标记头部位置生成多个标记点，对所述头部信息进行三维建模，生成视频流并进行预处理，得到多个灰度图像；构建相邻两帧所述灰度图像中像素点的目标位移向量；计算相邻两帧所述灰度图像的各个像素点的同范围指数值；根据所述同范围指数值，确定相邻两帧灰度图像各个像素点的同位移变化范围；根据所述同位移变化范围，计算前后两帧灰度图像的像素点的移动速度；根据所述移动速度，设置补帧流程
。2.
根据权利要求1所述的一种基于混合现实的手术控制方法，其特征在于，构建相邻两帧所述灰度图像中像素点的目标位移向量中，所述目标位移向量包含：标记点的中心位移向量和非标记点的位移向量
。3.
根据权利要求1所述的一种基于混合现实的手术控制方法，其特征在于，构建相邻的前后两帧灰度图像中，所述标记点的中心位移向量，所述中心位移向量满足下述关系式：其中，表示为像素点中心位移向量，表示为前帧图像标记点的位置，表示为后帧图像标记点的位置；相邻的前后两帧灰度图像中，确定非标记点的位移向量，其中，前帧图像中所述非标记点的像素点位置与后帧图像中所述非标记点的像素点位置一致，确定后帧图像中所述非标记点的像素点位置，得到非标记点的位移向量
。4.
根据权利要求1所述的一种基于混合现实的手术控制方法，其特征在于，计算相邻两帧所述灰度图像的各个像素点的同范围指数值，包括：计算非标记点所述灰度图像的各个像素点的位移向量与所述标记点的中心向量的相似度，其中，相似程度作为同范围指数值；所述同范围指数值满足下述关系式：其中，表示为同范围指数，表示为像素点中心位移向量，表示为像素点邻域内的任意一个像素点1的目标位移向量
。5.
根据权利要求1所述的一种基于混合现实的手术控制方法，其特征在于，所述计算前后两帧灰...

【专利技术属性】
技术研发人员：刘利兵，倪春燕，高敏杰，韩亮，
申请(专利权)人：武汉真彩智造科技有限公司，
类型：发明
国别省市：