面向动态手术路径引导的引导型三维虚拟夹具生成方法技术

本发明专利技术提供一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，涉及虚拟夹具技术领域。本发明专利技术中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。精准引导手术器械的移动轨迹。精准引导手术器械的移动轨迹。

【技术实现步骤摘要】
面向动态手术路径引导的引导型三维虚拟夹具生成方法


[0001]本专利技术涉及虚拟夹具
，具体涉及一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备。

技术介绍

[0002]自主手术机器人远程手术的出现，解决了医疗资源分布不均的问题，通过跟踪三维关键点，进而跟踪手术路径，可以提高远程手术指导的质量和手术机器人自主操作的能力。
[0003]其中，虚拟夹具常以力交互的形式应用于体内手术场景，以解决非周期性运动的手术器械控制问题，如手术过程中器官的保护、目标的引导、避障的约束等，从而保障手术过程的安全精准。
[0004]由于现有技术中，术前规划的手术路径不能在术中进行实时更新，使得主刀医生对术前规划的手术路径在手术过程中难以找到对应位置，对术中手术路径发生的偏移无法视觉上直观加以判断，加大了主刀医生操控机器人的难度。这也直接影响了虚拟夹具，尤其是引导型虚拟夹具无法实现对手术三维路径的精准引导。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，解决了无法实现对手术三维路径的精准引导的技术问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，包括：
[0010]S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
[0011]S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
[0012]S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
[0013]S4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
[0014]将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
[0015]根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪
得到的关键点在二维点云上的二维坐标；
[0016]S5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
[0017]S6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
[0018]优选的，所述S6具体包括：
[0019]S61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维曲线上离手术器械末端p
ins
最近的点p
nearest
，以及两点之间的相对距离x
d
；
[0020]S62、建立关于p
ins
的人工矢量场：
[0021]定义三维曲线上所有点包含在点集V
r
中，求取V
r
的子点集V
p
＝{v|||p
ins
‑
v||≤||p
ins
‑
p
nearest
||+Δr}，其中Δr为额外考察半径；
[0022][0023]其中，g为p
ins
的人工矢量场；g(||p
ins
‑
v||)为人工矢量长度函数，n(p
ins
，v)为由点p
ins
指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(||p
ins
‑
v||)，满足条件足条件card(V
p
)是子集V
p
中元素的个数；
[0024]S63、建立包含引力与粘滞阻力的虚拟力场：
[0025][0026]其中，F
vf
为虚拟力场；K
vf
为该位置引力与人工矢量的比例系数，D
vf
(x
d
)为阻尼系数，随着最短距离x
d
进行移动；为p
ins
的速度。
[0027]优选的，所述S2包括
[0028]S21、首先定义第k
‑
1帧图像为其中W表示内窥镜图像的宽度，H表示内窥镜图像的高度；第k帧图像为I(k)；若干第一二维关键点
[0029]分别确定所有第一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值，选取各轴上中值的位置作为p
c
(k
‑
1)＝(u1，v1)∈R2，根据预设的区域形状和边长，确定第一局部区域
[0030]S22、采用光流法对图像I(k
‑
1)，I(k)进行特征点的特征匹配，获取图像I(k)上与p
c
(k
‑
1)对应的第二局部区域的中心p
c
(k)，
[0031][0032]其中，表示图像I(k)上的特征点，m表示图像I(k)上特征点的个数；
[0033]S23、根据中心p
c
(k)、以及预设的区域形状和边长，确定第二局部区域
[0034]优选的，所述S3包括：
[0035]S31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云和第二局部点云
[0036]S32、确定第一二维关键点在第一局部点云上的第一三维关键点键点
[0037]P
i
(k
‑
1)＝ψ(p
i
(k
‑
1))
[0038]ψ表示到之间的映射关系，记为之间的映射关系，记为
[0039]S33、利用光流法获取局部区域的特征点对，分别记作X和Y，则X与Y之间存在坐标变换关系：
[0040][0041]其中，是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：
[0042]ω＝([X 1]T
[X 1])
‑1[X 1]T
Y
[0043]则之间仿射变换的变换矩阵为：
[0044][0045]其中，0
T
＝(0，0，0)；
[0046]S34、通过对第一三维关键点进行三维仿射变换，在第二局部点云上搜索最近的点，获取第二三维关键点的初始位置，
[0047][0048]优选的，所述S31中对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，其特征在于，包括：S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；S4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；S5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；S6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。2.如权利要求1所述的引导型三维虚拟夹具生成方法，其特征在于，所述S6具体包括：S61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维曲线上离手术器械末端p
ins
最近的点p
nearest
，以及两点之间的相对距离x
d
；S62、建立关于p
ins
的人工矢量场：定义三维曲线上所有点包含在点集V
r
中，求取V
r
的子点集V
p
＝{v|‖p
ins
‑
v‖≤‖p
ins
‑
p
nearest
‖+Δr}，其中Δr为额外考察半径；其中，g为p
ins
的人工矢量场；g(‖p
ins
‑
v‖)为人工矢量长度函数，n(p
ins
,v)为由点p
ins
指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(‖p
ins
‑
v‖)，满足条件v‖)，满足条件card(V
p
)是子集V
p
中元素的个数；S63、建立包含引力与粘滞阻力的虚拟力场：其中，F
vf
为虚拟力场；K
vf
为该位置引力与人工矢量的比例系数，D
vf
(x
d
)为阻尼系数，随着最短距离x
d
进行移动；为p
ins
的速度。3.如权利要求1或者2所述的引导型三维虚拟夹具生成方法，其特征在于，所述S2包括S21、首先定义第k
‑
1帧图像为其中W表示内窥镜图像的宽度，H
表示内窥镜图像的高度；第k帧图像为I(k)；若干第一二维关键点分别确定所有第一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值，选取各轴上中值的位置作为p
c
(k
‑
1)＝(u1,v1)∈R2，根据预设的区域形状和边长，确定第一局部区域S22、采用光流法对图像I(k
‑
1),I(k)进行特征点的特征匹配，获取图像I(k)上与p
c
(k
‑
1)对应的第二局部区域的中心p
c
(k)，其中，表示图像I(k)上的特征点，m表示图像I(k)上特征点的个数；S23、根据中心p
c
(k)、以及预设的区域形状和边长，确定第二局部区域4.如权利要求3所述的引导型三维虚拟夹具生成方法，其特征在于，所述S3包括：S31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云和第二局部点云S32、确定第一二维关键点在第一局部点云上的第一三维关键点上的第一三维关键点P
i
(k
‑
1)＝ψ(p
i
(k
‑
1))ψ表示到之间的映射关系,记为之间的映射关系,记为S33、利用光流法获取局部区域的特征点对，分别记作X和Y，则X与Y之间存在坐标变换关系：其中，是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：ω＝([X 1]
T
[X 1])
‑1[X 1]
T
Y则之间仿射变换的变换矩阵为：其中，0
T

【专利技术属性】
技术研发人员：毕良宽，方进，李霄剑，丁帅，杨善林，肖夕林，李玲，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：