面向手术安全保障的禁止区域型三维虚拟夹具生成方法技术

本发明专利技术提供一种面向手术安全保障的禁止区域型三维虚拟夹具生成方法和系统，涉及虚拟夹具技术领域。本发明专利技术中，通过三维仿射变换对所选择的关键点进行初始跟踪；并结合纹理和光流信息实现了体内环境中三维关键点的精确动态定位与追踪；此外，汇总各个关键点的三维坐标，获取三维禁止区域，在三维禁止区域上建立包含斥力与粘滞阻力的虚拟力场，即禁止区域型虚拟夹具，所述禁止区域型虚拟夹具通过力反馈机制精准约束手术器械进入受保护组织。机制精准约束手术器械进入受保护组织。机制精准约束手术器械进入受保护组织。

【技术实现步骤摘要】
面向手术安全保障的禁止区域型三维虚拟夹具生成方法


[0001]本专利技术涉及虚拟夹具
，具体涉及一种面向手术安全保障的禁止区域型三维虚拟夹具生成方法、系统、存储介质和电子设备。

技术介绍

[0002]自主手术机器人远程手术的出现，解决了医疗资源分布不均的问题，通过跟踪三维关键点，进而指导避开工作区中受保护的禁止区域，可以提高远程手术指导的质量和手术机器人自主操作的能力。
[0003]其中，虚拟夹具常以力交互的形式应用于体内手术场景，以解决非周期性运动的手术器械控制问题，如手术过程中器官的保护、目标的引导、避障的约束等，从而保障手术过程的安全精准。
[0004]由于在现有技术中，术前规划的禁止区域不能在术中进行实时更新，得主刀医生对术前规划的禁止区域在手术过程中难以找到对应位置，对术中手术路径发生的偏移无法视觉上直观加以判断，加大了主刀医生操控机器人的难度。这也直接影响了虚拟夹具，尤其是禁止区域型虚拟夹具无法防止手术器械进入工作区的禁止区域。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种面向手术安全保障的禁止区域型三维虚拟夹具生成方法、系统、存储介质和电子设备，解决了无法防止手术器械进入工作区的禁止区域的技术问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种面向手术安全保障的禁止区域型三维虚拟夹具生成方法，包括：
[0010]S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的禁止区域，并获取该禁止区域内所有的第一二维关键点；
[0011]S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域，并确定第一二维关键点在下一帧图像上的初始二维关键点；
[0012]S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
[0013]S4、将第二三维关键点映射回第二局部区域，获取下一帧图像上的第二二维关键点；并结合初始二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点的二维坐标，最终获取对应的三维坐标；并汇总各个关键点的三维坐标，获取三维禁止区域；
[0014]S5、在三维禁止区域上建立禁止区域型虚拟夹具，所述禁止区域型虚拟夹具通过力反馈机制约束手术器械进入受保护组织。
[0015]优选的，所述S5具体包括：
[0016]S51、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维禁止区域上离手术器械末端x
ins
最近的点x
nearest，
以及两点之间的相对距离x
d
；
[0017]S62、建立关于x
ins
的人工避障矢量场：
[0018]定义三维禁止区域上所有点包含在点集V
r
中，求取V
r
的子点集V
p
＝ {v|||x
ins
‑
v||≤||x
ins
‑
x
nearest
||+Δr}，其中Δr为额外考察半径；
[0019][0020]其中，g为x
ins
的人工避障矢量场；g(||x
ins
‑
v||)为人工矢量长度函数，n(v)为由点x
ins
指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(||x
ins
‑
v||)，满足条件足条件card(V
p
)是子集V
p
中元素的个数；
[0021]S63、建立包含斥力与粘滞阻力的虚拟力场：
[0022][0023]其中，F
vf
为虚拟力场；K
vf
为该位置斥力与人工避障矢量的比例系数，D
vf
(x
d
)为阻尼系数，随着最短距离x
d
进行移动；为x
ins
的速度。
[0024]优选的，所述S2包括：
[0025]S21、首先定义第k
‑
1帧图像为其中W表示内窥镜图像的宽度，H表示内窥镜图像的高度；第k帧图像为I(k)；第一二维关键点p(k
‑
1)，其坐标为(u1，v1)；
[0026]以第一二维关键点p(k
‑
1)为第一局部区域的中心p
c
(k
‑
1)，根据预设的区域形状和边长，确定第一局部区域
[0027]S22、采用光流法对图像I(k
‑
1)，I(k)进行特征点的特征匹配，获取图像I(k)上与p
c
(k
‑
1)对应的第二局部区域的中心p
c
(k)，
[0028][0029]其中，表示图像I(k)上的特征点， m表示图像I(k)上特征点的个数；
[0030]S23、根据中心p
c
(k)、以及预设的区域形状和边长，确定第二局部区域
[0031]S24、再次采用光流法直接确定第一二维关键点p(k
‑
1)在下一帧图像上的初始二维关键点p
o
(k)。
[0032]优选的，所述S3包括：
[0033]S31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第
一局部点云和第二局部点云
[0034]S32、确定第一二维关键点p(k
‑
1)在第一局部点云上的第一三维关键点
[0035]P(k
‑
1)＝ψ(p(k
‑
1))
[0036]ψ表示到之间的映射关系，记为之间的映射关系，记为
[0037]S33、利用光流法获取局部区域的特征点对，分别记作X和Y，则X与Y之间存在坐标变换关系：
[0038][0039]其中，是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：
[0040]ω＝([X 1]T
[X 1])
‑1[X 1]T
Y
[0041]则P(k
‑
1)，P(k)之间仿射变换的变换矩阵为：
[0042][0043]其中，0
T
＝(0，0，0)；
[0044]S34、通过对第一三维关键点P(k
‑
1)进行三维仿射变换，矩阵形式为：
[0045]P(k)＝T
A
P(k<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向手术安全保障的禁止区域型三维虚拟夹具生成方法，其特征在于，包括：S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的禁止区域，并获取该禁止区域内所有的第一二维关键点；S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域，并确定第一二维关键点在下一帧图像上的初始二维关键点；S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；S4、将第二三维关键点映射回第二局部区域，获取下一帧图像上的第二二维关键点；并结合初始二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点的二维坐标，最终获取对应的三维坐标；并汇总各个关键点的三维坐标，获取三维禁止区域；S5、在三维禁止区域上建立禁止区域型虚拟夹具，所述禁止区域型虚拟夹具通过力反馈机制约束手术器械进入受保护组织。2.如权利要求1所述的禁止区域型三维虚拟夹具生成方法，其特征在于，所述S5具体包括：S51、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维禁止区域上离手术器械末端x
ins
最近的点x
nearest
，以及两点之间的相对距离x
d
；S62、建立关于x
ins
的人工避障矢量场：定义三维禁止区域上所有点包含在点集V
r
中，求取V
r
的子点集V
p
＝{v|||x
ins
‑
v||≤||x
ins
‑
x
nearest
||+Δr}，其中Δr为额外考察半径；其中，g为x
ins
的人工避障矢量场；g(||x
ins
‑
v||)为人工矢量长度函数，n(v)为由点x
ins
指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(||x
ins
‑
v||)，满足条件件card(V
p
)是子集V
p
中元素的个数；S63、建立包含斥力与粘滞阻力的虚拟力场：其中，F
vf
为虚拟力场；K
vf
为该位置斥力与人工避障矢量的比例系数，D
vf
(x
d
)为阻尼系数，随着最短距离x
d
进行移动；为x
ins
的速度。3.如权利要求1或者2所述的禁止区域型三维虚拟夹具生成方法，其特征在于，所述S2包括：S21、首先定义第k
‑
1帧图像为其中W表示内窥镜图像的宽度，H表示内窥镜图像的高度；第k帧图像为I(k)；第一二维关键点p(k
‑
1)，其坐标为(u1，v1)；以第一二维关键点p(k
‑
1)为第一局部区域的中心p
c
(k
‑
1)，根据预设的区域形状和边长，确定第一局部区域S22、采用光流法对图像I(k
‑
1)，I(k)进行特征点的特征匹配，获取图像I(k)上与p
c
(k
‑
1)对应的第二局部区域的中心p
c
(k)，其中，表示图像I(k)上的特征点，m表示图像I(k)上特征点的个数；S23、根据中心p
c
(k)、以及预设的区域形状和边长，确定第二局部区域S24、再次采用光流法直接确定第一二维关键点p(k
‑
1)在下一帧图像上的初始二维关键点p
o
(k)。4.如权利要求3所述的禁止区域型三维虚拟夹具生成方法，其特征在于，所述S3包括：S31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云和第二局部点云S32、确定第一二维关键点p(k
‑
1)在第一局部点云上的第一三维关键点P(k
‑
1)＝ψ(p(k
‑
1))ψ表示到之间的映射关系，记为之间的映射关系，记为S...

【专利技术属性】
技术研发人员：唐华，方进，吴霄钰，林爱婷，李霄剑，辛宁，李玲，杨善林，欧阳波，肖夕林，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：