一种内窥镜视野自主控制方法、系统及介质技术方案

本发明专利技术公开了一种内窥镜视野自主控制方法、系统及介质，方法包括：获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；一方面，基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；另一方面，基于真实绳长建立绳索

【技术实现步骤摘要】
一种内窥镜视野自主控制方法、系统及介质


[0001]本专利技术涉及手术辅助控制
，尤其涉及一种内窥镜视野自主控制方法、系统及介质。

技术介绍

[0002]随着微创手术的普及和机器人技术应用的推广，针对腔镜手术机器人的研究变得很活跃。不同于主从控制式系统，辅助持镜机器人与主刀医生的协同操作具有更高的可靠性，而且辅助持镜机器人的研发成本远小于主从控制式系统。在腹腔镜手术中，智能辅助持镜机器人具有响应快、稳定性强及精度高等优势，能够辅助外科医生进行手术视野的智能调整。智能辅助持镜机器人通过视觉反馈实现手术器械尖端的快速定位，进而自主地调整手术视野，辅助外科医生完成手术操作，具有重要的研究意义和巨大的市场需求。然而，传统的伺服控制方法大多基于主从式腔镜机器人，不仅优化目标单一，而且缺少内窥镜姿态的控制和视觉反馈质量的评估及优化。

技术实现思路

[0003]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种内窥镜视野自主控制方法、系统及介质，能够实现器械尖端快速、准确及有效的跟踪，降低手眼不协调，提高图像清晰度以及智能视野调整的安全性和稳定性。
[0004]为实现上述目的，本专利技术提供了一种内窥镜视野自主控制方法，包括：
[0005]获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；
[0006]基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；基于真实绳长建立绳索
‑
末端运动学模型和位置级RCM约束方程；
[0007]建立手术视野调整的优化模型；
[0008]利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
[0009]建立速度级RCM约束方程和末端
‑
绳索逆运动学模型，解算得到绳索长度，对持镜机器人进行运动控制。
[0010]进一步的，所述对手术器械尖端进行分割和定位包括：
[0011](1)提取ROI图像；
[0012](2)将ROI图像转换为器械尖端的灰度图像；
[0013](3)对灰度图像进行中值滤波，进而得到滤波后的图像；
[0014](4)将滤波后的图像转换为器械尖端的二值图像；
[0015](5)提取二值图像中器械尖端的的轮廓；
[0016](6)筛选二值图像中器械尖端的的轮廓；
[0017](7)计算器械尖端的重心；
[0018](8)计算系统跟踪点。
[0019]进一步的，所述建立手术视野调整的优化模型包括：器械尖端图像特征的跟踪模
型、方向误差的手眼协调模型、图像清晰度的优化模型、位置级和速度级的安全约束模型。
[0020]进一步的，所述器械尖端图像特征的跟踪模型具体为：
[0021][0022]式中，
[0023][0024][0025][0026]其中，t代表时间，f
u
、f
v
、u0及v0表示内窥镜摄像头的内参；u
tips
,v
tips
分别代表器械末端的像素坐标；K
p
是常对角矩阵；s
des
,s
tips
分别代表期望的跟踪点和实际器械末端跟踪点的像素坐标；K
p,track
和K
d,track
都是正常数，分别t时刻和t
‑
1时刻实际器械末端跟踪点s
tips
和期望跟踪点s
des
之间的像素距离；(J
lap
)
#
为J
lap
的伪逆。
[0027]进一步的，所述方向误差的手眼协调模型具体为：
[0028][0029]其中，β
k
(k＝t,t
‑
1)表示方向误差：
[0030]β＝atan 2[
‑
lap
A0(2,2),
‑
lap
A0(1,2)]ꢀꢀꢀ
(6)
[0031]式中K
p,coor
和K
d,coor
都是正常数，
lap
A0(2,2),
lap
A0(1,2)分别表示矩阵
lap
A0第二行第二列和第一行第二列的元素。
[0032]进一步的，所述图像清晰度的优化模型，具体为：
[0033][0034][0035]其中，
con
A
lap
为内窥镜连接件到内窥镜摄像头的旋转矩阵；分别为t
‑
1时刻和t时刻的图像清晰度；内窥镜摄像头跟踪器械尖端在t
‑
1时刻z方向的线速度；为的符号函数，它具有性质：当时，当时，当时，表示图像清晰度的变化率；η0表示最小容忍变化率，K
def
为正常数，此外g(η
q
)还满足以下性质：
[0036]当η
q
＜0时，g(η
q
)＜0；当η
q
＝0时，g(η
q
)＝0；当η
q
＞0时，g(η
q
)＞0；
[0037]当η
q
≠0时，|η
q
|越大，g(η
q
)越小。
[0038]进一步的，所述位置级和速度级的安全约束模型具体为：
[0039][0040][0041]其中，分别表示t
‑
1时刻和t时刻器械实际的置入距离；d
in,d
表示期望的置入距离；K
p,safe
和K
d,safe
都是正常数。
[0042]本专利技术还提供一种内窥镜视野自主控制系统，包括：反馈数据接收模块、图像预处理模块、运动学与RCM约束建模模块、手术视野智能调整模块及运动控制模块，其中：
[0043]反馈数据接收模块，用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度；
[0044]图像预处理模块，用于计算图像清晰度和对手术器械尖端进行分割与定位；
[0045]运动学与RCM约束建模模块，用于建立绳驱柔性臂主动绳索空间到操作空间运动学模型和位置级RCM约束方程；
[0046]手术视野智能调整模块，用于建立手术视野调整的优化模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
[0047]运动控制模块，用于建立速度级RCM约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
[0048]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
[0049]本专利技术的有益效果是：
[0050](1)本专利技术建立本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜视野自主控制方法，其特征在于，包括：获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；基于真实绳长建立绳索
‑
末端运动学模型和位置级RCM约束方程；建立手术视野调整的优化模型；利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；建立速度级RCM约束方程和末端
‑
绳索逆运动学模型，解算得到绳索长度，对持镜机器人进行运动控制。2.如权利要求1所述的一种内窥镜视野自主控制方法，其特征在于，所述对手术器械尖端进行分割和定位包括：(1)提取ROI图像；(2)将ROI图像转换为器械尖端的灰度图像；(3)对灰度图像进行中值滤波，进而得到滤波后的图像；(4)将滤波后的图像转换为器械尖端的二值图像；(5)提取二值图像中器械尖端的的轮廓；(6)筛选二值图像中器械尖端的的轮廓；(7)计算器械尖端的重心；(8)计算系统跟踪点。3.如权利要求1所述的一种内窥镜视野自主控制方法，其特征在于，所述建立手术视野调整的优化模型包括：器械尖端图像特征的跟踪模型、方向误差的手眼协调模型、图像清晰度的优化模型、位置级和速度级的安全约束模型。4.如权利要求3所述的一种内窥镜视野自主控制方法，其特征在于，所述器械尖端图像特征的跟踪模型具体为：式中，式中，式中，其中，t代表时间，f
u
、f
v
、u0及v0表示内窥镜摄像头的内参；u
tips
,v
tips
分别代表器械末端的像素坐标；K
p
是常对角矩阵；s
des
,s
tips
分别代表期望的跟踪点和实际器械末端跟踪点的像素坐标；K
p,track
和K
d,track
都是正常数，分别t时刻和t
‑
1时刻实际器械末端跟踪点s
tips
和期望跟踪点s
des
之间的像素距离；(J
lap
)
#
为J
lap
的伪逆。5.如权利要求3所述的一种内窥镜视野自主控制方法，其特征在于，所述方向误差的手眼协调模型具体为：
其中，β
k
(k＝t,t
‑
1)表示方向误差：β
k
＝atan2[
‑
lap
A0(2,2),
‑
lap
A0(1,2)]
ꢀꢀꢀꢀꢀꢀ
(6)式中K
...

【专利技术属性】
技术研发人员：彭键清，张弛，
申请(专利权)人：中山大学，
类型：发明
国别省市：