一种语音控制的腹腔镜运镜方法及系统技术方案

本发明专利技术公开一种语音控制的腹腔镜运镜方法及系统，该方法包括：通过图像识别将腹腔镜当前接收的手术场景分为远景场景和近景场景，同时接受用户输入的语音信号，将语音信号转换为模拟信号，并对所述模拟信号进行滤波处理；获取载有所述腹腔镜的机器人的关节运动数据，设置机器人关节控制模型，结合滤波处理后的所述模拟信号，对机器人的关节进行语音控制，从而完成所述腹腔镜运镜，其中，所述机器人关节控制模型还包括机器人运动状态的启停函数，用于分辨机器人处于启动状态还是停止状态

【技术实现步骤摘要】
一种语音控制的腹腔镜运镜方法及系统


[0001]本专利技术属于腹腔镜运镜
，更具体地，涉及一种语音控制的腹腔镜运镜方法及系统
。

技术介绍

[0002]腹腔微创手术具有对病人创伤小
、
病人恢复时间短等优势，在手术中已经大规模普及
。
腹腔微创手术需要在患者腹部打几个小孔，腹腔镜和手术器械从小孔中深入到患处附近，医生在体外进行操作，完成手术
。
传统腹腔镜微创手术过程中，主刀医生常需要一位持镜助手完成运镜操作以协助手术进行，持镜助手根据手术的需要移动腹腔镜镜头，及时调整镜头的角度
、
位置以及距离，为主刀医生提供一个良好的视野
。
持镜助手的操作直接影响主刀医生的观察
、
操作以及手术进度与手术效果
。
但在实际手术过程中，存在有以下几点问题：
[0003]1.
持镜助手不能充分领会主刀医生的意图，会延长手术时间甚至导致手术事故
。
[0004]2.
一般手术过程长达数小时，持镜助手在长时间运镜操作后因疲劳影响可能会造成手术失误
。
[0005]3.
培养优秀的持镜助手需要长时间的实际手术经验，医院的培养成本高
。
[0006]为了解决上述问题，
Miyyal
专利技术了一个机器人相机支架
Free Hand
，该支架使用了一种基于红外技术的无线脚踏板和头部运动控制系统，可以使手术人员在不用手动控制相机的情况下，保持相机的稳定性和准确性，从而提高手术效率
。Grorge
则开发了一个用于跟踪眼球运动的高分辨率追踪系统，该系统可以通过跟踪外科医生的眼睛注释来控制腹腔镜的移动，从而实现更准确和高效的手术操作
。King
设计了一种基于计算机视觉的机器人运镜技术，通过跟踪颜色标记来实现腹腔镜的自助控制，无需人工干预
。
[0007]但
Free Hand
需要额外的设备和培训，使其使用成本相对较高，并且
Free Hand
的操控方式也需要一定的学习和适应时间
。
而
Grorge
技术的表现容易受到其他因素的干扰，如手术场景光线变化或手术人员的身体状况等
。King
的方法易仍然受到手术环境的干扰，在一些复杂手术中可能无法满足手术人员的需求
。

技术实现思路

[0008]为解决以上技术问题，本专利技术提出一种语音控制的腹腔镜运镜方法，包括：
[0009]通过图像识别将腹腔镜当前接收的手术场景分为远景场景和近景场景，同时接受用户输入的语音信号，将语音信号转换为模拟信号，并对所述模拟信号进行滤波处理；
[0010]获取载有所述腹腔镜的机器人的关节运动数据，设置机器人关节控制模型，结合滤波处理后的所述模拟信号，对机器人的关节进行语音控制，从而完成所述腹腔镜运镜，其中，所述机器人关节控制模型还包括机器人运动状态的启停函数，用于分辨机器人处于启动状态还是停止状态
。
[0011]进一步的，所述机器人关节控制模型为：
[0012][0013][0014]其中，为最终机器人关节角速度，
y(s)
为机器人运动状态的启停函数，用于分辨机器人处于启动状态还是停止状态，为机器人的雅可比矩阵的伪逆，
q
为机器人关节角度，
s
为输入的语音信号，
G(s)
为滤波函数，
ε
为设定的触发阈值，为机器人在
RCM
坐标系和世界坐标系之间的转换矩阵，
r
V
i
为机器人在
RCM
坐标系下
i
方向的速度，
r
为
RCM
坐标系，
w
为世界坐标系，
x、y
和
z
表示坐标系的
x
轴
、y
轴和
z
轴
。
[0015]进一步的，还包括对所述机器人关节控制模型进行优化，优化后的所述机器人关节控制模型为：
[0016][0017]其中，为机器人在无关节限制时的角速度，
C(q)
为机器人关节空间矩阵
。
[0018]进一步的，所述机器人关节空间矩阵
C(q)
具体为：
[0019]C(q)
＝
M(q)
·
r
V
i
+N(q,
r
V
i
)+G(q)
[0020]其中，
M(q)
为机器人的质量矩阵，表示机器人关节空间中的惯性和质量分布，
N(q,
r
V
i
)
为角度
‑
速度效应矩阵，表示由于关节角度和关节速度的变化而引起的非线性效应，
G(q)
为力矩矩阵，表示由于机器人关节的重力而引起的力矩
。
[0021]进一步的，还包括：
[0022]通过递归牛顿
‑
欧拉方法计算机器人的质量矩阵
M(q)、
角度
‑
速度效应矩阵
N(q,
r
V
i
)
和力矩矩阵
G(q)。
[0023]本专利技术还提出一种语音控制的腹腔镜运镜系统，包括：
[0024]信号处理模块，用于通过图像识别将腹腔镜当前接收的手术场景分为远景场景和近景场景，同时接受用户输入的语音信号，将语音信号转换为模拟信号，并对所述模拟信号进行滤波处理；
[0025]控制模块，用于获取载有所述腹腔镜的机器人的关节运动数据，设置机器人关节控制模型，结合滤波处理后的所述模拟信号，对机器人的关节进行语音控制，从而完成所述腹腔镜运镜，其中，所述机器人关节控制模型还包括机器人运动状态的启停函数，用于分辨机器人处于启动状态还是停止状态
。
[0026]进一步的，所述机器人关节控制模型为：
[0027][0028][0029]其中，为最终机器人关节角速度，
y(s)
为机器人运动状态的启停函数，用于分辨机器人处于启动状态还是停止状态，为机器人的雅可比矩阵的伪逆，
q
为机器人关节角度，
s
为输入的语音信号，
G(s)
为滤波函数，
ε
为设定的触发阈值，为机器人在
RCM
坐标系和世界坐标系之间的转换矩阵，
r
V
i
为机器人在
RCM
坐标系下
i
方向的速度，
r
为
RCM
坐标系，...

【技术保护点】

【技术特征摘要】
1.
一种语音控制的腹腔镜运镜方法，其特征在于，包括：通过图像识别将腹腔镜当前接收的手术场景分为远景场景和近景场景，同时接受用户输入的语音信号，将语音信号转换为模拟信号，并对所述模拟信号进行滤波处理；获取载有所述腹腔镜的机器人的关节运动数据，设置机器人关节控制模型，结合滤波处理后的所述模拟信号，对机器人的关节进行语音控制，从而完成所述腹腔镜运镜，其中，所述机器人关节控制模型还包括机器人运动状态的启停函数，用于分辨机器人处于启动状态还是停止状态
。2.
如权利要求1所述的一种语音控制的腹腔镜运镜方法，其特征在于，所述机器人关节控制模型为：控制模型为：其中，为最终机器人关节角速度，
y(s)
为机器人运动状态的启停函数，用于分辨机器人处于启动状态还是停止状态，为机器人的雅可比矩阵的伪逆，
q
为机器人关节角度，
s
为输入的语音信号，
G(s)
为滤波函数，
ε
为设定的触发阈值，为机器人在
RCM
坐标系和世界坐标系之间的转换矩阵，
r
V
i
为机器人在
RCM
坐标系下
i
方向的速度，
r
为
RCM
坐标系，
w
为世界坐标系，
x、y
和
z
表示坐标系的
x
轴
、y
轴和
z
轴
。3.
如权利要求2所述的一种语音控制的腹腔镜运镜方法，其特征在于，还包括对所述机器人关节控制模型进行优化，优化后的所述机器人关节控制模型为：其中，为机器人在无关节限制时的角速度，
C(q)
为机器人关节空间矩阵
。4.
如权利要求3所述的一种语音控制的腹腔镜运镜方法，其特征在于，所述机器人关节空间矩阵
C(q)
具体为：
C(q)
＝
M(q)
·
r
V
i
+N(q,
r
V
i
)+G(q)
其中，
M(q)
为机器人的质量矩阵，表示机器人关节空间中的惯性和质量分布，
N(q,
r
V
i
)
为角度
‑
速度效应矩阵，表示由于关节角度和关节速度的变化而引起的非线性效应，
G(q)
为力矩矩阵，表示由于机器人关节的重力而引起的力矩
。5.
如权利要求4所述的一种语音控制的腹腔镜运镜方法，其特征在于，还包括：通过递归牛顿
‑
欧拉方法计算机器人的质量矩阵
M(q)、
角度
‑
速度效应矩阵
N(q,
r
V
i
)
和力矩矩阵
G(q)。6.
一种语音控制...

【专利技术属性】
技术研发人员：赵欢，汪一苇，蔡雄，周松，辜嘉宇，杨司航，万赤丹，丁汉，
申请(专利权)人：华中科技大学同济医学院附属协和医院，
类型：发明
国别省市：