双机械臂超声引导自动穿刺手术机器人及方法技术

本发明专利技术公开一种双机械臂超声引导自动穿刺手术机器人及方法，机器人包括具有多个自由度的第一机械臂和第二机械臂，和连接于第一机械臂的执行端的超声探头、连接于第二机械臂的执行端的穿刺器械，还包括位置跟踪系统、图像工作站；超声探头通过超声机将采集到的超声图像传输至图像工作站，位置跟踪系统用于采集位置信息并传输到图像工作站；图像工作站用于控制第一机械臂实时调整超声探头位姿，以及控制第二机械臂来调整穿刺器械的姿态以对手术目标进行自动穿刺。本发明专利技术通过结合超声成像技术、机器人技术和人工智能，将深度学习方法引入手术机器人中，能对手术目标和手术器械进行实时检测、定位和跟踪，并通过两个机械臂提高穿刺手术的精度。穿刺手术的精度。穿刺手术的精度。

【技术实现步骤摘要】
双机械臂超声引导自动穿刺手术机器人及方法


[0001]本专利技术涉及医疗器械
，尤其涉及一种双机械臂超声引导自动穿刺手术机器人及方法。

技术介绍

[0002]目前，由于微创手术方式的创伤小、疼痛轻、手术并发症少、恢复快等特点，在活检、介入治疗等临床领域越来越得到广泛的认可和应用。超声引导下的穿刺手术(活检穿刺、消融穿刺等)在临床中被广泛应用。传统的术前穿刺手术，由于对病灶的位姿信息估计不足和人体的体动等干扰，术中高度依赖于术者临床经验和手术技能，导致穿刺操作稳定性和精度不高，影响手术成功率。

技术实现思路

[0003]本专利技术的目的在于提供一种双机械臂超声引导自动穿刺手术机器人及方法，旨在克服上述现有技术的缺陷。
[0004]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0005]根据本专利技术的一方面，公开一种双机械臂超声引导自动穿刺手术机器人，所述机器人包括具有多个自由度的第一机械臂和第二机械臂，和连接于所述第一机械臂的执行端的超声探头、连接于所述第二机械臂的执行端的穿刺器械，还包括位置跟踪系统、图像工作站；所述超声探头通过超声机将采集到的超声图像传输至所述图像工作站，所述位置跟踪系统用于采集所述超声探头、所述穿刺器械、所述第一机械臂和所述第二机械臂的位置信息并传输到所述图像工作站；所述图像工作站用于根据实时的所述位置信息和所述超声图像，控制所述第一机械臂实时调整所述超声探头位姿，以及通过计算所述穿刺器械和所述超声图像中的手术目标的位置和姿态差异，控制所述第二机械臂来调整所述穿刺器械的姿态以对手术目标进行自动穿刺。
[0006]进一步的，所述机器人还包括机械臂控制系统，所述机械臂控制系统用于根据所述图像工作站对所述位置信息、所述超声图像的计算结果，执行对所述第一机械臂和所述第二机械臂的驱动。
[0007]进一步的，所述机器人还包括GPU加速器，所述图像工作站与所述GPU加速器、所述机械臂控制系统、所述超声机和所述位置跟踪系统以有线/和无线方式建立数据连接。
[0008]进一步的，所述GPU加速器用于加速所述图像工作站对所述超声图像的处理，其内置或外置于所述图像工作站。
[0009]进一步的，所述穿刺器械为一件或多件，一件或多件所述穿刺器械和所述超声探头上设置有可被所述位置跟踪系统识别的跟踪器。
[0010]进一步的，所述位置跟踪系统基于光学、电磁、超声或者机械定位方法中的一种或多种以对所述跟踪器进行识别。
[0011]进一步的，所述穿刺器械为穿刺针、注射器、输液器中的一种。
[0012]进一步的，所述图像工作站通过图像采集卡采集所述超声机的所述超声图像。
[0013]根据本公开的第二方面，提供一种双机械臂超声引导自动穿刺手术方法，应用于如上述的机器人，所述方法包括：对所述穿刺器械和所述超声探头标定，分别获得所述穿刺器械和所述超声探头的标定矩阵；基于所述标定矩阵，将所述超声探头扫描的所述超声图像及所述穿刺器械的三维模型在所述图像工作站中显示；设定所述第一机械臂和所述第二机械臂的初始位置，并规划所述穿刺器械的手术路径；驱使所述第一机械臂带动所述超声探头围绕着手术目标进行超声扫描，并传输包含有手术目标的多个所述超声图像至所述图像工作站；基于深度学习算法，对所述超声图像中的手术目标进行实时跟踪，并标记出手术目标的中心；在所述第二机械臂带动所述穿刺器械沿着所述手术路径移动时，实时计算出所述穿刺器械与手术目标的相对位置关系，基于所述相对位置关系，驱使所述第二机械臂实时调整所述穿刺器械的位置和角度后对标记的手术目标的中心进行穿刺。
[0014]进一步的，所述基于深度学习算法，对所述超声图像中的手术目标进行实时跟踪，并标记出手术目标的中心，包括：输入当前采集到的所述超声图像，并冻结；标识要跟踪的手术目标，将所述超声图像输入到经过预学习的2D超声标志点追踪网络中；采集被标记上标志点的所述超声图像，并输入到当前的目标追踪网络中，追踪得到手术目标的中心；判断追踪是否结束，若没有，则继续采集所述超声图像，并追踪手术目标，若结束，则停止目标追踪。
[0015]进一步的，所述实时计算出所述穿刺器械与手术目标的相对位置关系，包括：计算当前帧的所述超声图像的平面方程的法线，基于目标追踪算法，跟踪穿刺靶点并计算其三维坐标，记录当前帧的所述超声图像的平面方程以及当中的所述穿刺靶点的三维坐标；调用前一帧所述超声图像的平面方程以及的其中的所述穿刺靶点的三维坐标，分别计算当前帧的所述穿刺靶点到前一帧的所述穿刺靶点的第一距离，计算当前帧的所述穿刺靶点到前一帧的所述法线的第二距离，计算当前帧与前一帧法线的偏差，通过所述第一距离、所述第二距离和所述偏差，调整当前手术目标的三维空间位置并转递给所述图像工作站.
[0016]进一步的，所述穿刺器械在穿刺时，包括：实时给出所述位置跟踪系统识别标定下计算出的所述穿刺器械的针尖位置；驱使所述第二机械臂移动所述超声探头以超声扫所述穿刺器械的针尖位置的区域，搜索所述穿刺器械的针尖；基于超声图像目标跟踪算法，跟踪所述穿刺器械的针尖位置；计算所述穿刺器械的针尖位置的偏差，在所述偏差大于阈值时，调整所述第二机械臂的姿态。
[0017]本公开的技术方案具有以下有益效果：
[0018]通过结合超声成像技术、机器人技术和人工智能等特点，将深度学习方法引入基于超声图像引导的手术机器人中，能够自主采集数据，并通过空间坐标配准和在线超声图像处理，术中能对手术目标和手术器械进行实时检测、定位和跟踪，并通过两个机械臂的稳定支持，从而提高穿刺手术的精度。
附图说明
[0019]图1为本说明书实施例中的一种双机械臂超声引导自动穿刺手术机械人的结构框图；
[0020]图2为本说明书实施例中的一种固定有光学方式跟踪器的超声探头的结构示意图；
[0021]图3为本说明书实施例中的穿刺手术方法流程图；
[0022]图4为本说明书实施例中的对超声图像中的手术目标进行实时跟踪的方法流程图；
[0023]图5为本说明书实施例中的实时计算出穿刺器械与手术目标的相对位置关系的方法流程图；
[0024]图6为本说明书实施例中的穿刺器械位置识别方法流程图。
具体实施方式
[0025]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]参照图1，本实施例提供一种双机械臂超声引导自动穿刺手术机器人，所述机器人包括具有多个自由度的第一机械臂101和第二机械臂102，和连接于所述第一机械臂101的执行端的超声探头103、连接于所述第二机械臂102的执行端的穿刺器械104，还包括位置跟踪系统105、图像工作站106；所述超声探头103通过超声机107将采集到的超声图像传输至所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双机械臂超声引导自动穿刺手术机器人，其特征在于，所述机器人包括具有多个自由度的第一机械臂和第二机械臂，和连接于所述第一机械臂的执行端的超声探头、连接于所述第二机械臂的执行端的穿刺器械，还包括位置跟踪系统、图像工作站；所述超声探头通过超声机将采集到的超声图像传输至所述图像工作站，所述位置跟踪系统用于采集所述超声探头、所述穿刺器械、所述第一机械臂和所述第二机械臂的位置信息并传输到所述图像工作站；所述图像工作站用于根据实时的所述位置信息和所述超声图像，控制所述第一机械臂实时调整所述超声探头位姿，以及通过计算所述穿刺器械和所述超声图像中的手术目标的位置和姿态差异，控制所述第二机械臂来调整所述穿刺器械的姿态以对手术目标进行自动穿刺。2.根据权利要求1所述的一种双机械臂超声引导自动穿刺手术机器人，其特征在于，所述机器人还包括机械臂控制系统，所述机械臂控制系统用于根据所述图像工作站对所述位置信息、所述超声图像的计算结果，执行对所述第一机械臂和所述第二机械臂的驱动。3.根据权利要求2所述的一种双机械臂超声引导自动穿刺手术机器人，其特征在于，所述机器人还包括GPU加速器，所述图像工作站与所述GPU加速器、所述机械臂控制系统、所述超声机和所述位置跟踪系统以有线/和无线方式建立数据连接。4.根据权利要求3所述的一种双机械臂超声引导自动穿刺手术机器人，其特征在于，所述GPU加速器用于加速所述图像工作站对所述超声图像的处理，其内置或外置于所述图像工作站。5.根据权利要求1所述的一种双机械臂超声引导自动穿刺手术机器人，其特征在于，所述穿刺器械为一件或多件，一件或多件所述穿刺器械和所述超声探头上设置有可被所述位置跟踪系统识别的跟踪器，所述位置跟踪系统基于光学、电磁、超声或者机械定位方法中的一种或多种以对所述跟踪器进行识别。6.根据权利要求1所述的一种双机械臂超声引导自动穿刺手术机器人，其特征在于，所述图像工作站通过图像采集卡采集所述超声机的所述超声图像。7.一种双机械臂超声引导自动穿刺手术方法，其特征在于，应用于如权利要求1
‑
6任一项所述的机器人，所述方法包括：对所述穿刺器械和所述超声探头标定，分别获得所述穿刺器械和所述超声探头的标定矩阵；基于所述标定矩阵，将所述超声探头扫描的所述超声图像及所述穿刺器械的三维模型在所述图像工作站中...

【专利技术属性】
技术研发人员：鞠艳波，
申请(专利权)人：深圳市纬思精准科技有限公司，
类型：发明
国别省市：