一种手术器械定位方法、系统及存储介质技术方案

本发明专利技术提供一种手术器械定位方法、系统及存储介质，所述方法包括：在对应于不同拍摄点的两张拍摄图像中分别确定关节点区域；综合所述关节点区域计算手术器械相较于拍摄点的深度距离；结合所述关节点区域和深度距离确定所述手术器械的空间位姿。基于上述方法，无需针对手术器械设置额外的定位装置，保证了实际应用中的便捷性和普适性。此外，基于双目图像分析能够快速准确地对手术器械相较于观测点的距离进行确定，结合拍摄图像中识别到的平面位置，保证了准确有效地对手术器械空间位姿进行确定，有利于实际手术过程中的应用。有利于实际手术过程中的应用。有利于实际手术过程中的应用。

【技术实现步骤摘要】
一种手术器械定位方法、系统及存储介质


[0001]本专利技术涉及图像处理
，特别涉及一种手术器械定位方法、系统及存储介质。

技术介绍

[0002]腹腔镜手术是一种新兴的手术方式，在患者的手术部位的体表做若干个小切口后，通过这些小切口将腹腔镜和手术器械送入患者体内。腹腔镜上所设置的微型摄像头获取手术部位和手术器械的图像后，将该图像展示在外部的显示设备上，供医生观察并执行具体的手术过程。
[0003]在实际手术过程中，由于手术器械是在三维空间中进行移动和操作，为了保证手术的正常进行，需要对手术器械的位姿进行确定。而所展示的对应于手术器械的图像一般为二维图像，一般还需要额外的处理过程来根据图像确定手术器械的三维空间位置。目前为了实现三维空间定位，可以通过在手术器械上设置特殊标记，或是额外设置传感器来获取手术器械的空间位置信息，但这样要么会影响定位的精确度，要么需要对手术器械进行额外改造，进而影响安全性，都难以取得较好的手术器械定位效果。因此，目前亟需一种能够方便准确地进行手术器械定位的技术方案。

技术实现思路

[0004]本专利技术的目的是提供一种手术器械定位方法、系统及存储介质，以解决如何便捷且准确地对内窥镜进行评估的技术问题。
[0005]为了解决上述技术问题，本说明书实施例提出了一种手术器械定位方法，包括：在对应于不同拍摄点的两张拍摄图像中分别确定关节点区域；综合所述关节点区域计算手术器械相较于拍摄点的深度距离；结合所述关节点区域和深度距离确定所述手术器械的空间位姿。
[0006]在一些实施方式中，所述手术器械包含有至少一个关节点；所述关节点区域包含所述手术器械的所有关节点；所述根据所述关节点区域计算手术器械相较于拍摄点的深度距离，包括：根据所述关节点区域分别计算各个关节点相较于拍摄点的深度距离；所述结合所述关节点区域和深度距离确定所述手术器械的空间位姿，包括：结合所述关节点区域和深度距离确定手术器械的各个关节点的空间位置；综合各个关节点的空间位置确定手术器械的空间位置。
[0007]基于上述实施方式，所述根据所述关节点区域分别计算各个关节点相较于拍摄点的深度距离，包括：识别所述拍摄图像中对应于各个关节点的图像平面位置；基于各个关节点的图像平面位置，在拍摄图像中划分出包含所有关节点的关节点区域；基于所述关节点区域计算各个关节点相较于拍摄点的深度距离。
[0008]基于上述实施方式，所述在对应于不同拍摄点的两张拍摄图像中分别确定关节点区域，包括：分别确定对应于两张拍摄图像的左视野关节点区域和右视野关节点区域；综合
所述左视野关节点区域和右视野关节点区域得到关节点区域；所述关节点区域覆盖所述左视野关节点区域和右视野关节点区域。
[0009]基于前述实施方式，所述基于所述关节点区域计算各个关节点相较于拍摄点的深度距离，包括：确定所述关节点区域中各个像素点的像素值；结合两张拍摄图像中对应于关节点的像素值确定视差值；根据所述视差值分别计算各个关节点的深度距离。
[0010]基于上述实施方式，所述结合两张拍摄图像中对应于关节点的像素值确定视差值，包括：对拍摄图像进行滤波得到滤波图像；分别计算对应于拍摄图像和滤波图像的匹配代价；对匹配代价进行多方向聚合处理；确定对应于每个像素点的最小匹配代价为视差值。
[0011]基于前述实施方式，所述基于所述关节点区域计算各个关节点相较于拍摄点的深度距离，包括：分别计算所述关节点区域中对应于各个像素点的视差值；基于所述视差值依次确定所述关节点区域内各个像素点分别对应的深度距离；结合所述各个像素点分别对应的深度距离和权重矩阵计算各个关节点的深度距离。
[0012]基于前述实施方式，所述深度距离由两个拍摄点之间的基线距离、相机焦距和所述视差值计算得到。
[0013]基于前述实施方式，所述根据所述关节点区域分别计算各个关节点相较于拍摄点的深度距离，还包括：检测所述关节点区域中是否展示有所述手术器械的所有关节点；若是，根据所述关节点区域分别计算各个关节点相较于拍摄点的深度距离。
[0014]在一些实施方式中，在对应于不同拍摄点的两张拍摄图像中分别确定关节点区域，包括：利用区域识别模型确定拍摄图像中的关节点区域；所述区域识别模型包括基于深度神经网络构建得到的模型。
[0015]基于上述实施方式，所述区域识别模型包括特征提取层和特征融合层；所述特征提取层基于CSPN模块和CBL模块进行特征提取；所述特征融合层基于CBL模块和CONV模块进行特征融合。
[0016]基于前述实施方式，所述区域识别模型通过以下方式获取：获取样本图像；所述样本图像中针对手术器械边界框和/或关节点存在标注；对所搭建的区域识别模型的网络参数进行随机初始化；将样本图像输入区域识别模型并计算损失值；基于损失值对区域识别模型中的网络参数进行更新。
[0017]在一些实施方式中，所述空间位置为对应于像素坐标系的位置；所述结合所述关节点区域和深度距离确定所述手术器械的空间位姿之后，还包括：将所述空间位置转化为对应于世界坐标系和/或相机坐标系的空间位置。
[0018]本说明书实施例还提出了一种手术器械定位系统，包括图像采集设备和图像处理设备；所述图像采集设备包括两个摄像头；所述图像采集设备基于所述两个摄像头分别获取对应于手术器械的拍摄图像；所述图像处理设备用于接收所述两个摄像头分别拍摄的拍摄图像；还用于在拍摄图像中确定关节点区域；综合所述关节点区域计算手术器械相较于拍摄点的深度距离；结合所述关节点区域和深度距离确定所述手术器械的空间位姿。
[0019]本说明书实施例还提出了一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令在被执行时实现上述手术器械定位方法。
[0020]由以上本说明书实施例提供的技术方案可见，上述方法分别基于两个不同的拍摄点来获取拍摄图像，并在拍摄图像中确定出关节点区域。由于两个不同的拍摄点对应于双
目拍摄场景，基于双目视差原理，结合不同拍摄图像所对应的关节点区域可以确定手术器械相较于拍摄点的深度距离，综合关节点区域中所展示出的二维平面分布情况和所述深度距离，能够有效确定手术器械的空间位置。基于上述方法，无需针对手术器械设置额外的定位装置，保证了实际应用中的便捷性和普适性。此外，基于双目图像分析能够快速准确地对手术器械相较于观测点的距离进行确定，结合拍摄图像中识别到的平面位置，保证了准确有效地对手术器械空间位姿进行确定，有利于实际手术过程中的应用。
附图说明
[0021]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本说明书实施例一种手术器械定位系统的结构图；
[0023]图2为本说明书实施例一种基于内窥镜拍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手术器械定位方法，其特征在于，包括：在对应于不同拍摄点的两张拍摄图像中分别确定关节点区域；综合所述关节点区域计算手术器械相较于拍摄点的深度距离；结合所述关节点区域和深度距离确定所述手术器械的空间位姿。2.如权利要求1所述的手术器械定位方法，其特征在于，所述手术器械包含有至少一个关节点；所述关节点区域包含所述手术器械的所有关节点；所述综合所述关节点区域计算手术器械相较于拍摄点的深度距离，包括：根据所述关节点区域分别计算各个关节点相较于拍摄点的深度距离；所述结合所述关节点区域和深度距离确定所述手术器械的空间位姿，包括：结合所述关节点区域和深度距离确定手术器械的各个关节点的空间位置；综合各个关节点的空间位置确定手术器械的空间位置。3.如权利要求2所述的手术器械定位方法，其特征在于，所述根据所述关节点区域分别计算各个关节点相较于拍摄点的深度距离，包括：识别所述拍摄图像中对应于各个关节点的图像平面位置；基于各个关节点的图像平面位置，在拍摄图像中划分出包含所有关节点的关节点区域；基于所述关节点区域计算各个关节点相较于拍摄点的深度距离。4.如权利要求3所述的手术器械定位方法，其特征在于，所述在对应于不同拍摄点的两张拍摄图像中分别确定关节点区域，包括：分别确定对应于两张拍摄图像的左视野关节点区域和右视野关节点区域；综合所述左视野关节点区域和右视野关节点区域得到关节点区域；所述关节点区域覆盖所述左视野关节点区域和右视野关节点区域。5.如权利要求3所述的手术器械定位方法，其特征在于，所述基于所述关节点区域计算各个关节点相较于拍摄点的深度距离，包括：确定所述关节点区域中各个像素点的像素值；结合两张拍摄图像中对应于关节点的像素值确定视差值；根据所述视差值分别计算各个关节点的深度距离。6.如权利要求5所述的手术器械定位方法，其特征在于，所述结合两张拍摄图像中对应于关节点的像素值确定视差值，包括：对拍摄图像进行滤波得到滤波图像；分别计算对应于拍摄图像和滤波图像的匹配代价；对匹配代价进行多方向聚合处理；确定对应于每个像素点的最小匹配代价为视差值。7.如权利要求3所述的手术器械定位方法，其特征在于，所述基于所述关节点区域计算各个关节点相较于拍摄点的深度距离，包括：分别计算所述关节点区域中对应于各个像素点的视差值；基于所述视差值依次确定所述关节点区域内各个像素点分别对应的深度距离；结合所述各个像素点分别对应的深度距离和权重矩阵计算各个...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：