【技术实现步骤摘要】
一种医疗器械自主识别定位方法、系统及介质
[0001]本专利技术涉及图像识别
,尤其涉及一种医疗器械自主识别定位方法、系统及介质。
技术介绍
[0002]机器人辅助控制内窥镜在外科手术中的应用得到了广泛关注和快速发展,相较于传统的内窥镜微创手术,其可以有效缓解手动操作期间显示屏图像不稳定和不准确等问题。多年研究表明,利用计算机辅助机器人实现内窥镜的自动调整,可以减少医生互动过程中注意力分散的问题。而使用计算机辅助机器人的关键问题之一是手术器械的识别和定位。随着图像相关技术的迅速发展,基于视觉的手术器械识别和定位方法得到了广泛的关注。基于图像的识别方法,通常是在手术器械上添加合作标志,通过识别合作标志间接获得医疗器械的参考点。基于合作标志的识别方法虽然可以快速地实现手术器械的识别和定位,但是器械上的标志容易受到血液等的污染和干扰,导致识别和定位不够准确。深度学习在图像检测识别有着优异的表现,它对光线、阴影的干扰表现出优异的鲁棒性,因此逐渐成为内窥镜手术器械识别的最有效方法。利用深度学习对医疗器械的各种表达方式中,通过包围 ...
【技术保护点】
【技术特征摘要】
1.一种医疗器械自主识别定位方法,其特征在于,包括以下步骤:获取图片,然后进行数据预处理,对标注的数据进行数据增强,然后将数据划分成训练集、验证集和测试集;其中,数据增强包括反转、裁剪和拼接;对预处理后的数据通过优化训练算法进行优化训练,通过优化误差表达和调整误差权重,加快箭头包围盒的训练收敛速度;优化训练得到的最佳权重用于实时预测,实时预测的输出通过输出约束模型保证箭头落在包围盒内部;根据所述输出约束模型,通过箭头包围盒生成算法以坐标转换方式生成对应的箭头包围盒;通过器械数目判断选择对应的焦点生成区域算法,根据所述箭头包围盒生成对应的跟踪区域,实现器械定位,为器械跟踪提供指导。2.如权利要求1所述的一种医疗器械自主识别定位方法,其特征在于:所述优化训练算法采用Arrow OBB
‑
YOLO网络结构。3.如权利要求1所述的一种医疗器械自主识别定位方法,其特征在于:所述输出约束模型将网络输出的箭头坐标通过σ(x)限制在[0,1]之间,约定其为相对于包围盒左上角的坐标,其中:并通过以下的公式转换成相对于照片左上角的相对坐标,即:并通过以下的公式转换成相对于照片左上角的相对坐标,即:并通过以下的公式转换成相对于照片左上角的相对坐标,即:并通过以下的公式转换成相对于照片左上角的相对坐标,即:其中,b
ax1
,b
ay1
是箭头尾部的相对坐标,b
ax2
,b
ay2
是箭头头部的相对坐标,t
x1
,t
y1
是网络预测结果中箭头尾部对应的输出,t
x2
,t
y2
是网络预测结果中箭头头部对应的输出,b
x
,b
y
是预测的包围盒中心的像素坐标,b
w
,b
h
是预测的包围盒的宽和高,W,H代表图片的宽和高;基于以上的坐标转换,将箭头约束在包围盒之内,利用神经网络实现了带箭头的包围盒预测。4.如权利要求1所述的一种医疗器械自主识别定位方法,其特征在于,所述通过器械数目判断选择对应的焦点生成区域算法,根据所述箭头包围盒生成对应的跟踪区域,实现器械定位,为器械跟踪提供指导,具体为:利用焦点与图像中心的偏差生成方向向量,利用目标区域在图像中的位置占比,调整内窥镜的深度,将多器械分成了三类:第一类是单个器械,第二类是2个器械,第三类是3个
以及3个以上的器械;假设O
i
,R
i
表示第i种情况下跟踪区域的圆心和半径,c
x
,c
y
分别表示圆心的横纵坐标,b
jax1
,b
jay1
表示第j个箭头的尾部坐标,b
jax2
,b
jay2
表示第j个箭头的尾部坐标;对于单个器械,直接利用箭头的尖端作为视野焦点,同时利用该焦点作为圆心,箭头的长度作为半径生成目标区域,即有:对于两个器械,利用两个箭头尖端的连线的中点作为焦点,同时以该焦点作为圆心,两个箭头末端离中心较远的距离作为半径...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。