一种视觉目标检测与光纤形状重构的导丝末端检测方法技术

本发明专利技术提供了一种视觉目标检测与光纤形状重构的导丝末端检测方法，所述检测方法包括如下方法步骤：通过CCD摄像头获取导丝图像，通过目标检测算法对导丝图像处理，获取导丝的第一末端位置信息；通过光纤光栅传感器对导丝进行三维曲线重构，由重构的导丝的三维曲线，获取导丝的第二末端位置信息；对所述第一末端位置信息和所述第二末端位置信息分配权重，融合计算导丝末端的位置信息。本发明专利技术对遮挡处检测更加精确，对尖、小、薄等特征的小目标跟踪更精确，实时性高，满足术中实时检测的需求。满足术中实时检测的需求。满足术中实时检测的需求。

【技术实现步骤摘要】
一种视觉目标检测与光纤形状重构的导丝末端检测方法


[0001]本专利技术涉及图像检测
，特别是涉及一种视觉目标检测与光纤形状重构的导丝末端检测方法。

技术介绍

[0002]介入治疗开展至今已经历经了30年，在此期间随着患者不断增多，市场需求不断增大，国家不断增加介入治疗的医院和医生，但由于介入手术极具复杂性，介入技术的培训工作还很大。随着自动化设备的发展，其已经在工业领域取得了显著优势，目前机器人技术应用于经皮冠状动脉介入手术尚未实现临床应用，造成这一现况的原因在于导引导丝的灵活性和顺应性为其精确控制带来巨大挑战。在这一医疗背景下，精确的定位导丝末端位置能够极大地提高医疗自动化设备控制的精确度，降低手术的难度，提高手术的安全性，当前国家面临人口老龄化，强力发展医疗自动化迫在眉睫。在血管介入手术机器人的应用方面，必须采用有效技术手段保证导引导丝控制的精确度。在血管介入手术机器人手术过程中，导丝位置的实时监控是决定血管介入手术机器人路径规划的关键之一。因此可精确测量并实时监测导丝的末端位置坐标是血管介入手术机器人发展的关键性技术。
[0003]但是，现有测量导丝末端位置的方法无法做到实时检测，只能用于介入性诊断，无法用于介入性治疗。传感器反馈法中目前最新型是利用光纤布拉格光栅(FBG)进行检测。光纤小型化，且不受电磁干扰，可以通过曲率的变化实时重构导丝形状，灵敏度高。但光纤也有其局限性，光纤是通过离散点处曲率和挠率的变化来重构形状的，随着积分长度的增加，重构误差会进一步加大。视觉跟踪法可以通过术中视频直接跟踪导丝末端位置，直观、精确。但这种方法鲁棒性差，易受光照、遮挡、阴影、噪声的干扰。现有的器械末端定位方法可以基本满足医疗外科机器人的测量要求，但无法实现经皮冠脉介入手术术中导丝末端定位的实时监。

技术实现思路

[0004]为了解决现有技术中导丝检测过程中多芯光纤传感误累积差大与视觉系统遮挡处失效的的技术问题，本专利技术的一个目的在于提供一种视觉目标检测与光纤形状重构的导丝末端检测方法，所述检测方法包括如下方法步骤：
[0005]通过CCD摄像头获取导丝图像，通过目标检测算法对导丝图像处理，获取导丝的第一末端位置信息；
[0006]通过光纤光栅传感器对导丝进行三维曲线重构，由重构的导丝的三维曲线，获取导丝的第二末端位置信息；
[0007]对所述第一末端位置信息和所述第二末端位置信息分配权重，融合计算导丝末端的位置信息。
[0008]进一步地，比较所述第一末端位置信息和所述第二末端位置信息，当所述第一末端位置信息与所述第二末端位置信息的差值大于预设阈值时，增大所述第二末端位置信息
的权重。
[0009]进一步地，通过目标检测算法对导丝图像处理，获取导丝的第一末端位置信息包括如下方法步骤：
[0010]步骤S1、获取导丝图像数据，
[0011]步骤S2、对所述导丝图像数据进行特征提取，其中，将特征提取网络中的残差结构分为多组，通过多个滤波器，对输入所述残差结构的导丝图像数据进行特征提取，
[0012]其中，一个滤波器对一组所述残差结构的导丝图像数据进行特征提取，并将提取的特征图与下一组所述残差结构的导丝图像数据，一起输入到下一个滤波器，进行特征提取，直至每一组残差结构的导丝图像数据全部完成特征提取，
[0013]将每一组残差结构的导丝图像数据提取的特征图进行张量连接输入到一个1
×
1的卷积滤波器中，得到融合后的特征图；
[0014]步骤S3、将步骤S2中得到特征图输入特征融合网络，对不同尺寸的特征图进行融合；
[0015]步骤S4、将步骤3融合后的特征图输入至特征检测网络，获取导丝末端的像素坐标值。
[0016]进一步地，在步骤S2后设置通道注意力模块，对融合后的特征图进行加权处理。
[0017]进一步地，所述注意力模块包括全局平均池化层、卷积核为K的1维卷积和激活函数。
[0018]进一步地，在步骤S2中，多个滤波器，通过混合膨胀卷积的方式，对输入所述残差结构的导丝图像数据进行特征提取。
[0019]进一步地，光纤光栅传感器对导丝进行三维曲线重构，通过如下方法计算：
[0020][0021]其中，λ
B
为布拉格光栅波长，P
ε
为光纤的弹光系数，δ为导丝弯曲时导丝中心轴距离光纤纤芯的距离。
[0022]本专利技术提供的一种视觉目标检测与光纤形状重构的导丝末端检测方法，弥补多芯光纤传感误累积差大与视觉系统遮挡处失效的弊端。提高血管介入手术导丝末端跟踪系统的精确性和鲁棒性。
[0023]本专利技术提供的一种视觉目标检测与光纤形状重构的导丝末端检测方法，先利用CCD实时采集导丝在血管模型中的运动视频，并通过改进YOLOv4Tiny的目标检测算法实时跟踪导丝末端位置，并通过Labview界面与光纤形状重构所得到的导丝末端位置信息相比较，当二者的差值大于预设阈值时，则认为目标检测算法得到的导丝末端位置信息精度较低，判定此时导丝末端位置为遮挡处，此时加重光纤形状重构得到位置信息的权重。本专利技术结构简单、灵敏度高、易于兼容，在医疗传感领域实现高精度实时测量有着重要的现实意义，具有良好的应用前景。
[0024]本专利技术提供的一种视觉目标检测与光纤形状重构的导丝末端检测方法对遮挡处检测更加精确，对尖、小、薄等特征的小目标跟踪更精确，实时性高，满足术中实时检测的需求。
附图说明
[0025]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1示意性示出了YOLOV4Tiny网络结构的示意图。
[0027]图2示出了本专利技术优化后特征提取网络中的残差结构的示意图。
[0028]图3示出了本专利技术注意力模块的结构示意图。
[0029]图4示出了膨胀卷积核与普通卷积核对比的示意图。
[0030]图5示出了本专利技术不同膨胀率下混合膨胀卷积得到的特征图。
[0031]图6示出了本专利技术一个实施例中训练集的损失值、测试集的损失值和迭代次数之间的关系示意图。
[0032]图7示出了本专利技术一个实施例中棋盘格角点识别示意图。
[0033]图8示出了精度召回率曲线示意图。
[0034]图9示出了本专利技术YOLOv4Tiny网络的召回率和测量精度与改进前YOLOv4Tiny网络的召回率和测量精度的对比示意图。
[0035]图10示出了导丝末端检测结果示意图示意图。
[0036]图11示出了布拉格光纤光栅传感原理示意图。
[0037]图12示出了弯曲变形条件下FBG拉伸与压缩模型示意图。
[0038]图13示出了本专利技术一个实施例中得到的导丝重构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉目标检测与光纤形状重构的导丝末端检测方法，其特征在于，所述检测方法包括如下方法步骤：通过CCD摄像头获取导丝图像，通过目标检测算法对导丝图像处理，获取导丝的第一末端位置信息；通过光纤光栅传感器对导丝进行三维曲线重构，由重构的导丝的三维曲线，获取导丝的第二末端位置信息；对所述第一末端位置信息和所述第二末端位置信息分配权重，融合计算导丝末端的位置信息。2.根据权利要求1所述的检测方法，其特征在于，比较所述第一末端位置信息和所述第二末端位置信息，当所述第一末端位置信息与所述第二末端位置信息的差值大于预设阈值时，增大所述第二末端位置信息的权重。3.根据权利要求1所述的检测方法，其特征在于，通过目标检测算法对导丝图像处理，获取导丝的第一末端位置信息包括如下方法步骤：步骤S1、获取导丝图像数据，步骤S2、对所述导丝图像数据进行特征提取，其中，将特征提取网络中的残差结构分为多组，通过多个滤波器，对输入所述残差结构的导丝图像数据进行特征提取，其中，一个滤波器对一组所述残差结构的导丝图像数据进行特征提取，并将提取的特征图与下一组所述残差结构的导丝图像数据，一起输入到下一个滤波...

【专利技术属性】
技术研发人员：董明利，董兆苒，何彦霖，祝连庆，孙广开，周康鹏，
申请(专利权)人：广州市南沙区北科光子感知技术研究院，
类型：发明
国别省市：