植入针和柔性电极的定位方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种植入针和柔性电极的定位方法、装置、设备及介质，方法包括：获取植入针和柔性电极的待定位图像；将所述待定位图像输入至预先设置的特征提取模型中，得到所述特征提取模型输出的特征图像；将所述特征图像输入至预先设置的关键点定位分支模型，得到所述关键点定位分支模型输出的关键点信息；将所述特征图像输入至预先设置的角度估计分支模型，得到所述角度估计分支模型输出的角度信息；基于所述关键点信息和所述角度信息，在所述待定位图像上标注所述植入针和柔性电极的关键点和方向，输出所述植入针和柔性电极的定位可视化图像。本发明专利技术实施例提供了针对显微视觉场景下植入针和柔性电极的定位方法，有效提高了定位精确度。精确度。精确度。

【技术实现步骤摘要】
植入针和柔性电极的定位方法、装置、设备及介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种植入针和柔性电极的定位方法、装置、设备及介质。

技术介绍

[0002]作为计算机视觉领域的重要研究方向，关键点定位在人脸识别、人体位姿估计、手术工具检测等领域受到了广泛的研究。现有的关键点定位方法可以归纳为两类，第一类采用传统的计算机视觉方法，第二类是基于深度学习的方法。
[0003]目前，对于植入针和柔性电极的定位，由于植入针和柔性电极的尺寸在微米量级，因此需要借助显微相机进行图像采集，而显微视觉场景下目标易受光线变化、离焦、倍率变化和遮挡等因素影响。
[0004]若采用第一类的传统的计算机视觉方法进行定位，则需要人工选择特征，费事费力，且算法泛化性能优先，很难对多变的目标快速准确定位；并且，目前第二类的基于深度学习的方法，主要针对的是常规场景下的关键点检测任务，在显微视觉场景下研究较少，在准确性上也有所欠缺。可见，采用现有的传统的计算机视觉方法和基于深度学习的方法对植入针和柔性电极进行定位，定位的准确性差。

技术实现思路

[0005]本专利技术提供一种植入针和柔性电极的定位方法、装置、设备及介质，用以解决现有技术对植入针和柔性电极进行定位，定位的准确性差的问题。
[0006]本专利技术提供一种植入针和柔性电极的定位方法，包括：
[0007]获取植入针和柔性电极的待定位图像；
[0008]将所述待定位图像输入至预先设置的特征提取模型中，得到所述特征提取模型输出的特征图像；其中，所述特征提取模型用于从待定位图像中提取多尺度融合特征，得到所述特征图像，所述特征图像用于表征所述多尺度融合特征；
[0009]将所述特征图像输入至预先设置的关键点定位分支模型，得到所述关键点定位分支模型输出的关键点信息；其中，所述关键点定位分支模型用于基于所述特征图像确定所述植入针和柔性电极的关键点信息；
[0010]将所述特征图像输入至预先设置的角度估计分支模型，得到所述角度估计分支模型输出的角度信息；其中，所述角度估计分支模型用于基于所述特征图像确定所述植入针和柔性电极的角度信息；
[0011]基于所述关键点信息和所述角度信息，在所述待定位图像上标注所述植入针和柔性电极的关键点和方向，输出所述植入针和柔性电极的定位可视化图像。
[0012]根据本专利技术提供的一种植入针和柔性电极的定位方法，所述特征提取模型是基于预先设置的ResNet
‑
34模型和U
‑
Net模型得到的。
[0013]根据本专利技术提供的一种植入针和柔性电极的定位方法，所述特征提取模型包括主
干网络模型和解码模型，所述主干网络模型和所述解码模型分别作为所述U
‑
Net模型中的编码模块和解码模块，所述主干网络模型包括所述ResNet
‑
34模型；
[0014]所述主干网络模型的输入作为所述特征提取模型的输入，所述主干网络模型的输出作为所述解码模型中第一个解码层的输入，所述解码模型中前一个解码层的输出作为后一个解码层的输入，所述解码模型中最后一个解码层的输出作为所述特征提取模型的输出。
[0015]根据本专利技术提供的一种植入针和柔性电极的定位方法，所述ResNet
‑
34模型包括至少一个残差模块，所述残差模块包括第一卷积层、第二卷积层、第一批量归一化Batch Norm层、第二Batch Norm层、第一激活函数ReLU层、第二ReLU层、通道注意层和空间注意层；
[0016]所述将所述待定位图像输入至预先设置的特征提取模型中，得到所述特征提取模型输出的特征图像，包括：
[0017]将所述待定位图像输入至所述特征提取模型中的ResNet
‑
34模型中，以使所述待定位图像依次通过所述第一卷积层、所述第一Batch Norm层、所述第一ReLU层、所述第二卷积层和所述第二Batch Norm层，得到所述第二Batch Norm层输出的第一中间特征图；
[0018]将所述第一中间特征图输入至所述通道注意层，得到所述通道注意层输出的第一权重信息；
[0019]基于所述第一权重信息对所述第一中间特征图进行加权，得到第二中间特征图；
[0020]将所述第二中间特征图输入至所述空间注意层，得到所述空间注意层输出的第二权重信息；
[0021]基于所述第二权重信息对所述第二中间特征图进行加权，得到第三中间特征图；
[0022]将所述第三中间特征图和所述待定位图像输入至所述第二ReLU层，得到所述第二ReLU层输出的候选图像；
[0023]将所述候选图像输入至所述解码模型，得到所述解码模型输出的所述特征图像。
[0024]根据本专利技术提供的一种植入针和柔性电极的定位方法，所述关键点定位分支模型包括第三卷积层、第四卷积层、第五卷积层和第一处理层；
[0025]所述将所述特征图像输入至预先设置的关键点定位分支模型，得到所述关键点定位分支模型输出的关键点信息，包括：
[0026]将所述特征图像输入至所述第三卷积层，以使所述特征图像依次通过所述第三卷积层、所述第四卷积层和所述第五卷积层，得到所述第五卷积层输出的植入针关键点热力图H
N
和柔性电极环关键点热力图H
E
；其中，所述第三卷积层为可变形卷积DCN层；
[0027]将所述H
N
和H
E
输入至所述第一处理层，得到所述第一处理层输出的所述关键点信息；其中，所述关键点信息包括所述植入针的关键点坐标信息(u
N
，v
N
)和所述柔性电极的关键点坐标信息(u
E
，v
E
)，所述第一处理层采用公式(1)得到(u
N
，v
N
)，采用公式(2)得到(u
E
，v
E
)：
[0028](u
N
，v
N
)＝argmaxH
N
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0029](u
E
，v
E
)＝argmaxH
E
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0030]其中，argmax表征使目标函数取最大值时的变量参数值。
[0031]根据本专利技术提供的一种植入针和柔性电极的定位方法，所述第四卷积层和所述第五卷积层为空洞卷积层。
[0032]根据本专利技术提供的一种植入针和柔性电极的定位方法，所述角度估计分支模型包括：第六卷积层、第七卷积层、第八卷积层和第二处理层；
[0033]所述将所述特征图像输入至预先设置的角度估计分支模型，得到所述角度估计分支模型输出的角度信息，包括：
[0034]将所述特征图像输入至所述第六卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种植入针和柔性电极的定位方法，其特征在于，包括：获取植入针和柔性电极的待定位图像；将所述待定位图像输入至预先设置的特征提取模型中，得到所述特征提取模型输出的特征图像；其中，所述特征提取模型用于从待定位图像中提取多尺度融合特征，得到所述特征图像，所述特征图像用于表征所述多尺度融合特征；将所述特征图像输入至预先设置的关键点定位分支模型，得到所述关键点定位分支模型输出的关键点信息；其中，所述关键点定位分支模型用于基于所述特征图像确定所述植入针和柔性电极的关键点信息；将所述特征图像输入至预先设置的角度估计分支模型，得到所述角度估计分支模型输出的角度信息；其中，所述角度估计分支模型用于基于所述特征图像确定所述植入针和柔性电极的角度信息；基于所述关键点信息和所述角度信息，在所述待定位图像上标注所述植入针和柔性电极的关键点和方向，输出所述植入针和柔性电极的定位可视化图像。2.根据权利要求1所述的植入针和柔性电极的定位方法，其特征在于，所述特征提取模型是基于预先设置的ResNet
‑
34模型和U
‑
Net模型得到的。3.根据权利要求2所述的植入针和柔性电极的定位方法，其特征在于，所述特征提取模型包括主干网络模型和解码模型，所述主干网络模型和所述解码模型分别作为所述U
‑
Net模型中的编码模块和解码模块，所述主干网络模型包括所述ResNet
‑
34模型；所述主干网络模型的输入作为所述特征提取模型的输入，所述主干网络模型的输出作为所述解码模型中第一个解码层的输入，所述解码模型中前一个解码层的输出作为后一个解码层的输入，所述解码模型中最后一个解码层的输出作为所述特征提取模型的输出。4.根据权利要求3所述的植入针和柔性电极的定位方法，其特征在于，所述ResNet
‑
34模型包括至少一个残差模块，所述残差模块包括第一卷积层、第二卷积层、第一批量归一化Batch Norm层、第二Batch Norm层、第一激活函数ReLU层、第二ReLU层、通道注意层和空间注意层；所述将所述待定位图像输入至预先设置的特征提取模型中，得到所述特征提取模型输出的特征图像，包括：将所述待定位图像输入至所述特征提取模型中的ResNet
‑
34模型中，以使所述待定位图像依次通过所述第一卷积层、所述第一Batch Norm层、所述第一ReLU层、所述第二卷积层和所述第二Batch Norm层，得到所述第二Batch Norm层输出的第一中间特征图；将所述第一中间特征图输入至所述通道注意层，得到所述通道注意层输出的第一权重信息；基于所述第一权重信息对所述第一中间特征图进行加权，得到第二中间特征图；将所述第二中间特征图输入至所述空间注意层，得到所述空间注意层输出的第二权重信息；基于所述第二权重信息对所述第二中间特征图进行加权，得到第三中间特征图；将所述第三中间特征图和所述待定位图像输入至所述第二ReLU层，得到所述第二ReLU层输出的候选图像；将所述候选图像输入至所述解码模型，得到所述解码模型输出的所述特征图像。
5.根据权利要求1所述的植入针和柔性电极的定位方法，其特征在于，所述关键点定位分支模型包括第三卷积层、第四卷积层、第五卷积层和第一处理层；所述将所述特征图像输入至预先设置的关键点定位分支模型，得到所述关键点定位分支模型输出的关键点信息，包括：将所述特征图像输入至所述第三卷积层，以使所述特征图像依次通过所述第三卷积层、所述第四卷积层和所述第五卷积层，得到所述第五卷积层输出的植入针关键点热力图H
N
和柔性电极环关键点热力图H
E
；其中，所述第三卷积层为可变形卷积DCN层；将所述H
N
和H
E
输入至所述第一处理层，得到所述第一处理层输出的所述关键点信息；其中，所述关键点信息包括所述植入针的关键点坐标信息(u
N
,v
N
)和所述柔性电极的关键点坐标信息(...

【专利技术属性】
技术研发人员：梁文亮，秦方博，张大朋，王啸峰，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：