多导丝端点定位模型建立方法和多导丝端点定位模型技术

技术编号:36948271 阅读:45 留言:0更新日期:2023-03-22 19:09
本发明专利技术提供一种多导丝端点定位模型建立方法和多导丝端点定位模型。方法包括:建立初始多导丝端点定位模型;建立导丝定位数据集,导丝定位数据集中包括图像及图像对应的标签,标签包括检测框信息和导丝端点信息;采用训练集对初始多导丝端点定位模型进行训练,训练集包括从数据集抽取的的图像及对应的标签,训练时以图像作为输入,输出得到检测框估计信息和导丝端点估计信息;根据训练集中图像对应的检测框信息与检测框估计信息之间的误差以及导丝端点信息与导丝端点估计信息之间的误差建立损失函数;优化损失函数,更新初始多导丝端点定位模型的参数,直至收敛,以得到多导丝端点定位模型。该方法可以端对端对模型进行训练且特征提取不冗余。且特征提取不冗余。且特征提取不冗余。

【技术实现步骤摘要】
多导丝端点定位模型建立方法和多导丝端点定位模型


[0001]本专利技术涉及数据识别
,尤其涉及一种多导丝端点定位模型建立方法和多导丝端点定位模型。

技术介绍

[0002]在世界范围内,心血管疾病已成为威胁人类健康的第一大杀手。冠脉介入手术作为一种微创手术已成为治疗冠心病的主要手术方式,该手术只需在病人大腿或手臂上开一个小孔进行真皮穿刺,借助人体血管通道将介入器械递送到狭窄病变部位并进行扩张,扩大病变处血管的内径后放置支架保持血管张开,从而恢复血流通。但是该手术的医师需要长时间地暴露在X射线下,过量的X射线辐射会对人体造成极为不利的影响。
[0003]因此,通过开发血管介入手术机器人可以将手术医师从手术中解放出来,但该问题的核心在于如何赋予手术机器人智能,即如何赋予血管介入手术机器人视觉感知能力。
[0004]相关技术中,基于DSA(Digital subtraction angiography,数字减影血管造影)影像中多导丝端点定位任务,两阶段的多导丝定位方法被提出,该方法可以实现对DSA影像序列中实时的多导丝端点进行定位。但该方法存在一下问题:(1)两阶段的多导丝定位方法中导丝检测任务和导丝端点定位任务由两个独立的卷积神经网络模型分别实现,无法进行端到端训练;(2)两阶段的多导丝定位方法中两个模型会重复地对输入图像进行图像特征的提取,因此该方法在特征提取上是冗余的。

技术实现思路

[0005]本专利技术提供一种多导丝端点定位模型建立方法和多导丝端点定位模型,用以解决现有技术中无法进行端到端训练、特征提取冗余的缺陷,实现一种可以端到端进行训练、特征提取不冗余的多导丝端点定位模型建立方法和多导丝端点定位模型。
[0006]本专利技术提供一种多导丝端点定位模型建立方法,包括:
[0007]建立初始多导丝端点定位模型;
[0008]建立导丝定位数据集,所述导丝定位数据集中包括图像及所述图像对应的标签,所述标签包括检测框信息和导丝端点信息;
[0009]采用训练集对所述初始多导丝端点定位模型进行训练,所述训练集包括从所述导丝定位数据集抽取的图像及对应的标签,训练时以所述图像作为输入,输出得到检测框估计信息和导丝端点估计信息;
[0010]根据所述训练集中图像对应的所述检测框信息与所述检测框估计信息之间的误差以及对应的所述导丝端点信息与所述导丝端点估计信息之间的误差建立损失函数;
[0011]优化所述损失函数,更新所述初始多导丝端点定位模型的参数,直至收敛,以得到所述多导丝端点定位模型。
[0012]根据本专利技术提供的一种多导丝端点定位模型建立方法,所述初始多导丝端点定位模型包括骨干网络、区域建议网络、导丝检测网络和关键点定位网络;
[0013]所述训练时以所述图像作为输入,输出得到检测框估计信息和导丝端点估计信息,包括:
[0014]输入所述图像,通过所述骨干网络获取所述图像的共享特征图像;
[0015]通过所述区域建议网络,基于所述共享特征图像获得描述导丝位置的建议框;
[0016]通过所述导丝检测网络,基于所述共享特征图像从所述建议框中筛选出含有有导丝的建议框作为检测框,输出检测框估计信息;
[0017]通过所述关键点定位网络,基于所述共享特征图像获得所述检测框中的导丝端点估计信息并输出。
[0018]根据本专利技术提供的一种多导丝端点定位模型建立方法,所述通过所述关键点定位网络,基于所述共享特征图像获得所述检测框中的导丝端点估计信息并输出,包括:
[0019]通过所述关键点定位网络,基于所述共享特征图像通过热图回归法获得所述检测框中的导丝端点估计信息并输出。
[0020]根据本专利技术提供的一种多导丝端点定位模型建立方法,所述热图回归的回归目标为二维高斯函数:
[0021][0022]其中,x和y分别为热图的横纵坐标,x0和y0分别为真实导丝端点的横纵坐标,生成的热图会在这一点上概率值达到最大值1,超参数σ为高斯分布的标准差。
[0023]根据本专利技术提供的一种多导丝端点定位模型建立方法,所述损失函数包括检测框损失函数、分类损失函数和关键点定位损失函数,其中,所述关键点定位损失函数为:
[0024][0025]其中,是关键点定位网络的输出经过sigmoid函数激活后的热图,是热图的回归目标,w表示宽度,h表示高度,表示像素值是实数,H(x,y)表示热图中横总坐标分别为x和y的像素点,H
*
(x,y)表示热图的回归目标中横总坐标分别为x和y的像素点。
[0026]根据本专利技术提供的一种多导丝端点定位模型建立方法,该方法还包括:
[0027]采用验证集对所述多导丝端点定位模型的指标进行计算,所述验证集包括从所述数据集抽取的图像及对应的标签;
[0028]根据所述指标的计算结果确定所述多导丝端点定位模型的超参数,从而获得目标多导丝端点定位模型。
[0029]根据本专利技术提供的一种多导丝端点定位模型建立方法,该方法还包括:
[0030]采用测试集对所述目标多导丝端点定位模型的指标进行计算,获得所述目标多端点定位模型的指标信息,所述测试集包括从所述数据集抽取的图像及对应的标签。
[0031]本专利技术还提供一种多导丝端点定位模型,通过上述任一种所述多导丝端点定位模型建立方法建立,所述多导丝端点定位模型包括:骨干网络、区域建议网络、导丝检测网络
和关键点定位网络;
[0032]所述骨干网络用于根据图像获得公共特征图像;
[0033]所述区域建议网络用于基于所述共享特征图像获得描述导丝位置的建议框;
[0034]所述导丝检测网络用于基于所述共享特征图像从所述建议框中筛选出框中具有导丝的建议框作为检测框,输出检测框估计信息;
[0035]所述关键点定位网络用于基于所述共享特征图像获得所述检测框中的导丝端点估计信息并输出。
[0036]本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述多导丝端点定位模型建立方法。
[0037]本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述多导丝端点定位模型建立方法。
[0038]本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述多导丝端点定位模型建立方法。
[0039]本专利技术提供的多导丝端点定位模型建立方法,导丝检测任务和导丝定位任务是通过同一个初始多导丝端点定位模型执行,在对该模型进行训练学习时,可以进行端到端训练;并且由于导丝检测任务和导丝定位任务是在同一个模型中执行的,可以共享同一个特征图像,因此可以只进行一次特征提取,两个任务共同提取的特征,不会有特征提取上的冗余。
附图说明
[0040]为了更清楚地说明本专利技术或现有技术中的技术方案,下本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种多导丝端点定位模型建立方法,其特征在于,包括:建立初始多导丝端点定位模型;建立导丝定位数据集,所述导丝定位数据集中包括图像及所述图像对应的标签,所述标签包括检测框信息和导丝端点信息;采用训练集对所述初始多导丝端点定位模型进行训练,所述训练集包括从所述导丝定位数据集抽取的图像及对应的标签,训练时以所述图像作为输入,输出得到检测框估计信息和导丝端点估计信息;根据所述训练集中图像对应的所述检测框信息与所述检测框估计信息之间的误差以及对应的所述导丝端点信息与所述导丝端点估计信息之间的误差建立损失函数;优化所述损失函数,更新所述初始多导丝端点定位模型的参数,直至收敛,以得到所述多导丝端点定位模型。2.根据权利要求1所述的多导丝端点定位模型建立方法,其特征在于,所述初始多导丝端点定位模型包括骨干网络、区域建议网络、导丝检测网络和关键点定位网络;所述训练时以所述图像作为输入,输出得到检测框估计信息和导丝端点估计信息,包括:输入所述图像,通过所述骨干网络获取所述图像的共享特征图像;通过所述区域建议网络,基于所述共享特征图像获得描述导丝位置的建议框;通过所述导丝检测网络,基于所述共享特征图像从所述建议框中筛选出含有导丝的建议框作为检测框,输出检测框估计信息;通过所述关键点定位网络,基于所述共享特征图像获得所述检测框中的导丝端点估计信息并输出。3.根据权利要求2所述的多导丝端点定位模型建立方法,其特征在于,所述通过所述关键点定位网络,基于所述共享特征图像获得所述检测框中的导丝端点估计信息并输出,包括:通过所述关键点定位网络,基于所述共享特征图像通过热图回归法获得所述检测框中的导丝端点估计信息并输出。4.根据权利要求3所述的多导丝端点定位模型建立方法,其特征在于,所述热图回归的回归目标为二维高斯函数:其中,x和y分别为热图中像素点的横纵坐标,x0和y0分别为真实导丝端点的横纵坐标,生成的热图会在这一点上概率值达到最大值1,超参数σ为高斯分布的标准差。5.根据权利要求4所述的多导丝端点定位模型建立方法,其...

【专利技术属性】
技术研发人员:周小虎陶可欣谢晓亮刘市祺李芮麒奉振球侯增广于喆李思远张鑫
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1