一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法技术

本发明专利技术公开了一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法，所述方法包括：获得多组造影帧数据Icontrast和对应的减影帧数据Idsa，作为卷积网络的训练集；建立U

【技术实现步骤摘要】
一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法


[0001]本专利技术涉及血管介入导丝尖端
，具体为一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法。

技术介绍

[0002]数字减影血管造影(digitalsubtractionangiography)简称dsa，作为一种放射性治疗方法，在实际的成像过程中需要静脉注射造影剂并通过x光采集图像，然后将含有造影剂的图像(盈片)与未含造影剂的图像(蒙片)相减，将我们不感兴趣的组织影像剔除掉，将仅含有造影剂的目标区域影像留存，就得到突出的血管结构的影像，在这里剪掉的部分就是噪声，噪声去除之后，目标区域更加的清晰。这种成像模式能够准确的对血管形态学病变进行精确诊断，提高疾病发现率与诊断准确率，从而提高了手术的安全性，是临床不可缺少的重要工具。dsa在临床应用上用途广泛，主要应用在一些常规检查而且较难诊断的血管疾病中，后来也广泛应用于介入治疗，并且取得了巨大的突破，但是目前为止，dsa技术在脑血管疾病中的应用还不是十分完美，如何为临床诊断获得更高质量的影像结果成为目前阶段研究的热点问题。由于整个过程是连续帧的，机器只简单地完成了减影操作，几乎没有后处理工作，由于病人运动，直接das减影成像带有明显的噪声伪影，严重干扰临床医学对疾病的有效判断，不利于诊断和治疗。目前临床上需要对dsa序列图像全自动的去除伪影增强算法。
[0003]dsa减影配准就是寻求两幅图像间的几何变换关系,通过这一几何变换,使其中一幅医学图像浮动图像与另外一幅医学图像参考图像上的对应点达到空间上的一致，这种一致是指人体上的同一解剖点在两张匹配图像上具有相同的空间位置，配准的结果应使两幅图像上所有的解剖点,或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配，配准方法是由特征空间、搜索空间、搜索算法和相似性测度四个不同方面的组合，特征空间是指对待配准的图像的特征信息的提取搜索空间是进行变换的方式及变换的范围搜索算法决定下一步变换的具体方法以及得到最优的变换参数相似性测度是用来度量图像间相似性的一种标准，这些研究都取得了一定的成果,但是这些研究成果仍存在一定的局限性,不能直接使用于dsa减影图像配准过程,并不能适合临床的实际需求，有的虽然取得了较好的配准结果,但手工干预大,配准的计算工作量大,很难投入实时应用。

技术实现思路

[0004]本专利技术的目的在于提供一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法，以解决上述
技术介绍
中提出的不能直接使用于dsa减影图像配准过程,并不能适合临床的实际需求，有的虽然取得了较好的配准结果,但手工干预大,配准的计算工作量大,很难投入实时应用的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种介入手术机器人基于Unet的DSA
图像序列的血管介入器械跟踪方法，包括：
[0006]S1、获得多组造影帧数据Icontrast和对应的减影帧数据Idsa，作为卷积网络的训练集；
[0007]S2、建立U
‑
net作为生成器，将训练集中的造影帧数据Icontrast输入生成器中，输出相应的血管减影Idsa，通过学习训练集的数据更新网络参数，从而降低输出的血管减影和原始血管减影数据Idsa之间的欧式距离，训练生成器，同时得到；
[0008]S3、建立造影帧和减影帧的卷积神经网络CNN作为判别器，将生成器得到的血管减影和对应的Icontrast造影帧图像contact作为输入，输出标签为false；将原始对应的造影帧Icontrast和减影帧Idsa融合contact作为输入，输出标签为true；通过学习原始数据集和生成的数据集更新判别器参数；
[0009]检测步骤为：
[0010]S1、利用5个尺寸为2，卷积步长为3的卷积核得到小为W
·
H.256的卷积特征图，同时该特征图的尺度缩小为原图的1/32，因此特征图上的每一个特征点对应原图中的32
×
32感受野；
[0011]S2、根据特征点的坐标对应到原图中指定区域，并且在原图中预测不同尺寸的N候选区域，因此原图中中一共有W
·
H
·
N候选区域；
[0012]S3、然后利用一个3x3x256的卷积核与特征图卷积，每卷积一次，得到N候选框共享的1x1
×
256维的特征；
[0013]S4、然后将该特征输入到训练好的分类器得到对应于原图中的区域属于目标区域和非目标区域的概率；
[0014]S5、最后对前5个得分最高的候选区域进行坐标回归，然后对回归后的区域进行非极大值抑制，得到得分最高的区域作为导丝的目标区域。
[0015]优选的，步骤一中通过对DSA连续帧数据，取前3帧作为背景帧，减影帧为造影帧减去背景帧，得到对应的造影帧和剪影帧数据。
[0016]优选的，所述步骤二中采用的U
‑
net作为的生成器将造影帧数据经过非线性映射转换为相应的减影帧数据。
[0017]优选的，所述U
‑
net卷积神经网络的训练使用L2损失与L2正则化，VGG网络与训练模型pool4_1作为感知损失，所述判别器CNN的训练使用softmax交叉熵损失，在收缩路径中，重3
×
3卷积层(未填充)，每个后跟ReLU，并重复下采样2
×
2最大池化操作，步长为2，在扩展路径中，对特征进行上采样之后是扩展特征图的2
×
2卷积(上卷积)，我们将这些特征与收缩路径的相应特征图连接起来，然后是两个重复的3
×
3卷积，每个卷积都带有ReLU，在最后一层，使用1
×
1卷积将每个组件特征映射到所需数量的类，即两个类：一个用于机器人提示，另一个用于背景。
[0018]优选的，所述输入到生成器U
‑
net卷积神经网络和判别器CNN的数据是去均值和归一化后的数据，在数据预处理模块中，按照比例划分训练集和测试集，划分的比例可以手动的指定，测试集主要是用来评估模型的性能，将训练集采用5
‑
fold交叉验证的方式划分为训练集和验证集，每一份数据集大小相同，编号分别为1，2，3，4，5，前四批次的作为训练集时，在第五份数据上验证，序号1，3，4，5作为训练集时，序号2的集合作为验证集，依次类推，传入网络的数据集为VOC格式，输入图片为JPG图片，无需固定大小，传入训练前会自动进行
resize，resize之后的大小为640x640，标签文件和输入图片文件相对应。
[0019]优选的，所述判别器CNN获取与处理模块，用于建立造影帧图像与剪影帧图像contact向量判断是否真假标签的CNN，将U
‑
net输出的fake减影帧与对应的造影帧图像contact向量，判别为false；将真实的血管减影和对应的造影帧图像contact向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法，其特征在于：包括：S1、获得多组造影帧数据Icontrast和对应的减影帧数据Idsa，作为卷积网络的训练集；S2、建立U
‑
net作为生成器，将训练集中的造影帧数据Icontrast输入生成器中，输出相应的血管减影Idsa，通过学习训练集的数据更新网络参数，从而降低输出的血管减影和原始血管减影数据Idsa之间的欧式距离，训练生成器，同时得到；S3、建立造影帧和减影帧的卷积神经网络CNN作为判别器，将生成器得到的血管减影和对应的Icontrast造影帧图像contact作为输入，输出标签为false；将原始对应的造影帧Icontrast和减影帧Idsa融合contact作为输入，输出标签为true；通过学习原始数据集和生成的数据集更新判别器参数；检测步骤为：S1、利用5个尺寸为2，卷积步长为3的卷积核得到小为W
·
H.256的卷积特征图，同时该特征图的尺度缩小为原图的1/32，因此特征图上的每一个特征点对应原图中的32
×
32感受野；S2、根据特征点的坐标对应到原图中指定区域，并且在原图中预测不同尺寸的N候选区域，因此原图中中一共有W
·
H
·
N候选区域；S3、然后利用一个3x3x256的卷积核与特征图卷积，每卷积一次，得到N候选框共享的1x1
×
256维的特征；S4、然后将该特征输入到训练好的分类器得到对应于原图中的区域属于目标区域和非目标区域的概率；S5、最后对前5个得分最高的候选区域进行坐标回归，然后对回归后的区域进行非极大值抑制，得到得分最高的区域作为导丝的目标区域。2.根据权利要求1所述的一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法，其特征在于：所述步骤一中通过对DSA连续帧数据，取前3帧作为背景帧，减影帧为造影帧减去背景帧，得到对应的造影帧和剪影帧数据。3.根据权利要求1所述的一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法，其特征在于：所述步骤二中采用的U
‑
net作为的生成器将造影帧数据经过非线性映射转换为相应的减影帧数据。4.根据权利要求3所述的一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法，其特征在于：所述U
‑
net卷积神经网络的训练使用L2损失与L2正则化，VGG网络与训练模型pool4_1作为感知损失，所述判别器CNN的训练使用softmax交叉熵损失，在收缩路径中，重3
×
3卷积层(未填充)，每个后跟ReLU，并重复下采样2
×
2最大池化操作，步长为2，在扩展路径中，对特征进行上采样之后是扩展特征图的2
×
2卷积(上卷积)，我们将这些特征与收缩路径的相应特征图连接起来，然后是两个重复的3
×
3卷积，每个卷积都带有ReLU，在最后一层，使用1
×
1卷积将每个...

【专利技术属性】
技术研发人员：祁佳炜，于春雨，苏泊豪，任颖萱，廖桂生，陆清声，王阳，
申请(专利权)人：西安电子科技大学杭州研究院，
类型：发明
国别省市：