一种超声图像标志物运动追踪方法技术

本公开提出了一种超声图像标志物运动追踪方法，将原始肿瘤超声图像通过学习，建立肿瘤标志物与深层图像特征的映射关系；将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；获得肿瘤标志物运动预测模型；对肿瘤标志物运动预测模型进行训练直至收敛；将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。该方法在遮挡情况下也具有较好的鲁棒性。该技术可以为超声引导的放射治疗环境中提供鲁棒且准确的目标运动追踪，以减少放射治疗治疗目标边缘的不确定性。

A Motion Tracking Method for Ultrasound Image Markers

【技术实现步骤摘要】
一种超声图像标志物运动追踪方法
本公开涉及图像处理
，特别是涉及一种超声图像标志物运动追踪方法。
技术介绍
目前，胸腹部肿瘤死亡率较高，其中肺癌和肝癌位居恶性肿瘤死亡率前列。胸腹部肿瘤在实施放疗时，由呼吸运动引起的肿瘤和危及器官动度较大，增加了放疗过程的不确定性，可能加重正常组织的放射损伤和增加复发率。针对临床癌症治疗时实施的图像引导放射治疗，特别是肺癌和肝癌的治疗过程当中，呼吸运动在腹部放射治疗中引入了相当大的不确定性，传统上使用边缘扩张的计划靶体积PTV来提高肿瘤的命中率，但是会伤害到病变周围正常的组织器官。现代直线加速器包括机载3D锥形束CT(CBCT)和2DX射线成像，它们通常用于辅助治疗室中的患者摆位。尽管2DX射线成像具有较高时间分辨率但是需要植入的基准标记物来克服X射线成像的低软组织对比度问题。对患者身体有辐射是X射线引导放射治疗所带来的另一个负面影响。如文献DingGX,MunroP.Radiationexposuretopatientsfromimageguidanceproceduresandtechniquestoreducetheimagingdose.RadiotherapyandOncology.2013；108(1):91-98。磁共振成像(MRI)可以在没有射线辐射的情况下提供较高的软组织对比度。然而，核磁共振引导放疗成本高并且不能实时提供成像信息。如文献IpsenS,BlanckO,LowtherN,etal.Towardsreal-timeMRI-guided3Dlocalizationofdeformingtargetsfornon-invasivecardiacradiosurgery.PhysicsinMedicineandBiology.2016；61(22):7848.到目前为止，目标跟踪的多数方法采用基于相似性度量(例如模板匹配)对多个窗口候选进行搜索。如文献O'SheaTP,GarciaLJ,RosserKE,HarrisEJ,EvansPM,BamberJC.4Dultrasoundspeckletrackingofintra-fractionprostatemotion:aphantom-basedcomparisonwithx-rayfiducialtrackingusingCyberKnife.PhysMedBiol.2014；59(7):1701-1720，O'Shea等人应用3D互相关块匹配来跟踪超声图像中的散斑，虽然计算速度较高但是跟踪精度较低。如文献ShepardAJ,WangB,FooTKF,BednarzBP.Ablockmatchingbasedapproachwithmultiplesimultaneoustemplatesforthereal-time2Dultrasoundtrackingoflivervessels.MedPhys.2017；44(11):5889-5900。Shepard等人利用基于相似性的块匹配算法，结合预训练和多个追踪模板，虽然利用GPU实现了在获得较高跟踪速度的同时一定程度上提高了跟踪精度，他们的方法达到了0.72±1.25mm的平均精度，但由于最大误差为24.3mm，因此其鲁棒性并不理想。因此，如何准确的确定超声图像中肿瘤标志物的位置是本公开所主要解决的技术问题。
技术实现思路
本说明书实施方式的目的之一是提供一种超声图像标志物运动追踪方法，通过基于深度学习的实时运动跟踪方法在获得较高追踪速度的同时，也确保较高的追踪精度和鲁棒性，从而保证精确的图像引导放射治疗。本说明书实施方式提供一种超声图像标志物运动追踪方法，通过以下技术方案实现：包括：将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；对肿瘤标志物运动预测模型进行训练直至收敛；将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。本公开说明书实施例子还提供了一种超声图像标志物运动追踪系统，包括：映射关系建立单元，将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；标志物运动规律学习单元，将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；模型建立单元，用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；模型训练单元，对肿瘤标志物运动预测模型进行训练直至收敛；预测追踪单元，将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。与现有技术相比，本公开的有益效果是：本公开通过全卷积神经网络充分提取多超声图像肿瘤特征，在治疗前的原始肿瘤图像数据集中，结合图像肿瘤特征和循环卷积神经网络的时域特征信息，从而构建肿瘤运动预测模型，该方法利用卷积长短期记忆网络对肿瘤运动规律的学习，在遮挡情况下也具有较好的鲁棒性。该技术可以为超声引导的放射治疗环境中提供鲁棒且准确的目标运动追踪，以减少放射治疗治疗目标边缘的不确定性。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1：本公开实施例子通过全卷积深度神经网络提取超声图像肿瘤标志物的深层图像特征；图2：本公开实施例子随着训练迭代后的超声序列及其注意力区域图像；图3：本公开实施例子卷积长短期记忆网络单元的实现细节；图4：本公开实施例子基于注意力机制和全卷积长短期记忆神经网络方法的流程图。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例子一针对当前放疗过程中治疗前和治疗中的图像引导放疗技术进行现状分析，本公开实施例子通过基于深度学习的实时运动跟踪方法获得超声图像的肿瘤标志物目标位置，该目标位置用于后续图像引导放射治疗时进行参考。具体实施例子中公开了一种基于深本文档来自技高网...

【技术保护点】
1.一种超声图像标志物运动追踪方法，其特征是，包括：将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；对肿瘤标志物运动预测模型进行训练直至收敛；将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。

【技术特征摘要】
1.一种超声图像标志物运动追踪方法，其特征是，包括：将原始肿瘤超声图像通过注意力机制的全卷积神经网络进行深层特征的学习，得到区别于背景图像和噪声的肿瘤标志物特征信息，从而建立肿瘤标志物与深层图像特征的映射关系；将不同时刻的原始肿瘤超声图像连续输入到卷积长短期记忆网络，利用该网络学习肿瘤标志物随时间变化的周期性运动规律；用多层感知机对训练好的卷积长短期记忆网络计算的时间信号输入至注意力机制的全卷积神经网络，经过全卷积神经网络计算得到图像深层特征与肿瘤标志物的周期性运动规律的关系，得到目标的预测位置，获得肿瘤标志物运动预测模型；对肿瘤标志物运动预测模型进行训练直至收敛；将待测的肿瘤超声图像输入至训练好的肿瘤标志物运动预测模型中，获得待测的肿瘤超声图像的肿瘤标志物目标位置。2.如权利要求1所述的一种超声图像标志物运动追踪方法，其特征是，所述注意力机制的全卷积神经网络使用1x1的卷积核对原始肿瘤超声图像进行特征融合并对特征纬度压缩后进行重组。3.如权利要求1所述的一种超声图像标志物运动追踪方法，其特征是，注意力机制的全卷积神经网络用于提取包含图像目标的局部子区域，给定具有M行和N列的图像x，该注意力机制应用了m个列过滤器组和n个行过滤器组肿瘤目标的子区域计算如下：其中，g是二维滤波器响应，应用二维滤波器从每个输入图像中提取的肿瘤目标，每个滤波器响应对应于肿瘤目标的一个像素。4.如权利要求1所述的一种超声图像标志物运动追踪方法，其特征是，得到的肿瘤标志物图像，经过多层神经网络特征提取后，得到图像的深层特征信息，用于在多时间分辨率下建立图像深层特征与肿瘤标志物的周期性运动规律的关系。5.如权利要求1所述的一种超声图像标志物运动追踪方法，其特征是，对模型进行训练时，利用包括边界框丢失，局部损失，显着性损失和自适应损失加权项的多任务损失来约束目标的总损失函数，并促进卷积长短期记忆网络和注意力机制的全卷积神经网络模型的训练收敛。6.一种超声图像标志...

【专利技术属性】
技术研发人员：李登旺，黄浦，孔问问，吴敬红，虞刚，陆华，刘丹华，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37