CTA到MRA跨模态预测的颈动脉斑块识别方法及系统技术方案

本发明专利技术提供了一种基于CTA到MRA跨模态预测的颈动脉斑块识别方法，包括以下步骤：数据收集步骤：收集配对的颈动脉CTA和MRA图像数据；斑块分割及模型训练步骤：先进行CTA和MRA颈动脉管腔的定位，然后进行颈动脉斑块的分割，获得CTA和MRA的斑块区域图像，将CTA和MRA的斑块区域图像送到pix2pix或者cycle‑GAN网络进行训练，获得初步训练后的模型。本发明专利技术设计完整、新颖的算法流程，使用改进的深度学习Multiplan‑net算法对CTA图像上的颈动脉管腔、斑块进行自动分割，在此基础上设计优化的对抗生成网络进行CTA数据扩增，从而进一步提高分割精度。

【技术实现步骤摘要】
CTA到MRA跨模态预测的颈动脉斑块识别方法及系统
本专利技术涉及医学图像处理领域，具体地，涉及CTA到MRA跨模态预测的颈动脉斑块识别方法及系统。尤其地，涉及一种用于将CTA图像跨模态预测到MRA图像领域的颈动脉斑块识别算法。
技术介绍
脑血管病是世界范围内公认的致残率、病死率最高的疾病之一，包括出血性脑血管病和缺血性脑血管病。其中缺血性脑血管病占87％[1]。由于颈动脉是向大脑供血的主要动脉之一，当颈动脉存在严重的粥样硬化时，就可能会导致脑缺血的发生。而颈动脉粥样硬化的明显特征是动脉内腔出现颈动脉斑块[2]，斑块成分不同，其易损性与稳定性也不同。因此对颈动脉斑块进行早期识别与成分检测，对于缺血性脑卒中的预防与高危人群的风险评估有重要的现实意义。诊断脑血管疾病，常用的脑血管造影方法有三种。第一种核磁共振机所做的脑血管造影(MRA)，第二种是CT机所做的脑血管造影(CTA)，第三种是需要大腿根部股动脉插管进行的，在数字减影血管造影机下完成的脑血管造影(DSA)。MRA的特点是无创，可以不需要注射造影剂就可以完成，可以在行核磁共振检查时同事进行，但是分辨率是最差的，可以做为一种筛查方法。CTA也是一种无创的方法，需要注射含碘的造影剂，可以快速完成，病人痛苦少，分辨率也教MRA有所提高，可以做为快速诊断脑血管瘤的方法。DSA是最准确的脑血管造影方法，分辨率最高，是诊断脑血管疾病的“金标准”。缺点是需要进行动脉插管，有创伤，需住院检查。CTA血管成像是目前最常用的诊断颈动脉斑块的临床影像方法，具有扫描速度快、低辐射、信息量大等优点[3]。其用于临床诊断时通常是通过医生观察部分断层图像并结合临床经验给出诊断结果，会受诊断医生经验、状态及知识水平的限制和影响[4]。近年来，随着人工智能的发展，深度学习算法在辅助医生诊断方面起到了重要作用。目前市面上还没有一款颈动脉斑块筛查软件，本专利技术拟设计完整、新颖的算法流程，使用改进的深度学习Multiplan-net算法对CTA图像上的颈动脉管腔、斑块进行自动分割，在此基础上设计优化的对抗生成网络[5]进行CTA数据扩增，从而进一步提高分割精度。对分割出的颈动脉斑块进行磁共振成像(MRI)[6]跨模态融合预测，提取融合后的斑块特征进行斑块成分分类。基于此开发出针对颈动脉粥样硬化斑块的云平台自动分析系统，并最终在临床病例中进行前瞻性验证。参考文献：[1]RanZhou,WeiMa,U-Netbasedautomaticcarotidplaquesegmentationfrom3Dultrasoundimages，MedicalImaging，2019[2]R.Ross,"Atherosclerosis--aninflammatorydisease,"NEnglJMed,vol.340,no.2,pp.115-26,Jan141999[3]GreenD,ParkerD.CTAandMRA:visualizationwithoutcatheterization[J].SeminarsinUltrasoundCt&Mri,2003,24(4):185-191[4]吴秋雯,李郁欣,黄磊,etal.机器学习算法在颈动脉斑块影像学分类中的研究进展[J].中国临床神经科学,2019(4).[5]IanJ.Goodfellow,JeanPouget-Abadie,MehdiMirza..GenerativeAdversarialNetworks：CornellUniversityLibrary，2014[6]C.Yuan,L.M.Mitsumori,M.S.Ferguson,andetal.,“Theinvivoaccuracyofmultispectralmrimagingforidentifyinglipid-richnecroticcoresandintraplaquehemorrhageinadvancedhumancarotidplaques,”AccCurrentJournalReview,vol.11,no.2,p.37,2002.
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种CTA到MRA跨模态预测的颈动脉斑块识别方法及系统。根据本专利技术提供的一种CTA到MRA跨模态预测的颈动脉斑块识别方法，包括以下步骤：数据收集步骤：收集配对的颈动脉CTA和MRA图像数据；斑块分割及模型训练步骤：先进行CTA和MRA颈动脉管腔的定位，然后进行颈动脉斑块的分割，获得CTA和MRA的斑块区域图像，将CTA和MRA的斑块区域图像送到pix2pix或者cycle-GAN网络进行训练，获得初步训练后的模型；模型增强训练步骤：设计生成式对抗网络GAN进行CTA和MRA数据扩增，对初步训练后的模型进一步训练，获得最终训练后的模型；斑块识别步骤：根据配对输入的颈动脉斑块图像，通过获得的最终训练后的模型对新的CTA图像进行跨模态融合预测。优选地，所述斑块分割及模型训练步骤包括：图像分割步骤、模型训练步骤；所述图像分割步骤：进行级联颈动脉管腔、斑块一体化分割算法设计，包括：对于整个头颈部CTA扫描图像，使用语义分割算法先对管腔区域进行分割，以颈动脉管腔区域作为感兴趣区域再对斑块进行分割，提高颈动脉斑块区域识别正确率；在颈动脉斑块分割方面，采用生成式对抗网络进行数据扩增来提高分割精度的方法；在斑块成分检测方面，利用跨模态融合预测方法提升斑块图像质量；所述斑块分割步骤中采用3DU-Net进行三维图像分割；所述模型训练步骤：首先将CTA和MRA影像进行配准，之后根据分割获得的CTA和MRA的斑块区域图像，对斑块区域使用pix2pix或者cycle-GAN网络构建CTA跨模态生成MRA模型，获得初步训练后的模型。优选地，所述模型增强训练步骤：设计生成式对抗网络GAN进行CTA和MRA数据扩增，通过生成大量的近似分布样本使数据特征分布空间更大，通过生成式对抗网络GAN算法提高小样本分割正确率，同时获得的初步训练后的模型，进行颈动脉斑块CTA到MRA跨模态融合预测，挖掘多模态结构信息，进一步提高斑块成分分析的正确率，最后使用分类网络进行斑块成分分类及斑块性质稳定性预测，获得最终训练后的模型。优选地，所述生成式对抗网络GAN的网络结构包括：生成模型G和判别模型D；生成模型G捕获样本数据分布并生成类似于真实训练数据的样本，其中噪声Z服从某个分布；判别模型D是一个二分类器，用于估计样本来自训练数据的概率；所述训练数据指非生成数据；所述分布包括：高斯分布、随机分布以及均匀分布。优选地，所述斑块识别步骤：根据配对输入的颈动脉斑块图像，通过最终训练后的模型生成跨模态生成的MRA斑块影像，以斑块MRA检查所示斑块内成分作为斑块特征标签，对跨模态生成的MRA斑块影像进行斑块组成成分分类预测本文档来自技高网...

【技术保护点】
1.一种基于CTA到MRA跨模态预测的颈动脉斑块识别方法，其特征在于，包括以下步骤：/n数据收集步骤：收集配对的颈动脉CTA和MRA图像数据；/n斑块分割及模型训练步骤：先进行CTA和MRA颈动脉管腔的定位，然后进行颈动脉斑块的分割，获得CTA和MRA的斑块区域图像，将CTA和MRA的斑块区域图像送到pix2pix或者cycle-GAN网络进行训练，获得初步训练后的模型；/n模型增强训练步骤：设计生成式对抗网络GAN进行CTA和MRA数据扩增，对初步训练后的模型进一步训练，获得最终训练后的模型；/n斑块识别步骤：根据配对输入的颈动脉斑块图像，通过获得的最终训练后的模型对新的CTA图像进行跨模态融合预测。/n

【技术特征摘要】
1.一种基于CTA到MRA跨模态预测的颈动脉斑块识别方法，其特征在于，包括以下步骤：
数据收集步骤：收集配对的颈动脉CTA和MRA图像数据；
斑块分割及模型训练步骤：先进行CTA和MRA颈动脉管腔的定位，然后进行颈动脉斑块的分割，获得CTA和MRA的斑块区域图像，将CTA和MRA的斑块区域图像送到pix2pix或者cycle-GAN网络进行训练，获得初步训练后的模型；
模型增强训练步骤：设计生成式对抗网络GAN进行CTA和MRA数据扩增，对初步训练后的模型进一步训练，获得最终训练后的模型；
斑块识别步骤：根据配对输入的颈动脉斑块图像，通过获得的最终训练后的模型对新的CTA图像进行跨模态融合预测。


2.根据权利要求1所述的多基于CTA到MRA跨模态预测的颈动脉斑块识别方法，其特征在于，所述斑块分割及模型训练步骤包括：
图像分割步骤、模型训练步骤；
所述图像分割步骤：
进行级联颈动脉管腔、斑块一体化分割算法设计，包括：
对于整个头颈部CTA扫描图像，使用语义分割算法先对管腔区域进行分割，以颈动脉管腔区域作为感兴趣区域再对斑块进行分割，提高颈动脉斑块区域识别正确率；
在颈动脉斑块分割方面，采用基于生成式对抗网络进行数据扩增来提高分割精度的方法；
在斑块成分检测方面，利用跨模态融合预测方法提升斑块图像质量；
所述斑块分割步骤中采用3DU-Net进行三维图像分割；
所述模型训练步骤：
首先将CTA和MRA影像进行配准，之后根据分割获得的CTA和MRA的斑块区域图像，对斑块区域使用pix2pix或者cycle-GAN网络构建CTA跨模态生成MRA模型，获得初步训练后的模型。


3.根据权利要求1所述的基于CTA到MRA跨模态预测的颈动脉斑块识别方法，其特征在于，所述模型增强训练步骤：
设计生成式对抗网络GAN进行CTA和MRA数据扩增，通过生成大量的近似分布样本使数据特征分布空间更大，通过生成式对抗网络GAN算法提高小样本分割正确率，同时基于获得的初步训练后的模型，进行颈动脉斑块CTA到MRA跨模态融合预测，挖掘多模态结构信息，进一步提高斑块成分分析的正确率，最后使用分类网络进行斑块成分分类及斑块性质稳定性预测，获得最终训练后的模型。


4.根据权利要求1所述的基于CTA到MRA跨模态预测的颈动脉斑块识别方法，其特征在于，所述生成式对抗网络GAN的网络结构包括：
生成模型G和判别模型D；
生成模型G捕获样本数据分布并生成类似于真实训练数据的样本，其中噪声Z服从某个分布；
判别模型D是一个二分类器，用于估计样本来自训练数据的概率；
所述训练数据指非生成数据；
所述分布包括：高斯分布、随机分布以及均匀分布。


5.根据权利要求1所述的基于CTA到MRA跨模态预测的颈动脉斑块识别方法，其特征在于，所述斑块识别步骤：
根据配对输入的颈动脉斑块图像，通过最终训练后的模型生成跨模态生成的MRA斑块影像，以斑块MRA检查所示斑块内成分作为斑块特征标签，对跨模态生成的MRA斑块影像进行斑块组成成分分类预测。

【专利技术属性】
技术研发人员：耿道颖，于泽宽，张军，尹波，李郁欣，吴昊，耿岩，胡斌，杨丽琴，张晓龙，狄若愚，
申请(专利权)人：复旦大学附属华山医院，
类型：发明
国别省市：上海;31