当前位置: 首页 > 专利查询>山东大学专利>正文

基于深度学习与迁移学习的IVUS组织标注系统技术方案

技术编号:18257458 阅读:498 留言:0更新日期:2018-06-20 08:55
本发明专利技术基于深度学习与迁移学习的IVUS组织标注方法及系统,图像采集和预处理;将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准,得到配准后的IVUS图像;根据异常斑块的染色和正常组织是不同的,对配准后的IVUS图像进行斑块检测,将配准后的IVUS图像的异常斑块位置使用标签进行标注,得到异常斑块位置的标签信息;根据配准后的IVUS图像和异常斑块位置的标签信息,利用深度学习算法进行训练,得到检测模型;将训练得到的检测模型迁移到人的IVUS图像中;将进行内外膜分割的人的IVUS图像输入到检测模型中,进行人血管中的斑块进行检测,根据检测结果对人血管中的不同斑块组织进行标注。

IVUS organization annotation method and system based on deep learning and transfer learning

The invention is based on the IVUS organization tagging method and system, image acquisition and preprocessing based on deep learning and migration learning, and registration of the IVUS images of animals separated by internal and external membrane and the stained tissue slice images to obtain the IVUS image after registration. After the IVUS image is detected, the abnormal patch position of the IVUS image after registration is tagged to get the label information of the abnormal patch position. According to the label information of the IVUS image and the abnormal patch position after registration, the detection model is trained by the depth learning algorithm, and the training is obtained. The detection model is migrated to the human IVUS image, and the IVUS image of the internal and external membrane segmentation is input into the detection model, and the plaque in the human blood vessel is detected, and the different plaque tissues in the human blood vessel are labeled according to the results.

【技术实现步骤摘要】
基于深度学习与迁移学习的IVUS组织标注方法及系统
本专利技术涉及基于深度学习与迁移学习的IVUS组织标注方法及系统。
技术介绍
血管内超声(intravascularultrasound,IVUS)是分析血管形态和检测粥样硬化斑块的常用介入影像手段。它利用镶嵌于心导管顶端的微小超声探头,从血管腔内获得管腔的切面图像,完整显示包括血管壁外膜和中膜边界、内膜即管腔以及两者之间的斑块负荷情况在内的血管横断面。目前对IVUS图像中斑块的识别和分类主要由人工手动完成,不仅工作量巨大,而且结果的主观性强,可重复性差,易受操作者的临床经验和专业知识的影响。因此,自动检测IVUS图像中的斑块组织并对其按照成分进行分类具有重要的临床应用价值。由于IVUS成像的分辨率较低,所以容易丢失细节信息,这样就给利用数字图像处理技术来提取纹理信息进行分类标注的造成困难。
技术实现思路
为了解决现有技术的不足,本专利技术提供了基于深度学习与迁移学习的IVUS组织标注方法及系统,其基于深度学习并根据动物的组织切片对血管内超声图像组织自动标定并利用迁移学习的方法将模型应用到人的血管内超声图像组织自动组织标注;基于深度学习与迁移学习的IVUS组织标注方法,包括:步骤(101):图像采集和预处理:采集人的IVUS图像,对人的IVUS图像进行内外膜的分割;采集动物的IVUS图像,对动物的IVUS图像进行内外膜的分割;将动物的IVUS图像对应的动物血管做成切片,对切片进行染色,对染色处理后的切片进行拍照获得染色后的组织切片图像;步骤(102):图像配准:将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准,得到配准后的IVUS图像;步骤(103):斑块检测:根据异常斑块的染色和正常组织是不同的,对配准后的IVUS图像进行斑块检测,将配准后的IVUS图像的异常斑块位置使用标签进行标注,得到异常斑块位置的标签信息;步骤(104):检测模型搭建:根据配准后的IVUS图像和异常斑块位置的标签信息,利用深度学习算法进行训练,得到检测模型;步骤(105):迁移学习:利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中;步骤(106):将进行内外膜分割的人的IVUS图像输入到检测模型中,进行人血管中的斑块进行检测,根据检测结果对人血管中的不同斑块组织进行标注。所述对切片进行染色,对染色处理后的切片进行拍照获得染色后的组织切片图像是指:对切片中脂质斑块、纤维化斑块和钙化斑块分别进行染色处理,其中,一个切片染色一种斑块,对染色处理后的切片进行拍照共得到3幅染色后的切片图像。所述图像配准利用CNN的深度学习或是手动配准的方法将组织切片图像与IVUS图像配准。所述斑块检测,利用目标检测算法。所述目标检测算法,包括但不限于R-CNN,SPP-NET,FastR-CNN,FasterR-CNN等深度学习方法。所述迁移学习,由于动物的血管和人的血管在特征分布上具有相似性,故采用基于特征选择的迁移学习方法来识别出人的血管与动物中共有的特征表示,然后利用共有特征进行模型迁移。基于深度学习与迁移学习的IVUS组织标注系统,包括:图像采集和预处理模块,用于采集人的IVUS图像,对人的IVUS图像进行内外膜的分割;采集动物的IVUS图像,对动物的IVUS图像进行内外膜的分割;将动物的IVUS图像对应的动物血管做成切片,对切片进行染色,对染色处理后的切片进行拍照获得染色后的组织切片图像;图像配准模块,用于将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准,得到配准后的IVUS图像;斑块检测模块,用于根据异常斑块的染色和正常组织是不同的,对配准后的IVUS图像进行斑块检测,将配准后的IVUS图像的异常斑块位置使用标签进行标注,得到异常斑块位置的标签信息;检测模型搭建模块,用于根据配准后的IVUS图像和异常斑块位置的标签信息,利用深度学习算法进行训练,得到检测模型;迁移学习模块,用于利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中;组织标注模块,用于将进行内外膜分割的人的IVUS图像输入到检测模型中,进行人血管中的斑块进行检测,根据检测结果对人血管中的不同斑块组织进行标注。基于深度学习与迁移学习的IVUS组织标注装置,包括:存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如上任一方法所述的步骤。一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时,完成如上任一方法所述的步骤。所述内外膜分割采用FCN深度学习算法,例如:ZhouH,ZhangJ,LeiJ,etal.ImagesemanticsegmentationbasedonFCN-CRFmodel[C]//InternationalConferenceonImage,VisionandComputing.IEEE,2016:9-14。所述图像配准利用CNN的深度学习,例如:UzunovaH,WilmsM,HandelsH,etal.TrainingCNNsforImageRegistrationfromFewSampleswithModel-basedDataAugmentation[J].2017。共有特征例如:纹理特征或图像灰度特征。所述迁移学习算法,例如:庄福振,罗平,何清,等.迁移学习研究进展[J].软件学报,2015,26(1):26-39.所述基于特征选择的迁移学习方法,例如:PanSJ,YangQ.ASurveyonTransferLearning[J].IEEETransactionsonKnowledge&DataEngineering,2010,22(10):1345-1359.本专利技术的有益效果是:根据组织切片,利用深度学习的方法对IVUS图像的斑块组织识别标注,降低了医生的负担,也减少了由于医生的主观性造成的误差。本专利技术中根据组织切片,利用深度学习的方法也极大的提高了斑块检测的准确性,提高了识别精度。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。图1是本专利技术的方法流程图;具体实施方式应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。如图1为本专利技术具体实施的方法流程图。下面将结合图1对此过程作进一步说明。基于深度学习与迁移学习的IVUS组织标注方法,包括:步骤(101):图像采集和预处理:采集人的IVUS图像,对人的IVUS图像进行内外膜的分割;采集动物的IVUS图像,对动物的IVUS图像进行内外膜的分割;将动物的IVUS图像对应的动物血管做成切片,对切片进行染色,对染色处理后的切片进行拍照获得染色后的组织切片图像;步骤(102):图像配准:将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准,得到配准后的IVUS图像;步骤(103):斑块检测:根据异常斑块的染色和正常组织是不同的,对配准后的IVUS图像进行斑块检测,将配准后的IVUS图像的异常斑块位置使用标签进行本文档来自技高网
...
基于深度学习与迁移学习的IVUS组织标注系统

【技术保护点】
1.基于深度学习与迁移学习的IVUS组织标注方法,其特征是,包括:步骤(101):图像采集和预处理:采集人的IVUS图像,对人的IVUS图像进行内外膜的分割;采集动物的IVUS图像,对动物的IVUS图像进行内外膜的分割;将动物的IVUS图像对应的动物血管做成切片,对切片进行染色,对染色处理后的切片进行拍照获得染色后的组织切片图像;步骤(102):图像配准:将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准,得到配准后的IVUS图像;步骤(103):斑块检测:根据异常斑块的染色和正常组织是不同的,对配准后的IVUS图像进行斑块检测,将配准后的IVUS图像的异常斑块位置使用标签进行标注,得到异常斑块位置的标签信息;步骤(104):检测模型搭建:根据配准后的IVUS图像和异常斑块位置的标签信息,利用深度学习算法进行训练,得到检测模型;步骤(105):迁移学习:利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中;步骤(106):将进行内外膜分割的人的IVUS图像输入到检测模型中,进行人血管中的斑块进行检测,根据检测结果对人血管中的不同斑块组织进行标注。

【技术特征摘要】
1.基于深度学习与迁移学习的IVUS组织标注方法,其特征是,包括:步骤(101):图像采集和预处理:采集人的IVUS图像,对人的IVUS图像进行内外膜的分割;采集动物的IVUS图像,对动物的IVUS图像进行内外膜的分割;将动物的IVUS图像对应的动物血管做成切片,对切片进行染色,对染色处理后的切片进行拍照获得染色后的组织切片图像;步骤(102):图像配准:将进行内外膜分割的动物的IVUS图像与染色后的组织切片图像进行配准,得到配准后的IVUS图像;步骤(103):斑块检测:根据异常斑块的染色和正常组织是不同的,对配准后的IVUS图像进行斑块检测,将配准后的IVUS图像的异常斑块位置使用标签进行标注,得到异常斑块位置的标签信息;步骤(104):检测模型搭建:根据配准后的IVUS图像和异常斑块位置的标签信息,利用深度学习算法进行训练,得到检测模型;步骤(105):迁移学习:利用迁移学习算法将训练得到的检测模型迁移到人的IVUS图像中;步骤(106):将进行内外膜分割的人的IVUS图像输入到检测模型中,进行人血管中的斑块进行检测,根据检测结果对人血管中的不同斑块组织进行标注。2.如权利要求1所述的基于深度学习与迁移学习的IVUS组织标注方法,其特征是,所述对切片进行染色,对染色处理后的切片进行拍照获得染色后的组织切片图像是指:对切片中脂质斑块、纤维化斑块和钙化斑块分别进行染色处理,其中,一个切片染色一种斑块,对染色处理后的切片进行拍照共得到3幅染色后的切片图像。3.如权利要求1所述的基于深度学习与迁移学习的IVUS组织标注方法,其特征是,所述图像配准利用CNN的深度学习或是手动配准的方法将组织切片图像与IVUS图像配准。4.如权利要求1所述的基于深度学习与迁移学习的IVUS组织标注方法,其特征是,所述...

【专利技术属性】
技术研发人员:张鹏飞刘治曹艳坤肖晓燕
申请(专利权)人:山东大学
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1