一种易损性斑块跟踪识别系统及方法技术方案

本发明专利技术提供一种易损性斑块跟踪识别系统及方法，涉及医学影像识别技术领域，包括：数据采集模块，用于采集若干患者的颈动脉超声视频以及心脑血管危险因素信息；数据处理模块，用于对颈动脉超声视频中的各帧颈动脉超声图像依次进行标注得到颈动脉超声标注视频；数据训练模块，用于根据颈动脉超声标注视频和心脑血管危险因素信息作为输入数据训练得到斑块跟踪识别模型；斑块识别模块，用于将待识别患者的颈动脉超声视频以及心脑血管危险因素信息输入斑块跟踪识别模型，以在颈动脉超声视频播放过程中跟踪识别得到包含的斑块的标注框以及斑块是否为易损性斑块，以辅助医生对待识别患者进行易损性斑块评估。有益效果是大大提高易损性斑块的检出率。

【技术实现步骤摘要】
一种易损性斑块跟踪识别系统及方法
本专利技术涉及医学影像识别
，尤其涉及一种易损性斑块跟踪识别系统及方法。
技术介绍
心脑血管疾病是危害全球百姓健康最严重的疾病之一，发病率、死亡率和致残率呈逐年上升趋势，防治工作刻不容缓。动脉粥样硬化斑块的突发破裂是引发心脑血管意外事件的主要原因，早期识别斑块破裂的风险至关重要。颈动脉作为最容易探查的大动脉之一，成为反应全身动脉系统健康状况的窗口。临床上常用的影像学检查中，对斑块稳定性研究的探索主要基于血管内超声(Intravenousultrasound，IVUS)、高分辨磁共振(High-resolutionMagneticResonanceImaging,HR-MRI)、超声(Ultrasound，US)层面，但由于前两者检查费时昂贵，且IVUS为有创检查，均不能在临床得到广泛应用。US具有安全无辐射、价格低廉、便捷、实时观察病变等优点，是一线筛查的首选检查。利用常规对比增强超声(ContrastEnhancedUltrasound)可以观察斑块的形态、回声、新生血管及内部溃疡情况，是评价斑块稳定性的重要手段。然而超声图像的判读对操作者依赖性较强，不同观察者间存在对图像认知不同的情况，对图像的判读存在较大差异。随着模式识别工具的升级和训练用数据集的增加，医学影像领域的人工智能(ArtificialIntelligence，AI)研究进展迅速。AI在医学影像领域的应用一个重要方式是通过深度学习算法对影像进行计算机视觉识别，通过影像数据和作为标签临床诊断数据进行训练，建立预测模型，使其进行智能诊断。近年来应用AI手段来分析患者颈动脉斑块的研究开展逐渐广泛，可进行更为细致的评估，不会出现操作者依赖的问题，能实现准确无误的智能化提取及识别图像。但这些网络及算法旨在探查和分割单个的超声图像，并且需要花费大量的时间进行手动标记识别，这对于临床应用而言具有很大的挑战性。
技术实现思路
针对现有技术中存在的问题，本专利技术提供一种易损性斑块跟踪识别系统，具体包括：数据采集模块，用于采集若干患者的颈动脉超声视频，以及各所述患者的心脑血管危险因素信息；数据处理模块，连接所述数据采集模块，用于对所述颈动脉超声视频中的各帧颈动脉超声图像依次进行标注，得到标注标签信息的各所述颈动脉超声图像组成的颈动脉超声标注视频；所述标签信息包括每帧所述颈动脉超声图像中包含的斑块的标注框以及所述斑块是否为易损性斑块；数据训练模块，分别连接所述数据采集模块和所述数据处理模块，用于将所述颈动脉超声标注视频和对应的所述心脑血管危险因素信息作为输入数据，将所述标签信息作为输出数据，训练得到斑块跟踪识别模型；斑块识别模块，连接所述数据训练模块，用于将获取到的待识别患者的所述颈动脉超声视频以及对应的所述心脑血管危险因素信息输入所述斑块跟踪识别模型，以在所述颈动脉超声视频播放过程中跟踪识别得到包含的所述斑块的所述标注框以及所述斑块是否为易损性斑块，以辅助医生对所述待识别患者进行易损性斑块评估。优选的，所述斑块识别模块包括：获取单元，用于获取所述待识别患者的所述颈动脉超声视频以及对应的所述心脑血管危险因素信息；处理单元，连接所述获取单元，用于提取所述颈动脉超声视频中的第一帧超声图像，并对所述第一帧超声图像中的斑块的所在区域进行边缘识别；识别单元，分别连接所述获取单元和所述处理单元，用于将所述心脑血管危险因素信息以及包含边缘识别结果的所述颈动脉超声视频输入所述斑块跟踪识别模型，以在所述颈动脉超声视频播放过程中跟踪识别得到包含的所述斑块的所述标注框以及所述斑块是否为易损性斑块。优选的，所述处理单元中，采用轴向对齐的一矩形框对所述第一帧超声图像中的所述斑块的所在区域进行框选作为所述边缘识别结果。优选的，所述斑块跟踪识别模型采用全卷积SiamMask++神经网络构架。优选的，所述全卷积SiamMask++神经网络构架的结构包括：第一特征提取网络，所述第一特征提取网络的输入为所述颈动脉超声视频中的待识别的当前帧超声图像，所述第一特征提取网络的输出为对应的一第一特征图；第二特征提取网络，所述第二特征提取网络的输入为包含跟踪识别结果的上一帧超声图像，所述第二特征提取网络的输出为对应的一第二特征图；跟踪网络，分别连接所述第一特征提取网络和所述第二特征提取网络，所述跟踪网络的输出为所述当前帧超声图像中待跟踪斑块的识别结果，以及所述待跟踪斑块相对于所述上一帧超声图像的位置偏移结果；反卷积网络，连接所述第二特征提取网络，所述第一特征图和所述第二特征图进行互相关后作为所述反卷积网络的输入，所述反卷积网络的输出依次经过一总卷积层和一激活函数后得到所述当前帧超声图像的跟踪识别结果。优选的，所述第一特征提取网络和第二特征提取网络为孪生网络；所述第一特征提取网络包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，且所述第三卷积层的输出、所述第四卷积层的输出和所述第五卷积层的输出进行特征融合后经上采样得到所述第一特征图；所述第二特征提取网络包括依次连接的第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层，且所述第八卷积层的输出、所述第九卷积层的输出和所述第十卷积层的输出进行特征融合后经上采样得到所述第二特征图。优选的，所述跟踪网络包括依次连接的第一跟踪子网络、第二跟踪子网络和第三跟踪子网络，所述第三卷积层的输出和所述第八卷积层的输出作为所述第一跟踪子网络的输入，所述第四卷积层的输出和所述第九卷积层的输出作为所述第二跟踪子网络的输入，所述第五卷积层的输出和所述第十卷积层的输出作为所述第三跟踪子网络的输入，所述第一跟踪子网络的输出、所述第二跟踪子网络的输出和第三跟踪子网络的输出进行线性加权处理后作为跟踪网络的输出。优选的，所述第一跟踪子网络、第二跟踪子网络和第三跟踪子网络采用孪生位置建议网络。优选的，所述反卷积网络包括：第一反卷积层，所述第一特征图和所述第二特征图进行互相关作为第一反卷积层的输入；第二反卷积层，所述第一反卷积层的输出和所述第八卷积层的输出进行特征融合后作为所述第二反卷积层的输入；第三反卷积层，所述第二反卷积层的输出和所述第七卷积层的输出进行特征融合后作为所述第三反卷积层的输入；第四反卷积层，所述第三反卷积层的输出和所述第六卷积层的输出进行特征融合后作为所述第四反卷积层的输入，所述第四反卷积层的输出作为所述总卷积层的输入。一种易损性斑块跟踪识别方法，应用于上述任意一项所述的易损性斑块跟踪识别系统，所述易损性斑块跟踪识别方法具体包括以下步骤：步骤S1，所述易损性斑块跟踪识别系统采集若干患者的颈动脉超声视频，以及各所述患者的心脑血管危险因素信息；步骤S2，所述易损性斑块跟踪识别系统对所述颈动脉超声视频中的各帧颈动脉超声图像依次进行标注，得到标注标签信息的各所述颈动脉超声图像组成的颈动脉超声标注视频；...

【技术保护点】
1.一种易损性斑块跟踪识别系统，其特征在于，具体包括：/n数据采集模块，用于采集若干患者的颈动脉超声视频，以及各所述患者的心脑血管危险因素信息；/n数据处理模块，连接所述数据采集模块，用于对所述颈动脉超声视频中的各帧颈动脉超声图像依次进行标注，得到标注标签信息的各所述颈动脉超声图像组成的颈动脉超声标注视频；/n所述标签信息包括每帧所述颈动脉超声图像中包含的斑块的标注框以及所述斑块是否为易损性斑块；/n数据训练模块，分别连接所述数据采集模块和所述数据处理模块，用于将所述颈动脉超声标注视频和对应的所述心脑血管危险因素信息作为输入数据，将所述标签信息作为输出数据，训练得到斑块跟踪识别模型；/n斑块识别模块，连接所述数据训练模块，用于将获取到的待识别患者的所述颈动脉超声视频以及对应的所述心脑血管危险因素信息输入所述斑块跟踪识别模型，以在所述颈动脉超声视频播放过程中跟踪识别得到包含的所述斑块的所述标注框以及所述斑块是否为易损性斑块，以辅助医生对所述待识别患者进行易损性斑块评估。/n

【技术特征摘要】
1.一种易损性斑块跟踪识别系统，其特征在于，具体包括：
数据采集模块，用于采集若干患者的颈动脉超声视频，以及各所述患者的心脑血管危险因素信息；
数据处理模块，连接所述数据采集模块，用于对所述颈动脉超声视频中的各帧颈动脉超声图像依次进行标注，得到标注标签信息的各所述颈动脉超声图像组成的颈动脉超声标注视频；
所述标签信息包括每帧所述颈动脉超声图像中包含的斑块的标注框以及所述斑块是否为易损性斑块；
数据训练模块，分别连接所述数据采集模块和所述数据处理模块，用于将所述颈动脉超声标注视频和对应的所述心脑血管危险因素信息作为输入数据，将所述标签信息作为输出数据，训练得到斑块跟踪识别模型；
斑块识别模块，连接所述数据训练模块，用于将获取到的待识别患者的所述颈动脉超声视频以及对应的所述心脑血管危险因素信息输入所述斑块跟踪识别模型，以在所述颈动脉超声视频播放过程中跟踪识别得到包含的所述斑块的所述标注框以及所述斑块是否为易损性斑块，以辅助医生对所述待识别患者进行易损性斑块评估。


2.根据权利要求1所述的易损性斑块跟踪识别系统，其特征在于，所述斑块识别模块包括：
获取单元，用于获取所述待识别患者的所述颈动脉超声视频以及对应的所述心脑血管危险因素信息；
处理单元，连接所述获取单元，用于提取所述颈动脉超声视频中的第一帧超声图像，并对所述第一帧超声图像中的斑块的所在区域进行边缘识别；
识别单元，分别连接所述获取单元和所述处理单元，用于将所述心脑血管危险因素信息以及包含边缘识别结果的所述颈动脉超声视频输入所述斑块跟踪识别模型，以在所述颈动脉超声视频播放过程中跟踪识别得到包含的所述斑块的所述标注框以及所述斑块是否为易损性斑块。


3.根据权利要求2所述的易损性斑块跟踪识别系统，其特征在于，所述处理单元中，采用轴向对齐的一矩形框对所述第一帧超声图像中的所述斑块的所在区域进行框选作为所述边缘识别结果。


4.根据权利要求1所述的易损性斑块跟踪识别系统，其特征在于，所述斑块跟踪识别模型采用全卷积SiamMask++神经网络构架。


5.根据权利要求4所述的易损性斑块跟踪识别系统，其特征在于，所述全卷积SiamMask++神经网络构架的结构包括：
第一特征提取网络，所述第一特征提取网络的输入为所述颈动脉超声视频中的待识别的当前帧超声图像，所述第一特征提取网络的输出为对应的一第一特征图；
第二特征提取网络，所述第二特征提取网络的输入为包含跟踪识别结果的上一帧超声图像，所述第二特征提取网络的输出为对应的一第二特征图；
跟踪网络，分别连接所述第一特征提取网络和所述第二特征提取网络，所述跟踪网络的输出为所述当前帧超声图像中待跟踪斑块的识别结果，以及所述待跟踪斑块相对于所述上一帧超声图像的位置偏移结果；
反卷积网络，连接所述第二特征提取网络，所述第一特征图和所述第二特征图进行互相关后作为所述反卷积网络的输入，所述反卷积网络的输出依次经过一总卷积层和一激活函数后得到所述当前帧超声图像的跟踪识别结果。


6.根据权利要求5所述的易损性斑...

【专利技术属性】
技术研发人员：陈曼，黄芸谦，余锦华，李乐吟，朱雯倩，
申请(专利权)人：上海市同仁医院，
类型：发明
国别省市：上海;31