一种基于深度神经网络的超声结节重识别方法技术

本发明专利技术涉及超声视频人工智能技术，旨在提供一种基于深度神经网络的超声结节重识别方法。包括：收集超声结节影像，勾画其中的结节轮廓，建立数据集；构建包括特征提取器和分类器的结节分类模型并进行训练；仅使用模型中的特征提取器提取实时扫描影像中的特征向量；然后根据余弦距离来度量相似性，以此判断两个视频片段的内容是否属于同一结节；使用聚类算法对视频片段进行分类。本发明专利技术可快速地对超声检查过程中发现的超声结节进行实时重识别，提高扫查过程和结果诊断的效率；能够提高超声结节实时重识别的准确性，摆脱传统超声检查对医生个体能力的依赖。体能力的依赖。体能力的依赖。

【技术实现步骤摘要】
一种基于深度神经网络的超声结节重识别方法


[0001]本专利技术涉及超声视频人工智能技术，旨在提供一种基于深度神经网络的超声结节重识别和聚类方法。

技术介绍

[0002]医学超声检查由于没有放射性，检查方便、价格低廉，并可以根据需要进行反复扫查，是目前甲状腺疾病、乳腺疾病等多类疾病早期筛查和临床诊疗的重要手段。超声检查的难点在于图像采集和阅片工作需要同时完成，且超声影像无固定标准方向，使得超声检查对超声医生的技术水平和临床经验要求较高。例如，医生的扫查方向和手法不同、病人存在个体化差异、医生对于扫查影像结果的主观评估差异等诸多因素，都易造成超声检查结果的误诊、漏诊或多诊。
[0003]当前，随着计算机软硬件水平的快速提升，有关超声影像的计算机辅助诊断方法和技术应运而生并日益增多。这些自动化技术能够帮助超声医生进行有无结节、结节良恶性等的超声检查辅助诊断，一定程度上减少了传统人工阅片的工作量大、耗时长、主观性强等弊端。然而，无论是传统人工阅片，还是借助计算机技术和方法的智能辅助诊断，在面对三维动态超声的视频检查序列的检查过程中，由于很容易出现结节的重复扫查，即一段或多段动态视频中，同一个结节出现了多次。但仍需要医生对此类极易出现的情况进行判断，以确定是否为同一个结节从而保证整体超声检查结果的准确性。
[0004]面对超声视频中的结节多次出现，目前主要依靠超声扫查医生的个人主观重识别来确定是否为同一个结节，不同医生间的经验、技巧上的主观差异容易导致检查结果的不一致、误诊或漏诊等情形。并且，当结节多发的情况下，相应的重识别和诊断难度将呈现指数级增加。目前的计算机辅助诊断方法和技术尚且没有针对性的解决方案。
[0005]为了解决这类重要的实际临床需求问题，同时填补针对超声动态视频的目标重识别
空白，本专利技术提出基于深度神经网络的超声结节重识别方法。

技术实现思路

[0006]本专利技术要解决的技术问题是，克服现有技术中的不足，提供一种基于深度神经网络的超声结节重识别方法。
[0007]为解决上述技术问题，本专利技术采用的解决方案是：
[0008]提供一种基于深度神经网络的超声结节重识别方法，包括以下步骤：
[0009](1)收集足量的超声结节影像，勾画其中的结节轮廓，建立用于训练测试结节分类模型的数据集；
[0010](2)在训练阶段，以R(2+1)D网络作为基础架构，构建包括特征提取器和分类器的结节分类模型，并利用所述数据集进行训练；
[0011](3)在推理阶段，去除结节分类模型中的分类器，仅使用特征提取器提取实时扫描影像中的特征向量；然后根据特征向量之间的余弦距离来度量相似性，以此判断两个视频
片段的内容是否属于同一结节；
[0012](4)使用聚类算法对视频片段进行分类。
[0013]专利技术原理描述：
[0014]本专利技术的基于深度神经网络的超声结节重识别方法，通过收集足量的超声结节影像，建立用以训练结节分类模型的数据集；以R(2+1)D网络作为基础架构，利用数据集进行训练，得到结节分类模型；去除全连接层，提取超声结节影像片段特征，判断两个影像片段是否属于同一结节；对影像片段按照结节归类。
[0015]常规技术在利用深度神经网络进行医学图像分析与学习时，通常使用二维卷积，因为图像只含有空间特征(宽和高)；视频则不同于图像，视频由一系列图像组成，含有空间特征和时间特征(宽、高以及帧号顺序)，所以，针对视频分类时需要使用三维卷积来提取特征。
[0016]与现有技术不同的是，本专利技术创新地提出使用由二维卷积和一维卷积的R(2+1)D结构分类网络来替代传统技术中三维卷积的基础网络。其中，二维卷积用于提取空间特征，一维卷积用于提取时间特征，这是现有文献未曾记载过的新技术。
[0017]与现有技术相比，本专利技术的技术效果是：
[0018]1、本专利技术可快速地对超声检查过程中发现的超声结节进行实时重识别，通过计算和聚类判定是否为同一个结节，提高扫查过程和结果诊断的效率。
[0019]2、本专利技术能够提高超声结节实时重识别的准确性，避免出现不同医生间的经验、技巧上的主观差异导致的检查结果不一致、误诊或漏诊等问题。
[0020]3、本专利技术摆脱传统超声检查对医生个体能力的依赖，既可以满足临床应用的重要需求，也有助于推动分级诊疗、医疗资源的均衡发展。
附图说明
[0021]图1为R(2+1)D的结节分类网络模型特征提取器的空间
‑
时间卷积层结构示意图。
[0022]图2为R(2+1)D的结节分类网络模型的总体结构示意图。
[0023]图3为单帧截取示意图。
[0024]图4为截取前(左)与截取后(右)的系列视频帧示意图。
[0025]图5为应用示例的推理流程示意图。
具体实施方式
[0026]下面结合附图，对本专利技术的具体实施方式进行详细描述。
[0027]本专利技术提供的基于深度神经网络的超声结节重识别方法，包括以下步骤：
[0028]1、收集足量的超声结节影像，勾画其中的结节轮廓，建立用于训练测试结节分类模型的数据集；具体包括：
[0029](1)针对不同病患的超声结节扫查过程进行录像，并收集足量的超声结节影像；在超声结节影像中标注结节每次出现的起始帧、结束帧；
[0030](2)按照临床标准，在超声结节影像中结节每次出现的起始帧、结束帧以及结节形态发生重大变化的关键帧上勾画出结节轮廓，生成对应的掩模图像；在此基础上，对结节的起始帧和结束帧之间的视频帧采用补帧算法，补全缺失的掩模。由于结节发生重大变化的
关键帧都进行了标注，可以保证补帧得到的掩膜与结节的真实掩膜相近。
[0031](3)将经过处理后的超声结节影像，分为训练集、验证集和测试集三部分。
[0032]2、在训练阶段，以R(2+1)D网络作为基础架构，构建包括特征提取器和分类器的结节分类模型，并利用所述数据集进行训练；该步骤具体包括：
[0033](1)建立结节分类模型
[0034]区别于现有技术中针对图像分类、视频分类需要使用三维卷积来提取特征的做法，本专利技术建立了由二维卷积和一维卷积构成的R(2+1)D结节分类模型，其中，二维卷积用于提取空间特征，一维卷积用于提取时间特征(如图1所示)。
[0035]如图2所示，该模型包括特征提取器和分类器两个模块，其中特征提取器包含五个空间
‑
时间卷积层，和一个空间
‑
时间池化层，分类器包含一个全连接层；每个空间
‑
时间卷积层由一个空间卷积层和时间卷积层组成，每个空间卷积层和时间卷积层之后各连接一个BN层和Relu激活层；输入的视频经过五个空间
‑
时间卷积层和一个池化层后形成特征向量feature(该特征向量中包含了神经网络从视频中提取到的信息，如边缘、形状、回声等)；利用这些信息，通过全连接层对结节的类别作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的超声结节重识别方法，其特征在于，包括以下步骤：(1)收集足量的超声结节影像，勾画其中的结节轮廓，建立用于训练测试结节分类模型的数据集；(2)在训练阶段，以R(2+1)D网络作为基础架构，构建包括特征提取器和分类器的结节分类模型，并利用所述数据集进行训练；(3)在推理阶段，去除结节分类模型中的分类器，仅使用特征提取器提取实时扫描影像中的特征向量；然后根据特征向量之间的余弦距离来度量相似性，以此判断两个视频片段的内容是否属于同一结节；(4)使用聚类算法对视频片段进行分类。2.根据权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：(1.1)针对不同病患的超声结节扫查过程进行录像，并收集足量的超声结节影像；在超声结节影像中标注结节每次出现的起始帧、结束帧；(1.2)按照临床标准，在超声结节影像中结节的起始帧、结束帧以及结节形态发生重大变化的关键帧上勾画出结节轮廓，生成对应的掩模图像；在此基础上，对结节的起始帧和结束帧之间的视频帧采用补帧算法，补全缺失的掩模；(1.3)将经过处理后的超声结节影像，分为训练集、验证集和测试集三部分。3.根据权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：(2.1)建立结节分类模型建立由二维卷积和一维卷积构成的R(2+1)D结节分类模型；其中，二维卷积用于提取空间特征，一维卷积用于提取时间特征；该模型包括特征提取器和分类器两个模块，其中特征提取器包含五个空间
‑
时间卷积层和一个空间
‑
时间池化层，分类器包含一个全连接层；每个空间
‑
时间卷积层由一个空间卷积层和时间卷积层组成，每个空间卷积层和时间卷积层之后各连接一个BN层和Relu激活层；输入的视频经过五个空间
‑
时间卷积层和一个池化层后形成特征向量feature；利用这些信息，通过全连接层对结节的类别作出预测；(2.2)训练数据的预处理根据补全后的结节掩模，截取视频帧中所有包含结节勾画掩模的区域；某个结节的一系列连续视频帧被称为一个视频片段，同一结节被多次扫查将产生多个视频片段；将各视频片段调整到固定大小、尺寸，并进行数据归一化处理；(2.3)使用训练集训练结节分类模型，在验证集上评估其表现使用预处理后的视频片段进行训练，根据视频的特征、预测概率和真实标签计算损失函数loss，然后使用标准的bp算法根据梯度更新模型的权重；训练过程使用adam优化器，采取warmup策略，在最初的5个数据前向计算反向传播的过程中(epoch)以固定的稍小的学习率学习，然后线性增大到指定的学习率；训练...

【专利技术属性】
技术研发人员：蒋思远，张建峰，梁萍，于杰，王羽翎，孙立涛，李世岩，包凌云，郑哲岚，牟芸，陈燕，朱法望，孔德兴，杜佩，马新月，孔维真，
申请(专利权)人：海盐县南北湖医学人工智能研究院浙江大学，
类型：发明
国别省市：