基于时空记忆网络的甲状腺视频流结节识别系统技术方案

本发明专利技术公开了一种基于时空记忆网络的甲状腺视频流结节识别系统，包括图像获取模块、结节坐标获取模块、结节分类模块和结果匹配模块。该系统将甲状腺超声视频流数据输入到结节检测模型中，提取结节位置坐标，根据结节坐标从超声视频帧中截取结节ROI区域，将截取的ROI图像Resize到固定尺寸后输入到时空记忆网络中。该时空记忆网络对历史帧结节进行空间特征提取，然后对该特征进行编码存储；进行当前帧诊断时，该网络先将当前帧结节特征进行提取、编码，然后将存储的历史帧结节特征读取并与当前帧结节特征结合，判断当前帧结节的良恶性。本发明专利技术避免了单帧图像诊断造成的误差，有效提高视频诊断准确率及诊断结果一致性。高视频诊断准确率及诊断结果一致性。高视频诊断准确率及诊断结果一致性。

【技术实现步骤摘要】
基于时空记忆网络的甲状腺视频流结节识别系统


[0001]本专利技术涉及图像处理
，尤其涉及一种基于时空记忆网络的甲状腺视频流结节识别系统。

技术介绍

[0002]甲状腺癌近年发病率不断提高，早发现与早治疗是提高甲状腺癌患者存活率的重要手段。超声检查具有无痛苦、无电离辐射、经济适用、实时成像等优点，适合甲状腺常规普查。临床上，超声灰阶图像能反映出结节形态、病变方向、病变界限及边缘等特征。同时也有成像质量差、差异性大等特有的缺点。近年来，深度学习已经成为最主要的机器学习工具，广泛应用于各个研究领域。在医学超声图像分析中，深度学习也展示了巨大的潜力，通过深度学习技术开发自动化超声图像分析方法来帮助医生进行超声诊断，一方面可以减轻医生的负担，另一方面可以降低诊断的主观性，从而使得诊断更加客观与准确。
[0003]目前已有很多运用深度学习方法在医疗图像上进行辅助诊断的技术，尤其在针对CT，核磁图像的应用，如肺结节筛查，血管分割等。现有技术方案中，大多方法基于静态图片进行分析，对于超声视频数据的应用很少，主要原因为超声检查视频数据质量较差，且图像内容、病灶大小、形态、纹理等特征会随着操作医师的手法变化而变化，不利于神经网络提取病灶显著特征，从而导致同一病灶，不同视频帧模型判断结果不一致的情况出现。

技术实现思路

[0004]本专利技术的目的是提供一种基于时空记忆网络的甲状腺视频流结节识别系统，以解决基于静态图片进行分析甲状腺结节时难以提取病灶显著特征、从而导致同一病灶，不同视频帧模型判断结果不一致的技术问题。
[0005]本专利技术的技术方案如下：基于时空记忆网络的甲状腺视频流结节识别系统，包括：图像获取模块，用于实时获取甲状腺临床超声检查中视频流，进行分帧处理；结节坐标获取模块，用于将完成图像预处理的当前帧和历史帧图像输入到结节检测模型中，得到结节坐标；其中，取第k帧图像作为当前帧，当k>5时从k之前的图像帧中随机采样M帧作为历史帧；结节分类模块，用于根据结节坐标从整图中截取结节ROI图像，将历史帧结节图像输入到时空记忆网络进行编码存储，将当前帧结节图像输入到时空记忆网络进行编码，并读取历史帧结节信息进行融合，然后进行结节性质分类，该时空记忆网络综合考虑历史帧结节信息与当前帧结节信息；结果匹配模块，用于根据所述结节检测模型的输出确定所述待测超声图像帧的结节坐标，完成对所述待测超声图像帧中的结节的检测；根据所述时空记忆网络的输出确定所述待测超声图像帧的结节性质分类，得到当前帧的结节识别结果。
[0006]优选的，所述图像获取模块包括预处理子模块，该预处理步骤包括：
将待测超声图像帧调整到设定的尺寸；裁掉待测超声图像中的无关区域，仅保留超声窗口区域；对待测超声图像帧进行直方图均衡化；对待测超声图像帧进行归一化，得到完成图像预处理的所述待测超声图像帧。
[0007]进一步的，本系统还包括：样本数据集构建模块，所述样本数据集包括若干段甲状腺区域的超声检查视频流，每个样本超声图像帧中包括结节标注框，所述结节标注框用于标注样本超声图像中的结节位置以及类型，所述样本数据集的样本超声图像中包括多种不同位置和/或类型的结节；模型训练模块，用于利用所述样本数据集训练结节检测模型和时空记忆网络，得到最终推理模型。
[0008]优选的，所述模型训练模块训练所述结节检测模型的步骤包括：利用ImageNet数据集对结节检测模型backbone部分进行预训练；使用预训练好的网络参数初始化结节检测模型backbone部分，并利用所述样本数据集进行迁移学习得到所述结节检测模型；所述模型训练模块训练所述时空记忆网络的步骤包括：利用ImageNet数据集对时空记忆网络backbone部分进行预训练；使用预训练好的网络参数初始化时空记忆网络backbone部分，并利用所述样本数据集进行迁移学习得到所述时空记忆网络。
[0009]优选的，所述模型训练模块将所述样本数据集划分为训练集、验证集和测试集，利用所述训练集中的样本超声视频对结节检测模型和时空记忆网络进行训练，利用所述验证集中的样本超声视频对训练的超参数进行优化得到所述结节检测模型和时空记忆网络，并利用测试集中的样本超声视频对训练得到的结节检测模型和时空记忆网络进行测试。
[0010]优选的，所述样本数据集的样本超声视频中包括至少两种不同尺寸范围的结节，训练集中的样本超声视频包括的各种尺寸范围的结节的数量差在第二误差范围内。
[0011]优选的，所述结节检测模型使用YoLo
‑
v5网络；所述时空记忆网络从输入到输出依次包括特征提取单元、记忆存储单元、记忆读取单元和分类单元；其中，所述特征提取单元用于对完成图像预处理的结节图像进行特征提取并输出特征图；所述记忆存储单元用于将M个历史帧结节特征图进行编码映射并保存；所述记忆读取单元用于读取存储的M个历史帧结节信息，并与当前帧结节信息进行结合，得到结合后的特征；所述分类单元用于使用分类器基于结合后的特征对结节进行良恶性分类。
[0012]优选的，所述特征提取单元基于ResNet50构建，通过五个阶段经过16倍下采样，进行特征提取得到特征图。
[0013]优选的，所述记忆存储单元包含key
‑
value映射子单元和key
‑
value聚合子单元；所述key
‑
value映射子单元用于将所述特征提取单元提取到的结节特征图通过可学习的参数进行线性映射得到key
‑
value向量对，其中key用于评估当前帧和之前帧的相似性，用以判断Memory中那些特征应该被采样出来，Value用于保存结节更为细致的信息；
所述key
‑
value聚合子单元用于将M个历史帧通过特征提取单元和key
‑
value映射子单元得到的key
‑
value向量对进行聚合，得到M个key
‑
value向量对，并将其进行存储；所述记忆读取单元包含Memory加权子单元和特征整合子单元；所述Memory加权子单元用于通过计算当前帧结节key向量与存储的M个历史帧结节key向量的相似度，并进行sofmax归一化得到一组注意力权重，将注意力权重与M个历史帧结节value向量相乘得到加权后的value向量组；所述特征整合子单元用于将历史结节加权后的value向量组与当前帧结节的value向量进行拼接融合，将融合后的特征送入分类器中进行结节良恶性判断。
[0014]进一步的，所述分类单元包含全局池化模块、全联接层以及softmax分类器。
[0015]本专利技术的另一个目的是提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于时空记忆网络的甲状腺视频流结节识别指令，所述基于时空记忆网络的甲状腺视频流结节识别指令被处理器执行时实现上述基于时空记忆网络的甲状腺视频流结节识别系统中各模块的功能。
[0016]本专利技术的再一个目的是提供一种计算机设备，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空记忆网络的甲状腺视频流结节识别系统，其特征在于，包括：图像获取模块，用于实时获取甲状腺临床超声检查中视频流，进行分帧处理；结节坐标获取模块，用于将完成图像预处理的当前帧和历史帧图像输入到结节检测模型中，得到结节坐标；其中，取第k帧图像作为当前帧，当k>5时从k之前的图像帧中随机采样M帧作为历史帧；结节分类模块，用于根据结节坐标从整图中截取结节ROI图像，将历史帧结节图像输入到时空记忆网络进行编码存储，将当前帧结节图像输入到时空记忆网络进行编码，并读取历史帧结节信息进行融合，然后进行结节性质分类，该时空记忆网络综合考虑历史帧结节信息与当前帧结节信息；结果匹配模块，用于根据所述结节检测模型的输出确定所述待测超声图像帧的结节坐标，完成对所述待测超声图像帧中的结节的检测；根据所述时空记忆网络的输出确定所述待测超声图像帧的结节性质分类，得到当前帧的结节识别结果。2.根据权利要求1所述的甲状腺视频流结节识别系统，其特征在于，所述图像获取模块包括预处理子模块，该预处理步骤包括：将待测超声图像帧调整到设定的尺寸；裁掉待测超声图像中的无关区域，仅保留超声窗口区域；对待测超声图像帧进行直方图均衡化；对待测超声图像帧进行归一化，得到完成图像预处理的所述待测超声图像帧。3.根据权利要求1所述的甲状腺视频流结节识别系统，其特征在于，还包括：样本数据集构建模块，样本数据集包括若干段甲状腺区域的超声检查视频流，每个样本超声图像帧中包括结节标注框，所述结节标注框用于标注样本超声图像中的结节位置以及类型，所述样本数据集的样本超声图像中包括多种不同位置和/或类型的结节；模型训练模块，用于利用所述样本数据集训练结节检测模型和时空记忆网络，得到最终推理模型。4.根据权利要求3所述的甲状腺视频流结节识别系统，其特征在于，所述模型训练模块训练所述结节检测模型的步骤包括：利用ImageNet数据集对结节检测模型backbone部分进行预训练；使用预训练好的网络参数初始化结节检测模型backbone部分，并利用所述样本数据集进行迁移学习得到所述结节检测模型；所述模型训练模块训练所述时空记忆网络的步骤包括：利用ImageNet数据集对时空记忆网络backbone部分进行预训练；使用预训练好的网络参数初始化时空记忆网络backbone部分，并利用所述样本数据集进行迁移学习得到所述时空记忆网络。5.根据权利要求3所述的甲状腺视频流结节识别系统，其特征在于，所述模型训练模块将所述样本数据集划分为训练集、验证集和测试集，利用所述训练集中的样本超声视频对结节检测模型和时空记忆网络进行训练，利用所述验证集中的样本超声视频对训练的超参数进行优化得到所述结节检测模型和时空记忆网络，并利用测试集中的样本超声视频对训练得到的结节检测模型和时空记忆网络进行测试；所述样本数据集的样本超声视频中包括至少两种不同尺寸范围的结节，训练集中的样
本超声视频包括的各种尺寸范围的结节的数量差在设定误差范围内。6.根据权利要求2所述的甲状腺视频流结节识别系统，其特征在于，所述结节检测模型使用YoLo
‑
v5网络；所述时空记忆网络从输入到输出依次包括特征提取单元、记忆存储单元、记忆读取单元和分类单元；其...

【专利技术属性】
技术研发人员：张雷，石一磊，牟立超，赵星，
申请(专利权)人：脉得智能科技无锡有限公司，
类型：发明
国别省市：