食管内窥镜图像的异常检测方法、系统、介质及设备技术方案

本发明专利技术涉及食管内窥镜图像的异常检测方法、系统、介质及设备，包括：获取食管内窥镜图像并预处理，利用训练完毕的图像重建模型对预处理后的食管内窥镜图像进行重建，根据重建后的图像与原始图像之间的重建误差得到每张食管内窥镜图像的异常分数；根据设定的阈值和异常分数判断食管内窥镜图像是否为异常；其中，图像重建模型为多尺度特征融合的聚类记忆变分自编码器，以食管内窥镜图像中的健康图像作为训练集完成训练。在只有正常样本的条件下即可完成模型的构建与训练，并通过多尺度特征融合、记忆力模块、聚类等技术大大提高了异常检测的准确率。测的准确率。测的准确率。

【技术实现步骤摘要】
食管内窥镜图像的异常检测方法、系统、介质及设备


[0001]本专利技术涉及计算机辅助诊断
，具体为食管内窥镜图像的异常检测方法、系统、介质及设备。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]食管内窥镜是检查和定位食管肿瘤等疾病的重要手段，通过食管内窥镜图像，医生可以目视检查消化道黏膜病变部位、范围和形态，从而做出准确的判断。在大规模筛查中，对于早期食管癌等缺乏明显临床症状的疾病，通常依赖计算机辅助诊断技术，通过计算机识别食管内窥镜图像中的细节，辅助医生诊断从而降低医生的工作量。
[0004]计算机辅助诊断技术通过计算机处理原始的医学影像数据，识别并输出可能的结果。以常用的深度神经网络为例，其训练普遍需要大量的、已标注的、类别平衡的数据集作为支撑，否则极易出现过拟合等现象，而对于医学图像来说这往往成本巨大或是很难获取。例如食管内窥镜图像，在一次大规模体检等筛查中，往往会收集到大量健康的食管内窥镜图像，而只有极少数患病的图像，部分发病率低的疾病图像可能完全没有收集到，这意味着传统的深度学习模型难以学习到这类疾病的特征，从而可能在未来将其误判为正常图像。与此同时，所有的图像都需经过专业医师标注后才可以用于训练，这也是一项成本巨大的工作。

技术实现思路

[0005]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供食管内窥镜图像的异常检测方法、系统、介质及设备，在只有正常样本的条件下即可完成模型的构建与训练，并通过多尺度特征融合、记忆力模块、聚类等技术大大提高了异常检测的准确率。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术的第一个方面提供食管内窥镜图像的异常检测方法，包括以下步骤：
[0008]获取食管内窥镜图像并预处理，利用训练完毕的图像重建模型对预处理后的食管内窥镜图像进行重建，根据重建后的图像与原始图像之间的重建误差得到每张食管内窥镜图像的异常分数；
[0009]根据设定的阈值和异常分数判断食管内窥镜图像是否为异常；
[0010]其中，图像重建模型为多尺度特征融合的聚类记忆变分自编码器，以食管内窥镜图像中的健康图像作为训练集完成训练。
[0011]多尺度特征融合的聚类记忆变分自编码器，包括：
[0012]多尺度编码器模块，用于提取不同分辨率下食管内窥镜图像中的特征，具有多个编码器，每个编码器分别输出高斯分布的方差σ和均值μ；
[0013]聚类记忆力模块，包括多个相同维度的记忆向量，记忆向量的维度与编码后的特
征维度相同，输入为每个编码器输出的方差σ和均值μ，输出为记忆向量的加权和；
[0014]多尺度特征融合模块，融合聚类记忆力模块的输出，得到融合后的方差σ和均值μ，作为解码器模块的采样分布；
[0015]解码器模块，输入为从多尺度特征融合模块得到的高斯分布中随机采样的向量，经过多层神经网络解码得到与原始图像分辨率相同的图像。
[0016]聚类记忆力模块为二维矩阵，具有多个相同维度的记忆向量，记忆向量仅记住正常样本的特征，输出仅为正常样本特征的加权和。
[0017]聚类记忆力模块中具有聚类算法，通过散射矩阵完成对记忆向量在特征空间中分布的优化。
[0018]预处理包括划分训练集与测试集，其中训练集仅包含健康图像。
[0019]图像重建模型利用训练集和损失函数完成训练，损失函数包括：
[0020]重建误差损失，用于保证原始图像与重建图像之间的相似度；
[0021]正则化项，为编码所得的高斯分布与标准正态分布之间的KL散度；
[0022]聚类损失函数，用于优化聚类记忆力模块中，记忆力向量的分布。
[0023]根据重建后的图像与原始图像之间的重建误差得到每张食管内窥镜图像的异常分数，具体为：
[0024]调整待检测食管内窥镜图像的分辨率，分别输入训练完毕的图像重建模型的编码器中；
[0025]得到模型重建后的图像，计算与原始图像的重建误差，即聚类损失函数；
[0026]将得到的重建误差归一化处理，得到每张待检测图像所对应的异常分数，计算公式为其中e
i
、e
min
和e
max
分别为该样本的重建误差、所有样本中最小的重建误差和所有样本中最大的重建误差。
[0027]本专利技术的第二个方面提供实现上述方法所需的系统，包括：
[0028]异常分数模块，被配置为：获取食管内窥镜图像并预处理，利用训练完毕的图像重建模型对预处理后的食管内窥镜图像进行重建，根据重建后的图像与原始图像之间的重建误差得到每张食管内窥镜图像的异常分数；
[0029]图像判断模块，被配置为：根据设定的阈值和异常分数判断食管内窥镜图像是否为异常；
[0030]其中，图像重建模型为多尺度特征融合的聚类记忆变分自编码器，以食管内窥镜图像中的健康图像作为训练集完成训练。
[0031]本专利技术的第三个方面提供一种计算机可读存储介质。
[0032]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的食管内窥镜图像的异常检测方法中的步骤。
[0033]本专利技术的第四个方面提供一种计算机设备。
[0034]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的食管内窥镜图像的异常检测方法中的步骤。
[0035]与现有技术相比，以上一个或多个技术方案存在以下有益效果：
[0036]1、属于无监督算法，仅需食管内窥镜图像中的健康图像即可完成模型的训练，而不再需要带有病变部位的图像，从而降低了数据的收集难度与标注成本，并且能够检测出所有与健康图像特征不同的图像，即对于所有异常的食管状态都有良好的检测效果，有效改善了传统分类模型难以涵盖所有食管图像状态的问题。
[0037]2、在编码时采用了多尺度特征融合技术，通过改变输入图像的尺寸提取到了健康食管图像在各尺度下的特征，从而能够得到更多的特征信息，实现更好的异常检测效果。
[0038]3、对编码后的特征引入了聚类记忆力模块，不再直接进行解码。解码器的输入始终为记忆力向量的加权和，而记忆力模块中只有健康图像的特征，从而再次降低了模型对异常图像的重建效果，抑制了模型的泛化能力。
[0039]4、聚类记忆力模块中的聚类算法可以优化记忆力向量在特征空间中的分布，更好地记住健康图像的特征，提升了异常检测效果。
附图说明
[0040]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0041]图1是本专利技术一个或多个实施例提供的食管内窥镜图像的异常检测过程流程示意图；
[0042]图2是本专利技术一个或多个实施例提供的食管内窥本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.食管内窥镜图像的异常检测方法，其特征在于，包括以下步骤：获取食管内窥镜图像并预处理，利用训练完毕的图像重建模型对预处理后的食管内窥镜图像进行重建，根据重建后的图像与原始图像之间的重建误差得到每张食管内窥镜图像的异常分数；根据设定的阈值和异常分数判断食管内窥镜图像是否为异常；其中，图像重建模型为多尺度特征融合的聚类记忆变分自编码器，以食管内窥镜图像中的健康图像作为训练集完成训练。2.如权利要求1所述的食管内窥镜图像的异常检测方法，其特征在于，多尺度特征融合的聚类记忆变分自编码器，包括：多尺度编码器模块，用于提取不同分辨率下食管内窥镜图像中的特征，具有多个编码器，每个编码器分别输出高斯分布的方差σ和均值μ；聚类记忆力模块，包括多个相同维度的记忆向量，记忆向量的维度与编码后的特征维度相同，输入为每个编码器输出的方差σ和均值μ，输出为记忆向量的加权和；多尺度特征融合模块，融合聚类记忆力模块的输出，得到融合后的方差σ和均值μ，作为解码器模块的采样分布；解码器模块，输入为从多尺度特征融合模块得到的高斯分布中随机采样的向量，经过多层神经网络解码得到与原始图像分辨率相同的图像。3.如权利要求2所述的食管内窥镜图像的异常检测方法，其特征在于，所述聚类记忆力模块为二维矩阵，具有多个相同维度的记忆向量，记忆向量仅记住正常样本的特征，输出仅为正常样本特征的加权和。4.如权利要求2所述的食管内窥镜图像的异常检测方法，其特征在于，所述聚类记忆力模块中具有聚类算法，通过散射矩阵完成对记忆向量在特征空间中分布的优化。5.如权利要求1所述的食管内窥镜图像的异常检测方法，其特征在于，预处理包括划分训练集与测试集，其中训练集仅包含健康图像。6.如权利要求2所述的食管内窥镜图像的异常检测方法，其特征在于，图像重建模型利用训练集和损失函数完成训练，损失函数包括：重建误差损失...

【专利技术属性】
技术研发人员：赵子健，于秀梅，吴雁冰，
申请(专利权)人：山东大学，
类型：发明
国别省市：