胶囊内窥镜图像的处理方法、装置及处理设备制造方法及图纸

本申请实施例适用于医疗技术领域，提供了一种胶囊内窥镜图像的处理方法、装置及处理设备，所述方法包括：接收多张胶囊内窥镜图像；将多张胶囊内窥镜图像输入至图像处理模型中，得到图像处理模型输出的多个特征向量；其中，多个特征向量至少包括平均池化层特征向量和全连接层特征向量，平均池化层特征向量由图像处理模型的平均池化层输出接口输出，全连接层特征向量由图像处理模型的全连接层输出接口输出；采用平均池化层特征向量和全连接层特征向量对多张胶囊内窥镜图像进行去重分类处理。采用上述方法，可以通过同一个图像处理模型输出多个特征向量，从而针对性地采用各个特征向量对胶囊内窥镜图像进行去重分类处理。对胶囊内窥镜图像进行去重分类处理。对胶囊内窥镜图像进行去重分类处理。

【技术实现步骤摘要】
胶囊内窥镜图像的处理方法、装置及处理设备


[0001]本申请实施例属于医疗
，特别是涉及一种胶囊内窥镜图像的处理方法、装置及处理设备。

技术介绍

[0002]胶囊内窥镜(capsule endoscopy)是一种胶囊形状的内窥镜，可以用于对人体消化道进行检查。病人口服胶囊内窥镜后，胶囊内窥镜可以在胃肠道中运行，并拍摄胃肠道的图像，发送至体外。医生可以根据胶囊内窥镜发送出来的图像，诊断病人是否有胃肠道异常病变。
[0003]通常，在使用胶囊内窥镜对消化道疾病进行检查时，从病人吞入胶囊内窥镜到将其排出体外至少需要8个小时。胶囊内窥镜在此工作期间将会产生5
‑
7万张图像。即使是经验丰富的专业医生也需要花费大量时间来对这些图像进行处理，极大增加了医生的工作强度。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种胶囊内窥镜图像的处理方法、装置及处理设备，用以通过同一个图像处理模型输出胶囊内窥镜图像的多个特征向量，针对性地采用各个特征向量对胶囊内窥镜图像进行去重分类处理，提高胶囊内窥镜图像的处理效率，减轻医生的工作压力。
[0005]本申请实施例的第一方面提供了一种胶囊内窥镜图像的处理方法，包括：
[0006]接收多张胶囊内窥镜图像；
[0007]将多张所述胶囊内窥镜图像输入至图像处理模型中，得到所述图像处理模型输出的多个特征向量；其中，多个所述特征向量至少包括平均池化层特征向量和全连接层特征向量，所述平均池化层特征向量由所述图像处理模型的平均池化层输出接口输出，所述全连接层特征向量由所述图像处理模型的全连接层输出接口输出；
[0008]采用所述平均池化层特征向量和所述全连接层特征向量对多张所述胶囊内窥镜图像进行去重分类处理。
[0009]本申请实施例的第二方面提供了一种胶囊内窥镜图像的处理装置，包括：
[0010]接收模块，用于接收多张胶囊内窥镜图像；
[0011]输入模块，用于将多张所述胶囊内窥镜图像输入至图像处理模型中，得到所述图像处理模型输出的多个特征向量；其中，多个所述特征向量至少包括平均池化层特征向量和全连接层特征向量，所述平均池化层特征向量由所述图像处理模型的平均池化层输出接口输出，所述全连接层特征向量由所述图像处理模型的全连接层输出接口输出；
[0012]处理模块，用于采用所述平均池化层特征向量和所述全连接层特征向量对多张所述胶囊内窥镜图像进行去重分类处理。
[0013]本申请实施例的第三方面提供了一种胶囊内窥镜图像的处理设备，包括存储器、
处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的胶囊内窥镜图像的处理方法。
[0014]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的胶囊内窥镜图像的处理方法。
[0015]本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面所述的胶囊内窥镜图像的处理方法。
[0016]与现有技术相比，本申请实施例具有以下优点：
[0017]应用本申请实施例提供的处理方法，同一个图像处理模型可以输出多个特征向量，每个特征向量可以是由模型中不同层的输出接口输出的。例如，图像处理模型的平均池化层输出接口可以输出平均池化层特征向量，全连接层输出接口可以输出全连接层特征向量。这样，在接收到多张胶囊内窥镜图像时，可以将多张胶囊内窥镜图像输入至上述图像处理模型中进行处理，得到模型输出的平均池化层特征向量和全连接层特征向量等多个特征向量，保证模型对图像处理的统一性。进而，可以采用平均池化层特征向量和全连接层特征向量，对多张胶囊内窥镜图像进行去重分类处理。应用本申请实施例提供的方法，可以针对性地采用各个特征向量对胶囊内窥镜图像进行去重分类处理，提高胶囊内窥镜图像的处理效率，减轻医生的工作压力。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的一种图像处理模型的示意图；
[0020]图2是本申请实施例提供的一种图像处理模型的训练流程的示意图；
[0021]图3是本申请实施例提供的一种胶囊内窥镜图像的处理方法的示意图；
[0022]图4是本申请实施例提供的一种计算机辅助诊断系统的示意图；
[0023]图5是本申请实施例提供的一种任务调度流程的示意图；
[0024]图6是本申请实施例提供的一种胶囊内窥镜图像的处理方法中S303的一种实现方式的示意图；
[0025]图7是本申请实施例提供的一种对胶囊内窥镜图像进行去重分类的工作流程的示意图；
[0026]图8是本申请实施例提供的一种去重算法的流程示意图；
[0027]图9是本申请实施例提供的一种分类算法的流程示意图；
[0028]图10是本申请实施例提供的一种胶囊内窥镜图像的处理装置的示意图；
[0029]图11是本申请实施例提供的一种胶囊内窥镜图像的处理设备的示意图。
具体实施方式
[0030]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具
体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0031]针对胶囊内窥镜在工作期间拍摄的上万张图像，可以使用计算机辅助诊断计算，辅助医生进行识别。但是，传统的计算机辅助诊断通常只能实现一项任务。例如，使用训练得到的模型对多张胶囊内窥镜图像进行分类，或者使用模型对多张胶囊内窥镜图像进行去重。上述分类任务和去重任务需要单独的模型来完成。但是，应用多个不同的模型分别执行分类任务和去重任务，不同的模型在提取胶囊内窥镜图像的特征时可能出现差别。例如，对于同一张胶囊内窥镜图像，使用一个模型提取该图像的特征用于分类，使用另一个模型提取该图像的特征用于去重。但是由于这两个模型是分别进行训练的，可能出现两个模型提取出的特征的种类及数量并不相同的情况。其次，应用多个模型分别执行不同的任务，还可以针对不同的任务选择合适的分类器，这是一个较为繁琐且低效率的过程。
[0032]这对上述问题，本申请实施例提供了一种胶囊内窥镜图像的处理方法，可以使用同一个图像处理模型对胶囊内窥镜图像进行处理，保证特征提取过程的标准统一。并且，应用本方法可以在模型处理的不同阶段分别输出相应的特征向量，从而针对性地采用不同的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种胶囊内窥镜图像的处理方法，其特征在于，包括：接收多张胶囊内窥镜图像；将多张所述胶囊内窥镜图像输入至图像处理模型中，得到所述图像处理模型输出的多个特征向量；其中，多个所述特征向量至少包括平均池化层特征向量和全连接层特征向量，所述平均池化层特征向量由所述图像处理模型的平均池化层输出接口输出，所述全连接层特征向量由所述图像处理模型的全连接层输出接口输出；采用所述平均池化层特征向量和所述全连接层特征向量对多张所述胶囊内窥镜图像进行去重分类处理。2.根据权利要求1所述的方法，其特征在于，所述图像处理模型由多层的深度残差网络模型结合自注意力模块构成。3.根据权利要求2所述的方法，其特征在于，所述图像处理模块的平均池化层包括多个解码器块，所述自注意力模块位于所述平均池化层的最后两个解码器块之间。4.根据权利要求3所述的方法，其特征在于，所述平均池化层输出接口为所述平均池化层的最后一个解码器块的输出接口，所述全连接层输出接口为所述图像处理模型的输出接口。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在接收多张胶囊内窥镜图像之前，所述方法还包括：获取样本数据，所述样本数据包括输入数据集；采用所述输入数据集对构建好的神经网络模型进行训练，得到所述图像处理模型。6.根据权利要求5所述的方法，其特征在于，所述采用所述输入数据集对构建好的神经网络模型进行训练，得到所述图像处理模型，包括：确定机器学习的学习率，所述学习率随训练周期的增加而下降；基于所述学习率和所述输入数据集，采用随机梯度下降方法对构建好的所述神经网络模型进行机器学习；当所述神经网络模型满足训练要求时，将满足训练要求的所述神经网络模型作为所述图像处理模型保存。7.根据权利要求6所述的方法，其特征在于，所述基于所述学习率和所述输入数据集，采用随机梯度下降方法对构建好的所述神经网络模型进行机器学习，包括：采用所述输入数据集对构建好的神经网络模型进行训练；计算每个所述训练周期后所述神经网络模型的精度；若当前的所述精度大于之前训练后的所述神经网络模型的精度，则采用当前的所述神经网络模型替换之前训练后的所述神经网络模型，否则舍弃当前的所述神经网络模型；当所述训练周期达到要求的训练次数时，判定所述神经网络模块满足所述训练要求。8.根据权利要求7所述的方法，其特征在于，所述样本数据还包括验证数据集；所述计算每个所述训练周期后所述神经网络模型的精度，包括：确定标签平滑超参数；采用所述标签平滑超参数对交叉熵损失函数进行改进；基于所述验证数据集和改进后的所述交叉熵损失函数，计算每个所述训练周期后所述神经网络模型的所述精度。
9.根据权利要求8所述的方法，其特征在于，所述输入数据集和所述验证数据集均为标记有分类结果的所述胶囊内窥镜图像，所述输入数据集的数量为所述验证数据集的数量的1
‑
4倍。10.根据权利要求1
‑
4或6
‑
9任一项所述的方法，其特征在于，所述接收多张胶囊内窥镜图像，包括：接收胶囊内窥镜影像数据；若所述胶囊内窥镜影像数据为压缩包数据，则对所述压缩包数据进行解压缩，得到多张所述胶囊内窥镜图像；若所述胶囊内窥镜影像数据为视频数据，则提取所述视频数据中的各帧图像，得到多张所述胶囊内窥镜图像。11.根据权利要求1
‑
4或6
‑
9任一项所述的方法，其特征在于，所述将多张所述胶囊内窥镜图像输入至图像处理模型中，得到所述图像处理模型输出的多个特征向量，包括：分别提取每张所述胶囊内窥镜图像的特征信息；将每张所述胶囊内窥镜图像的所述特征信息输入至所述图像处理模型中，得到所述图像处理模型输出的多个所述特征向量。12.根据权利要求1
‑
4或6
‑
9任一项所述的方法，其特征在于，采用所述平均池化层特征向量和所述全连接层特征向量对多张所述胶囊内窥镜图像进行去重分类处理，包括：确定...

【专利技术属性】
技术研发人员：孟李艾俐，官冠，
申请(专利权)人：元化智能科技深圳有限公司，
类型：发明
国别省市：