内窥镜影像识别方法、电子设备及存储介质技术

本发明专利技术提供了一种内窥镜影像识别方法、电子设备及存储介质。所述内窥镜影像识别方法包括：采用第一神经网络模型，对多张原始图像分别进行多个病种类别的病种预测；基于所述多张原始图像的病种预测结果，建立所述多个病种类别的测试样本集，每个测试样本集包括预定数量原始图像的图像特征；采用第二神经网络模型，对所述多个病种类别的测试样本集分别进行病种识别；以及对所述多个病种的病种识别结果进行叠加以获得病例诊断结果，其中，所述第二神经网络模型对所述测试样本集中的多个图像特征进行加权组合以获得所述病种识别结果。该内窥镜影像识别方法对测试样本集的多个图像特征进行加权组合以提高病种识别准确度。

【技术实现步骤摘要】
内窥镜影像识别方法、电子设备及存储介质
本专利技术涉及医疗设备成像领域，更具体地，涉及基于深度学习的内窥镜影像识别方法、电子设备及存储介质。
技术介绍
胶囊内窥镜是检查患者消化道疾病的有效诊疗工具，其中集成有摄像头、LED灯、无线通信模块等器件。在检查时，患者吞下胶囊内窥镜，胶囊内窥镜在消化道中行进的同时拍摄图像，以及将图像传送至患者体外。对胶囊内窥镜采集的图像进行分析以识别消化道中的病灶。与传统的内窥镜检查相比，胶囊内窥镜的优点是对患者造成的痛苦程度小，并且可以对整个消化道进行检查，作为革命性的技术突破已经获得了越来越广泛的应用。胶囊内窥镜在检查过程中采集大量的图像（例如，几万张图像），对图像的阅片工作变得艰巨且耗时。随着技术的发展，利用图像处理和计算机视觉技术进行病灶识别获得了广泛的关注。然而，在现有的内窥镜影像识别方法中，经由卷积神经网络对胶囊内窥镜采集的每张图像进行病灶识别并获得诊断结果。即使内窥镜影像识别方法的正确率高达90%，对于患者消化道采集的大量图像而言，任意一张图像的病灶识别结果错误均会产生错误的病例诊断结果。因此，仍然期待进一步改进内窥镜影像识别方法，以提高基于大量图像的病例诊断的准确度。
技术实现思路
为解决上述技术问题，本专利技术的目的在于提供一种内窥镜影像识别方法、电子设备及存储介质，其中，在对多张原始图像按照单张图像进病种预测之后，基于病种预测结果对测试样本集的多个图像特征进行病种识别准确度。根据本专利技术的第一方面，提供一种内窥镜影像识别方法，包括：采用第一神经网络模型，对多张原始图像分别进行多个病种类别的病种预测；基于所述多张原始图像的病种预测结果，建立所述多个病种类别的测试样本集，每个测试样本集包括预定数量原始图像的图像特征；采用第二神经网络模型，对所述多个病种类别的测试样本集分别进行病种识别；以及对所述多个病种的病种识别结果进行叠加以获得病例诊断结果；其中，所述第二神经网络模型对所述测试样本集中的多个图像特征进行加权组合以获得所述病种识别结果。优选地，所述第一神经网络模型为卷积神经网络模型，所述卷积神经网络模型输入所述多张原始图像的单张图像，输出所述多个病种类别的图像特征和分类概率。优选地，所述第二神经网络模型为循环神经网络模型，所述循环神经网络模型输入所述测试样本集中的多个图像特征，输出与所述测试样本集相对应的病种识别结果。优选地，所述第二神经网络模型包括：第一全连接层，将所述测试样本集中的多个图像特征分别进行降维处理；双向长短期记忆层，对经过降维处理的多个图像特征分别按照前向和后向预测隐藏状态；以及注意力机制，将所述多个图像特征的隐藏状态加权组合成最终特征，其中，所述第二神经网络模型基于所述最终特征获得病种识别结果。优选地，所述第一全连接层包括多个全连接单元，所述多个全连接单元分别对相应一个图像特征进行降维处理。优选地，所述双向长短期记忆层包括多个前向长短期记忆单元和多个后向长短期记忆单元，所述多个前向长短期记忆单元分别对相应一个图像特征进行前向预测，所述多个后向长短期记忆单元分别对相应一个图像特征进行后向预测。优选地，所述加权组合包括对所述多个图像特征的隐藏状态加权求和，所述多个图像特征的权重系数表示对相应病种类别的病种识别影响。优选地，所述多个图像特征的权重系数如下式所示：其中，表示权重矩阵，表示偏置项，表示双向长短期记忆层在第t步获得的隐藏状态，表示影响值，表示权重系数。优选地，建立所述多个病种类别的测试样本集的步骤包括：对于所述多个病种类别中的不同病种类别，分别从所述多张原始图像中选择所述分类概率最高的预定数量原始图像的图像特征形成测试样本集。优选地，所述预定数量是2~128的范围内的任意整数。优选地，所述多张图像采用以下任意一种内窥镜采集获得：光纤内窥镜、主动式胶囊内窥镜、被动式胶囊内窥镜。根据本专利技术的第二方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求任意一项所述基于深度学习的内窥镜影像识别方法中的步骤。根据本专利技术的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求任意一项所述基于深度学习的内窥镜影像识别方法中的步骤。根据本专利技术实施例的内窥镜影像识别方法、电子设备及存储介质，采用第一神经网络模型进行病种预测，以及采用第二神经网络模型进行病种识别，在第二神经网络中，对测试样本集中的多个图像特征进行加权组合以获得病种识别结果，因而可以提高病种识别准确度。进一步地，基于多个病种类别相对应的多个测试样本集，获得多个病种识别结果，对多个病种类别的识别结果进行叠加以获得病例诊断结果。在优选的实施例中，第二神经网络模型包括双向长短期记忆层，用于对于多个图像特征分别按照前向和后向预测隐藏状态，组合前后时刻的图像特征一起进行病种识别，因而可以进一步提高病种识别准确度。在优选的实施例中，每个测试样本集包括预定数量原始图像的图像特征，例如2-128个原始图像，因而可以兼顾病种识别准确度和病种类别的计算时间。附图说明图1示出胶囊内窥镜系统的结构示意图。图2示出胶囊内窥镜的一种实例的示意性截面图。图3和图4分别示出根据本专利技术实施例的内窥镜影像识别方法的流程图和示意性框图。图5示出根据本专利技术实施例的内窥镜影像识别方法中的第一神经网络模型的示意性框图。图6示出根据本专利技术实施例的内窥镜影像识别方法中的第二神经网络模型的示意性框图。具体实施方式以下将结合附图所示的具体实施方式对本专利技术进行详细描述。但这些实施方式并不限制本专利技术，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本专利技术的保护范围内。图1示出胶囊内窥镜系统的结构示意图。胶囊内窥镜系统例如包括主机104、磁球105、三轴位移底座106、磁球支架107、以及无线接收装置108。磁球支架107包括连接三轴位移底座106的第一端和连接磁球105的第二端。三轴位移底座106例如可以沿彼此垂直的三个坐标轴平移。磁球支架107随着三轴位移底座106一起平移，并且允许磁球105相对于磁球支架107在水平面和垂直面内旋转。例如，采用电机和丝杠驱动三轴位移底座106的平移，采用电机和皮带驱动磁球105的旋转。因而，磁球105可以在五个自由度上姿态变化。磁球105例如由永磁体组成，包括彼此相对的N极和S极。在磁球105的姿态变化时产生位置和方位相应变化的外磁场。在检查过程中，患者101吞下胶囊内窥镜10，例如平躺在床102上。胶囊内窥镜10沿着消化道行进。如下文所述，胶囊内窥镜10的内部包括永磁体。主机104向三轴位移底座106和磁球支架107发送操作指令，从而控制磁球105的姿态变化。磁球105产生的外磁场作用于永磁体上，因而本文档来自技高网...

【技术保护点】
1.一种内窥镜影像识别方法，包括：/n采用第一神经网络模型，对多张原始图像分别进行多个病种类别的病种预测；/n基于所述多张原始图像的病种预测结果，建立所述多个病种类别的测试样本集，每个所述测试样本集包括预定数量原始图像的图像特征；/n采用第二神经网络模型，对所述多个病种类别的测试样本集分别进行病种识别；以及/n对所述多个病种的病种识别结果进行叠加以获得病例诊断结果；/n其中，所述第二神经网络模型对所述测试样本集中的多个图像特征进行加权组合以获得所述病种识别结果。/n

【技术特征摘要】
1.一种内窥镜影像识别方法，包括：
采用第一神经网络模型，对多张原始图像分别进行多个病种类别的病种预测；
基于所述多张原始图像的病种预测结果，建立所述多个病种类别的测试样本集，每个所述测试样本集包括预定数量原始图像的图像特征；
采用第二神经网络模型，对所述多个病种类别的测试样本集分别进行病种识别；以及
对所述多个病种的病种识别结果进行叠加以获得病例诊断结果；
其中，所述第二神经网络模型对所述测试样本集中的多个图像特征进行加权组合以获得所述病种识别结果。


2.根据权利要求1所述的内窥镜影像识别方法，其中，所述第一神经网络模型为卷积神经网络模型，所述卷积神经网络模型输入所述多张原始图像的单张图像，输出所述多个病种类别的图像特征和分类概率。


3.根据权利要求2所述的内窥镜影像识别方法，其中，所述第二神经网络模型为循环神经网络模型，所述循环神经网络模型输入所述测试样本集中的多个图像特征，输出与所述测试样本集相对应的病种识别结果。


4.根据权利要求1-3任意一项所述的内窥镜影像识别方法，其中，所述第二神经网络模型包括：
第一全连接层，将所述测试样本集中的多个图像特征分别进行降维处理；
双向长短期记忆层，对经过降维处理的多个图像特征分别按照前向和后向预测隐藏状态；以及
注意力机制，将所述多个图像特征的隐藏状态加权组合成最终特征，
其中，所述第二神经网络模型基于所述最终特征获得病种识别结果。


5.根据权利要求4所述的内窥镜影像识别方法，其中，所述第一全连接层包括多个全连接单元，所述多个全连接单元分别对相应一个图像特征进行降维处理。


6.根据权利要求4所述的内窥镜影像识别方法，其中，所述双向长短期记...

【专利技术属性】
技术研发人员：张行，龚强，袁文金，张皓，
申请(专利权)人：安翰科技武汉股份有限公司，
类型：发明
国别省市：湖北;42