消化道内镜病变图像检测方法、系统和计算机存储介质技术方案

本发明专利技术属于医用设备技术领域，具体涉及本发明专利技术一种消化道内镜病变图像检测方法、系统和计算机存储介质，通过卷积神经网络模型对消化道内镜视频进行处理，提取全部关键帧；将全部关键帧输入循环神经网络模型，根据时域信息提取内镜视频的表述特征；根据内镜视频表述特征进行病变分类检测。本发明专利技术通过在目标检测或图像分割模型上，加入特定的循环神经网络RNN模块，利用卷积神经网络和循环神经网络进行识别和提取并加以整合，实现了在时间域和空间域共同提取特征，能够大幅提高各类医学图像处理的准确率。

【技术实现步骤摘要】
消化道内镜病变图像检测方法、系统和计算机存储介质
本专利技术属于医用设备
，具体涉及一种消化道内镜病变图像检测方法、系统和计算机存储介质。
技术介绍
随着社会的发展，生活方式的变化，消化道疾病的发病率正逐年增加，成为威胁人类健康的常见病之一。有研究表明，部分消化道疾病，如腺瘤性息肉是发生癌变的重要因素。而根据国家肿瘤质控中心发布的2019年全国癌症报告显示，多种消化道癌症如胃癌、结直肠癌等均位于恶性肿瘤发病前十位。早期消化道癌患者如果能做到早发现，早救治，其5年生存率高达90％，如已发展至中晚期，则综合治疗5年生存率低于10％。内窥镜检查是临床上检查消化道病变最基础直观的手段，并且其价格较低，对受检者的伤害也较小。现如今，对于某些特定年龄段或有特定家族病史的人群，也建议定期实行消化道内镜检查，以确定是否存在潜在的疾病，以及降低癌变的可能性。现如今的内镜普遍带有摄像头，医生将摄像头送入病人的消化道内拍摄，同时回传大量图片以供医生诊断。然而施行一次消化道内镜检查的时间较长，拍摄的视频图片数量可能是海量的，同时由于消化道内病灶外观复杂多变，导致漏诊状况时有发生，如传统结肠镜下结直肠息肉的漏诊率总体达22％。为了减轻医生的负担，降低漏诊率，以及使得病灶区域更清晰直观，最近数十年，逐渐有人开始研究通过计算机辅助诊断消化道病变的工具。其中一大类为传统的机器学习方法，即提取图像中的颜色纹理等特征，使用这些特征来训练分类模型如随机森林、决策树、支持向量机等，将病变区域进行分类，最终输出该幅图片可能属于的类型，如：正常、息肉、溃疡等。近年来，随着深度学习技术的成熟，其在各领域都有所应用，包括结肠镜息肉检测等方面。深度学习主要是使用卷积神经网络提取不同类型的特征，并通过池化、上采样、反卷积等操作得到相应的输出信息。而在卷积神经网络中，低层的卷积主要用于提取边缘纹理等细节信息，中层主要用于提取目标的大致形态信息，高层主要用于提取更抽象的语义信息。搭建好特定的模型，并使用预先标注好的数据，利用特定参数加以训练，就可以得到相应的模型文件，进而实现相应的功能。在消化道内镜图像领域，目前使用较多的是目标检测算法。目标检测即是找出一幅图像中所包含的感兴趣的物体，其可细分为两个任务：确定物体的类别及位置。对于内镜图像，即给出异常部分的外接矩形框坐标位置及该异常部分所属类型。另外也有一部分技术使用了语义分割技术，其实际上是对输入图像进行逐像素的分类，即分别判断图像中每个像素点属于哪一个类别。对于内镜图像，即给出异常部分的掩膜，同时给出该异常部分所属种类。现有的技术多是利用了较为成熟的深度学习模型，利用准备好的内镜图片加以训练，最后得到可用的模型。这样的方法将每张图片都作为独立的个体，并且由于训练时均会随机打乱顺序抽取，使得每张图片之间处于完全独立的状态。而在实际操作中，消化道内镜返回的数据是连续的视频信息，视频可以拆成连续的若干帧，每帧之间存在较高的相关性，从而不能作为独立的个体看待，这与目前现有的技术存在一定矛盾。举例来说，内镜在受检者消化道内的运动是连续的，若镜头移动到某个部位时，视野中出现了一个病灶区域，那么在镜头继续移动的若干秒内，由于镜头移动速度不会太快，该病灶区域仍然会存在于接下来的连续的若干帧内。现有的技术没有太好地考虑到这样的时间域的信息，而是单单从空间域的角度来分析图片从而做出判断，这有可能会导致检测的结果不准确，反应在画面上即为标示出的病灶信息不稳定，与实际情况有一定的出入。
技术实现思路
针对以上问题，本专利技术旨在提供一种能够在时间域和空间域共同提取特征的基于深度学习的消化道内镜病变图像检测方法、系统和计算机存储介质。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种基于深度学习的消化道内镜病变图像检测方法，通过卷积神经网络模型对消化道内镜视频进行处理，提取全部关键帧；将全部关键帧输入循环神经网络模型，根据时域信息提取内镜视频的表述特征；根据内镜视频表述特征进行病变分类检测。可选的，所述卷积神经网络模型包括YOLO、MaskR-CNN、SegNet、Deeplab、U-Net。可选的，所述循环神经网络模型包括长短期记忆网络LSTM，门控循环单元GRU，双向长短期记忆网络BiLSTM。可选的，所述病变检测方法的深度学习框架包括TensorFlow，Caffe，PyTorch，Keras。可选的，通过卷积神经网络模型对消化道内镜视频进行逐帧识别处理，提取每个视频结构单元的关键帧特征，将识别的全部关键帧根据时序信息输入循环神经网络。可选的，所述卷积神经网络模型包含图片特征提取层、隐状态层和判定输出模块；在单个视频结构单元中，所述输入图像经过所述图片特征提取层提取深度表述特征，进行时序信息关联和处理，经过隐状态层运算，输出中间隐特征；再输入到关键帧检测网络层，得到关键帧检测结果，再将全部关键帧输入循环神经网络模型。可选的，提取的所述关键帧输入到所述循环卷积神经网络中，进行时间域卷积运算提取整段视频的表述特征。可选的，根据所述整段视频的所述表述特征送入到病变分类层进行运算，最后输出病变分类检测结果。一种消化道内镜病变图像检测系统，关键帧提取模块、视频表述模块和病变分类检测模块，其中，关键帧提取模块通过卷积神经网络模型对消化道内镜视频进行处理，提取全部关键帧；视频表述模块利用循环神经网络模型将全部关键帧，根据时域信息提取内镜视频的表述特征；病变分类检测模块根据内镜视频表述特征进行分类检测。一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如上述任一项所述的消化道内镜病变图像检测方法。本专利技术一种消化道内镜病变图像检测方法、系统和计算机存储介质，本专利技术通过在目标检测或图像分割模型上，加入特定的循环神经网络RNN模块，利用卷积神经网络和循环神经网络进行识别和提取并加以整合，实现了在时间域和空间域共同提取特征，能够大幅提高各类医学图像处理的准确率。附图说明图1是U-Net网络结构示意图；图2是LSTM网络结构示意图；图3是消化道内镜图像息肉分割的效果图。具体实施方式以下结合图1-3具体说明本专利技术提供的一种消化道内镜病变图像检测方法、系统和计算机存储介质。本专利技术的基于关键帧提取和层次性表述的消化道内镜病变图像检测方法，采用深度学习模型构建两级特征提取模块来对整段视频进行表征；即，视频关键帧图像的特征提取模块和视频时域特征表述模块，分别负责视频片段关键帧特征分析和整段视频特征表述。其中，视频关键帧图像的特征提取模块由卷积神经网络构成，用来提取不同视频关键帧图像的特征；视频时域特征表述模块由循环神经网络构成，用来对整段视频进行特征表述。在此特征表述基础上完成消化道内镜病变视频识别任务。这种能够在时间域和空间域两个层次共同提取特征进行表述的方法在能够对整段视频进行完整的表征，能够大幅提高各类医学图像处理的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的消化道内镜病变图像检测方法，其特征在于：/n通过卷积神经网络模型对消化道内镜视频进行处理，提取全部关键帧；/n将全部关键帧输入循环神经网络模型，根据时域信息提取内镜视频的表述特征；/n根据内镜视频表述特征进行病变分类检测。/n

【技术特征摘要】
1.一种基于深度学习的消化道内镜病变图像检测方法，其特征在于：
通过卷积神经网络模型对消化道内镜视频进行处理，提取全部关键帧；
将全部关键帧输入循环神经网络模型，根据时域信息提取内镜视频的表述特征；
根据内镜视频表述特征进行病变分类检测。


2.如权利要求1所述的消化道内镜病变图像检测方法，其特征在于，所述卷积神经网络模型包括YOLO、MaskR-CNN、SegNet、Deeplab、U-Net。


3.如权利要求1所述的消化道内镜病变图像检测方法，其特征在于，所述循环神经网络模型包括长短期记忆网络LSTM，门控循环单元GRU，双向长短期记忆网络BiLSTM。


4.如权利要求1所述的消化道内镜病变图像检测方法，其特征在于，所述病变检测方法的深度学习框架包括TensorFlow，Caffe，PyTorch，Keras。


5.如权利要求1所述的消化道内镜病变图像检测方法，其特征在于，通过卷积神经网络模型对消化道内镜视频进行逐帧识别处理，提取每个视频结构单元的关键帧特征，将识别的全部关键帧根据时序信息输入循环神经网络。


6.根据权利要求5所述的视频行为识别方法，其特征在于，具体的，所述卷积...

【专利技术属性】
技术研发人员：陈宇桥，李凌，辜嘉，徐强，
申请(专利权)人：苏州中科华影健康科技有限公司，
类型：发明
国别省市：江苏;32