基于多卷积神经网络集成学习的小肠内镜图片特征提取方法技术

本发明专利技术涉及一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，1)获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像；2)将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域；3)对保留病灶区域后的小肠内镜图像进行数据集划分，获取训练集、验证集和测试集；4)对划分后的训练集采用DenseNet169基础网络层结合SE block的方法提取小肠溃疡性病灶的内镜图像特征；5)结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤4)的提取结果进行集成学习，获取最终提取结果。与现有技术相比，本发明专利技术具有操作简单、效率高、分类性能好等优点。

【技术实现步骤摘要】
基于多卷积神经网络集成学习的小肠内镜图片特征提取方法
本专利技术涉及图像处理
，尤其是涉及一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法。
技术介绍
目前临床应用中常规的手持式内镜检查无法涉及到整个完整的消化道，胃镜能够检查上消化道，而肠镜只能检查结肠和直肠，因此还有部分肠道是常规内窥镜无法探及到的。传统的小肠溃疡诊断分类主要由内镜医师根据小肠溃疡的形态、数量、范围等加以判断，最终诊断需要依据病理、实验室检测(如血沉、CRP、TSPOT等)结合临床表现、甚至用药后长期随访才能诊断；或对内镜图片进行人工选取特征，再依据传统的机器学习算法进行分类。传统机器学习对图像进行特征提取并分类，需要相关专业人员根据图像的颜色、纹理等有效信息，手工提取有效特征，再将提取到的特征输入到相关机器学习算法中，一方面，此方法需要专业人员的支撑，费时费力，且所得特征与操作人员息息相关，基于临床经验对小肠溃疡性病变进行判断的准确率大多低于70％；另一方面，此方法不能实现端对端的特征提取及分类，即此方法需要将特征提取与结果分类分开进行，首先对图像进行特征提取，然后再将提取后的特征输入至分类器中，而无法在输入端输入图像后，自动提取特征并进行分类。综合而言，传统方法可迁移性较差，具有较强的依懒性，且操作繁琐，需要一定的技术与经济支持，不适合广泛应用。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法。本专利技术的目的可以通过以下技术方案来实现：基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，该方法包括如下步骤：步骤一、获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像。获取的病人的小肠内镜视频数据包括克罗恩病、淋巴瘤、肠结核、非特异性小肠溃疡以及隐源性多灶性溃疡性狭窄性小肠炎在内的小肠内镜视频数据。步骤二、将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域。预处理操作的具体内容为：首先对得到的小肠内镜图像进行灰度化处理，随后自适应将灰度图像进行二值化处理，并对所得到的二值图像进行轮廓检测。去除无效区域，保留病灶区域的具体内容为：寻找二值图像中最大面积的区域并用矩形框进行标记，将矩形框以外像素点的值置为零，并对矩形框外区域进行裁剪，裁剪后得到的区域部分为有效区域。步骤三、对保留病灶区域后的小肠内镜图像进行数据集划分，分为训练集、验证集以及测试集。步骤四、对训练集数据进行扩充处理，采用DenseNet169基础网络层结合SEblock的方法提取小肠溃疡性病灶的内镜图像特征。扩充包括对保留病灶区域后的小肠内镜图像的训练集数据进行旋转操作、平移操作、缩放操作、对比度增强操作及亮度改变操作。采用DenseNet169基础网络层结合SEblock的方法的具体内容为：将DenseNet169中的每个denseblock中的卷积操作之间加入SEblock，即在denseblock的卷积块中的第一个卷积操作后嵌入SEblock，使denseblock的第一个卷积层的输出作为SEblock的输入，并将SEblock后重标定的特征输出至denseblock块的第二个卷积操作中作为输入，进行再一次特征提取；然后对添加后的DenseNet169采用Adam优化器进行训练，并借助反向传播优化网络中的参数；基于扩充后的数据集对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。步骤五、结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤四的提取结果进行集成学习处理，获取最终提取结果。进一步地，其他两种不同模型采用EfficientNetB3和InceptionV3模型。首先对其他两种模型分别进行网络训练，训练过程中EfficientNetB3和InceptionV3模型均采用Adam优化器，并借助反向传播不断优化网络中的参数，随后基于扩充后的训练集数据对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。进一步地，采用基于加权投票的集成学习法，集成三种网络的特征提取能力以及分类能力，以获取更为有效的溃疡病灶特征。进一步地，三个模型的每轮训练迭代完成后，利用验证集进行在线验证，并在网络优化的同时，采用余弦退火学习率不断更新学习率，随着训练轮次的加深，动态调整学习率以寻求全局最优解。进一步地，本专利技术方法设有用以对各步骤进行相应控制及显示的人机交互界面。本专利技术提供的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，相较于现有技术至少包括如下有益效果：一、自动实现分类：本专利技术无需人为对每张小肠溃疡性内镜图片的形态、数量以及范围等进行判断，并根据病理、实验室检查等结合临床表现，甚至用药进行综合判断，也不需要对于每张图片进行手工特征提取方能得到图片的特征信息即可实现病灶特征的自动提取，通过将图片输入至分类模型当中，便能自动提取图片的有效信息并进行自主分类，操作快速、高效。二、分类识别率较高：本专利技术基于病灶特点以及神经网络模块化的思想，设计了所提网络的基本模块，在不破坏DenseNet169基础网络层的前提下，对于每个denseblock中的卷积操作之间加入SEblock,此举在添加少量参数量的同时充分利用了DenseNet169的信息融合能力以及SEblock的通道重要性重标定的特点，提高了网络的特征提取能力，在添加少量参数量的前提下，不破坏网络的基本框架，保持网络的模块化结构，可以进一步载入预先训练好的权重，实现迁移学习，大大缩减训练难度，减少数据量影响，提高特征提取能力和优化网络的分类能力；同时结合SE-DenseNet169、EfficientNetB3和InceptionV3这三种各有优势的分类模型，采用基于加权投票的集成学习的思想，集成三种网络的特征提取能力以及分类能力，得到更为有效的溃疡病灶特征，提高单一算法的分类能力，优化模型整体分类能力，提高该设计的泛化能力，相比于基于临床经验对小肠溃疡性病变进行判断低于70％的准确率，采用本专利技术方法可以达到85％以上的分类准确率，具有较高的分类识别率。三、诊断所需时间少：基于临床经验对小肠溃疡性病变进行诊断，需要内镜医师初步判断，并结合病理、实验室检查、临床表现以及长期随访等方能进行综合判断，具有严重的滞后性，会对病人的诊断治疗产生不利影响；本专利技术通过对原始数据集进行预处理操作，能够减少对于特征提取与分类无用的无效信息，在保留病灶特征的前提下减小数据集的分辨率，注重病灶本身，可以提高训练过程中病灶特征的提取效率，优化网络分类能力，测试过程中可以在3分钟内对200张小肠溃疡图片进行同步特征提取并完成分类识别，高效快速，并加快模型收敛，达到最佳结果。四、具有一定的改进空间：本专利技术方法为了提高特征提取能力，优化模型分类能力，通过对图片进行旋转、平移、缩放、对比度增强以及亮度改变等操作实现数据集的扩充，可以丰富病灶的特征，提高网络的分类能力；本文档来自技高网...

【技术保护点】
1.基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，包括下列步骤：/n1)获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像；/n2)将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域；/n3)对保留病灶区域后的小肠内镜图像进行数据集划分，分为训练集、验证集以及测试集；/n4)对训练集数据进行扩充处理，采用DenseNet169基础网络层结合SE block的方法提取小肠溃疡性病灶的内镜图像特征；/n5)结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤4)的提取结果进行集成学习处理，获取最终提取结果。/n

【技术特征摘要】
1.基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，包括下列步骤：
1)获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像；
2)将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域；
3)对保留病灶区域后的小肠内镜图像进行数据集划分，分为训练集、验证集以及测试集；
4)对训练集数据进行扩充处理，采用DenseNet169基础网络层结合SEblock的方法提取小肠溃疡性病灶的内镜图像特征；
5)结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤4)的提取结果进行集成学习处理，获取最终提取结果。


2.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，获取的病人的小肠内镜视频数据包括克罗恩病、淋巴瘤、肠结核、非特异性小肠溃疡以及隐源性多灶性溃疡性狭窄性小肠炎在内的小肠内镜视频数据。


3.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，步骤2)中，将得到的小肠内镜图像进行预处理操作的具体内容为：
首先对得到的小肠内镜图像进行灰度化处理，随后自适应将灰度图像进行二值化处理，并对所得到的二值图像进行轮廓检测。


4.根据权利要求3所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，步骤2)中，去除无效区域，保留病灶区域的具体内容为：
寻找二值图像中最大面积的区域并用矩形框进行标记，将矩形框以外像素点的值置为零，并对矩形框外区域进行裁剪，裁剪后得到的区域部分为有效区域。


5.根据权利要求1所述的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，其特征在于，对训练集数据进行数据集扩充包括对保留病灶区域后的小肠内镜图像的训练集数据进行旋转操作、平移操...

【专利技术属性】
技术研发人员：郭旭东，杜奕奇，刘张，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海;31