一种内镜图像处理方法及相关设备技术

本发明专利技术公开了一种内镜图像处理方法及相关设备，本发明专利技术通过获取待处理的内镜图像，再根据基于迁移学习训练而得到卷积神经网络对待处理的内镜图像进行检测，获取得到内镜图像的图像类型，图像类型包括正常图像和异常图像，克服现有技术中存在内镜图像检测算法的准确率低下的技术问题，结合迁移学习和卷积神经网络，不仅有效提高了内镜图像的图像类型检测准确率，而且基于检测的图像类型可以帮助医生进行诊断治疗，减轻医生的工作量，提高异常检出率，降低异常的漏检率。

An Endoscopic Image Processing Method and Related Equipment

【技术实现步骤摘要】
一种内镜图像处理方法及相关设备
本专利技术涉及图像处理领域，尤其是一种内镜图像处理方法及相关设备。
技术介绍
对于消化道内窥镜检查、自然腔道内镜手术等操作，医生依照个人的经验进行检查、诊断和手术，容易造成漏诊、误诊和手术失误，对病患的人身安全造成威胁。随着科技的发展，为了降低人工检测的误差出现了计算机辅助诊断技术，利用图像检测算法辅助医生对病患进行检查和治疗。然而，现有技术中，内镜图像检测算法的准确度依旧低下，亟需对此技术做出改进。
技术实现思路
本专利技术旨在至少在一定程度上解决相关记述中的技术问题之一。为此，本专利技术的一个目的是提供一种内镜图像处理方法及相关设备，能够自动处理输入的内镜图像以辅助医生进行诊断治疗。本专利技术所采用的技术方案是：第一方面，本专利技术提供一种内镜图像处理方法，包括：图像获取步骤：获取待处理的内镜图像；检测步骤：将所述待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取所述待处理的内镜图像的图像类型，所述图像类型包括正常图像和异常图像。进一步地，所述内镜图像处理方法还包括：输出步骤：输出所述待处理的内镜图像的所述图像类型。进一步地，所述内镜图像处理方法还包括：图像预处理步骤：对所述待处理的内镜图像进行图像统一化处理和/或数据增强处理。进一步地，对所述待处理的内镜图像进行降低图像噪声处理以及标准化数据处理中的至少一种以实现图像统一化。进一步地，所述检测步骤还包括：所述卷积神经网络对所述待处理的内镜图像进行异常区域检测，以获取所述内镜图像的异常区域。进一步地，所述内镜图像处理方法还包括：训练图像获取步骤：获取多张内镜图像作为训练图像；标注步骤：对所述训练图像进行精准标注和粗略标注，其中，精准标注的训练图像构成精标注数据集，所述精准标注的训练图像标注有内镜图像的图像类型及其异常区域；粗略标注的训练图像构成粗标注数据集，所述粗略标注的训练图像标注有内镜图像的异常区域；数据集划分步骤：将所述精标注数据集划分为第一精标注数据集和第二精标注数据集，所述第一精标注数据集和粗标注数据集作为预训练的卷积神经网络的训练集，所述第二精标注数据集作为所述卷积神经网络的测试集；训练步骤：利用所述训练集训练所述预训练的卷积神经网络以获取所述卷积神经网络；测试步骤：利用所述测试集测试所述卷积神经网络以获取网络准确率，所述网络准确率达到第一预设准确率则停止训练，否则返回继续训练。进一步地，所述训练步骤包括：利用所述第一精标注数据集训练所述预训练的卷积神经网络以获取网络参数，获取网络准确率作为第一网络准确率；根据所述网络参数、所述粗标注数据集训练所述预训练的卷积神经网络并获取网络准确率作为第二网络准确率；判断所述第一网络准确率和所述第二网络准确率均达到第二预设准确率，则停止训练，否则，继续进行网络训练。第二方面，本专利技术提供一种内镜图像处理装置，包括：图像获取模块，用于获取待处理的内镜图像；检测模块，用于将所述待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取所述待处理的内镜图像的图像类型，所述图像类型包括正常图像和异常图像。进一步地，所述内镜图像处理装置还包括：输出模块，用于输出所述待处理的内镜图像的所述图像类型。第三方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如所述的内镜图像处理方法。本专利技术的有益效果是：本专利技术通过获取待处理的内镜图像，再根据基于迁移学习训练而得到卷积神经网络对待处理的内镜图像进行检测，获取得到内镜图像的图像类型，图像类型包括正常图像和异常图像，克服现有技术中存在内镜图像检测算法的准确率低下的技术问题，结合迁移学习和卷积神经网络，不仅有效提高了内镜图像的图像类型检测准确率，而且基于检测的图像类型可以帮助医生进行诊断治疗，减轻医生的工作量，提高异常检出率，降低异常的漏检率。附图说明图1是本专利技术中内镜图像处理方法的一种实施例的方法流程图；图2是本专利技术中内镜图像处理方法的一种实施例的网络训练方法流程图；图3是本专利技术中内镜图像处理装置的一种实施例的结构框图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。实施例1参考图1，图1是本专利技术中内镜图像处理方法的一种实施例的方法流程图，一种内镜图像处理方法，包括：图像获取步骤S11：获取待处理的内镜图像，其中，利用内镜(也即内窥镜)获取消化道等位置的组织图像作为待处理的内镜图像；图像预处理步骤S12：对待处理的内镜图像进行图像统一化处理和/或数据增强处理，图像统一化处理是将待处理的内镜图像的数据格式和图像格式进行统一，而数据增强处理，也就是数据扩增，是利用数据增强技术处理待处理的内镜图像产生更多的内镜图像以实现图像扩增，包括对图像进行翻转、裁剪、旋转、缩放等操作，目的是为了提供待处理的内镜图像的各种扩增图像，提高后续检测步骤中，卷积神经网络对待处理图像的检测准确度；本实施例中，为了提高网络的检测准确度，同时对内镜图像进行数据统一化处理和数据增强处理；检测步骤S13：将经过步骤S12处理后的待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取待处理的内镜图像的图像类型，图像类型包括正常图像和异常图像，正常图像是指内镜图像中没有异常病变的区域的图像，而异常图像是指内镜图像中存在异常病变的区域的图像；以消化道的内镜图像为例，正常图像是指消化道的内镜图像的检测结果为阴性，异常图像是指消化道的内镜图像的检测结果为阳性；另外，卷积神经网络还对经过步骤S12处理后的待处理的内镜图像进行异常区域检测，以获取内镜图像的异常区域，即将内镜图像的异常病变区域检测出来；其中，迁移学习是指把已训练好的模型参数迁移到新的模型来帮助新模型训练，以降低训练模型的工作量，也可以提高新的模型的准确率；输出步骤S14：输出待处理的内镜图像的图像类型以及异常区域，得到内镜图像的处理报告；当网络输出的图像类型为正常图像时，将网络输出的图像类型作为报告输出；而当网络输出的图像类型为异常图像时，同时将网络输出的图像类型、内镜图像的异常区域作为报告进行输出。本实施例中，内镜图像处理方法结合迁移学习和卷积神经网络，不仅有效提高了内镜图像的图像类型检测准确率，而且基于检测得到的图像类型可以帮助医生进行诊断治疗，例如辅助医生进行消化道内窥镜检查、自然腔道内镜手术，减少漏诊，减轻医生的工作量，提高异常检出率，降低异常的漏检率。实际使用时，医生可以参照网络输出的图像类型和异常区域，再结合自己的从医经验给出内镜图像最终的诊断结果，以确保诊断结果的准确性。进一步地，对待处理的内镜图像进行预处理时，可以对待处理的内镜图像进行降低图像噪声处理以及标准化数据处理中的至少一种以实现图像统一化。本实施例中，为了保证图像检测的准确度，同时进行降低图像噪声处理以及标准化数据处理，其中，可以采用滤波器进行去噪；而标准化数据处理是指统一内镜图像的数据格式，例如统一图像的分辨率和对比度等。更进一步地，在使用卷积神经网络之前，需要对其进行训练，下面是训练的具体方法，参考图2，图2是本专利技术中内镜图像处理方法的一种实施例的网络训练方法流程图；包括：训练图像获取步骤S21：本文档来自技高网...

【技术保护点】
1.一种内镜图像处理方法，其特征在于，包括：图像获取步骤：获取待处理的内镜图像；检测步骤：将所述待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取所述待处理的内镜图像的图像类型，所述图像类型包括正常图像和异常图像。

【技术特征摘要】
1.一种内镜图像处理方法，其特征在于，包括：图像获取步骤：获取待处理的内镜图像；检测步骤：将所述待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取所述待处理的内镜图像的图像类型，所述图像类型包括正常图像和异常图像。2.根据权利要求1所述的内镜图像处理方法，其特征在于，还包括：输出步骤：输出所述待处理的内镜图像的所述图像类型。3.根据权利要求1所述的内镜图像处理方法，其特征在于，还包括：图像预处理步骤：对所述待处理的内镜图像进行图像统一化处理和/或数据增强处理。4.根据权利要求1所述的内镜图像处理方法，其特征在于，对所述待处理的内镜图像进行降低图像噪声处理以及标准化数据处理中的至少一种以实现图像统一化。5.根据权利要求1至4任一项所述的内镜图像处理方法，其特征在于，所述检测步骤还包括：所述卷积神经网络对所述待处理的内镜图像进行异常区域检测，以获取所述内镜图像的异常区域。6.根据权利要求1至4任一项所述的内镜图像处理方法，其特征在于，还包括：训练图像获取步骤：获取多张内镜图像作为训练图像；标注步骤：对所述训练图像进行精准标注和粗略标注，其中，精准标注的训练图像构成精标注数据集，所述精准标注的训练图像标注有内镜图像的图像类型及其异常区域；粗略标注的训练图像构成粗标注数据集，所述粗略标注的训练图像标注有内镜图像的异常区域；数据集划分步骤：将所述精标注数据集划分为第一精标注数据集和第二精标注数...

【专利技术属性】
技术研发人员：徐弢，张子琪，赵文祥，
申请(专利权)人：清华伯克利深圳学院筹备办公室，
类型：发明
国别省市：广东,44