医疗内窥镜图像的处理方法、系统、机器设备和介质技术方案

本申请揭示了一种医疗内窥镜图像的处理方法、系统、机器设备和介质，涉及人工智能的图像处理、机器学习等技术领域。所述方法包括：根据医疗内窥镜视频流获取原始内窥镜图像；将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。本申请实施例的技术方案可以消除内窥镜在消化道内的拍摄切换和晃动、遇到各种液体和异物情况下存在的大量低质量、噪声图像，鲁棒性得到增强，进而有利于实现系统而完整的影像识别。

Methods, systems, machines and media of medical endoscope image processing

The application discloses a processing method, system, machine equipment and medium of medical endoscope image, which relates to the technical fields of image processing, machine learning and the like of artificial intelligence. The method includes: acquiring the original endoscope image according to the medical endoscope video stream; processing the acquired original endoscope image into a set size to generate a standard endoscope image; predicting the low-quality image and the non low-quality image through neural network for the standard endoscope image, and filtering the standard endoscope image belonging to interference The standard endoscopic image of low-quality image is used to obtain the target endoscopic image. The technical scheme of the embodiment of the application can eliminate the photographing switching and shaking of the endoscope in the digestive tract, a large number of low-quality and noisy images in case of various liquids and foreign matters, enhance the robustness, and thus facilitate the realization of systematic and complete image recognition.

【技术实现步骤摘要】
医疗内窥镜图像的处理方法、系统、机器设备和介质本申请是2019年05月06日提交的、申请号为201910372711.4、专利技术名称为“医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统”的分案申请。
本申请涉及计算机应用
，特别涉及一种医疗内窥镜图像的处理方法、系统、机器设备和介质。
技术介绍
基于深度学习所进行的各类别识别，一直以来都是各应用场景下解决大量数据分类的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。在对图像所进行的分类预测中，根据所部署的应用场景不同，例如，AI+医疗场景，具体用于实现分类预测的图像以及分类预测的实现也各不相同。形成医疗影像的各种图像在不断产生，例如，随着内窥镜在消化道内的不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。然而，如何将面向各种医疗内窥镜图像而借助于深度学习实现分类预测，进而对医疗内窥镜图像实现系统而完整的识别，是现有医疗影像的分类预测所不具备的。现有医疗影像的分类预测仅限于单一功能，而无法适用于产生医疗内窥镜视频流的内窥镜拍摄全过程。并且，由于医疗内窥镜图像的拍摄难免受到内窥镜的切换和晃动影响，且拍摄时内窥镜的镜头也难免会遇到各种液体和异物，因此，所得到的内窥镜图像常常会存在大量的干扰和噪声，进而导致鲁棒性差。
技术实现思路
本申请提供一种医疗内窥镜图像的处理方法、系统、机器设备和介质，至少在一定程度上可以消除内窥镜在拍摄时发生的切换和晃动、遇到各种液体和异物情况下存在的大量干扰，增强了系统鲁棒性。一种医疗内窥镜图像的识别方法，所述方法包括：根据医疗内窥镜视频流获取原始内窥镜图像；将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。一种医疗内窥镜图像的识别系统，所述系统包括：图像获取模块，用于根据医疗内窥镜视频流获取原始内窥镜图像；图像处理模块，用于将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；图像预测模块，用于对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；图像过滤模块，用于过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。一种机器设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行实现如前所述的方法。一种内窥镜影像系统，其特征在于，包括：医疗内窥镜视频的显示设备；以及工作站，所述工作站以内窥镜输出的医疗内窥镜视频流为输入，执行实现如前所述的方法。一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。本申请的实施例提供的技术方案可以包括以下有益效果：对给定医疗内窥镜视频流，首先从中获取原始内窥镜图像，然后将获取的原始内窥镜图像处理为设定尺寸生成标准内窥镜图像，对标准内窥镜图像通过神经网络进行低质图像和非低质图像的预测，进而过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像，使得能够过滤获取的原始内窥镜图像生成目标内窥镜图像，以此来消除内窥镜在拍摄时发生的切换和晃动、遇到各种液体和异物情况下存在的大量干扰，使得鲁棒性得到增强，进而有利于实现系统而完整的影像识别。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。图1是根据本申请所涉及的实施环境的示意图；图2是根据一示例性实施例示出的一种装置的框图；图3是根据一示例性实施例示出的一种医疗内窥镜图像的识别方法的流程图；图4是根据图3对应实施例示出的对步骤330进行描述的流程图；图5是根据图3对应实施例示出的对步骤390进行描述的流程图；图6是根据图5对应实施例示出的对步骤393进行描述的流程图；图7是根据图3对应实施例示出的对步骤390进行描述的流程图；图8是根据图7对应实施例示出的对步骤390进行描述的流程图；图9是根据图3对应实施例示出的对步骤5003b进行描述的流程图；图10是根据一示例性实施例示出的对以消化道内窥镜所拍摄低质图像和非低质图像为样本，训练神经网络得到对应低质和非低质两大图像类别输出概率的神经网络步骤进行描述的流程图；图11是根据一示例性实施例示出的消化道内窥镜拍摄下影像识别的整体架构示意图；图12是根据一示例性实施例示出的白光拍摄模式下的内窥镜图像示意图；图13是图12所对应实施例示出的NBI模式下的内窥镜图像示意图；图14是图12所对应实施例的碘染模式下的内窥镜图像示意图；图15是根据一示例性实施例示出的一种医疗内窥镜图像的识别系统的框图。具体实施方式这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例提供的方案涉及人工智能的图像处理、机器学习等技术，具体通过如下实施例进行说明：图1是本申请所涉及实施环境的示意图。在一个示例性实施例中，该实施环境包括内窥镜110、显示设备130和工作站150组成的内窥镜影像系统。内窥镜110作为所进行影像识别的数据来源，随着内窥镜110在消化道内的移动和拍摄，显示设备130将不断进行视频影像显示，即通过内窥镜110拍摄的每一帧内窥镜图像来进行影像显示。在此基础上，也将通过工作站150来执行本申请面向消化道内窥镜拍摄的影像识别，以此来对所进行的消化道内窥镜检查实现系统而全面的分类预测，获得内窥镜图像中的病灶区域分布以及所分布病灶区域归属的类别。工作站150是为内窥镜部署的主机，即微型计算机，其体积可大可小，满足性能上的要求即可。由此，本申请提供了一种实体医疗设备，即内窥镜影像系统，其至少包括：医疗内窥镜视频的显示设备；以及工本文档来自技高网...

【技术保护点】
1.一种医疗内窥镜图像的处理方法，其特征在于，所述方法包括：/n根据医疗内窥镜视频流获取原始内窥镜图像；/n将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；/n对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；/n过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。/n

【技术特征摘要】
1.一种医疗内窥镜图像的处理方法，其特征在于，所述方法包括：
根据医疗内窥镜视频流获取原始内窥镜图像；
将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；
对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；
过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。


2.根据权利要求1所述的方法，其特征在于，还包括：
通过神经网络的分类预测识别所述目标内窥镜图像对应的器官信息；
根据所对应的器官信息，通过分类网络识别所述目标内窥镜图像适用的图像类型；
在所述图像类型对应的拍摄模式下，根据所述器官信息指示的部位定位所述目标内窥镜图像中的病灶区域和所属病灶类别。


3.根据权利要求2所述的方法，其特征在于，所述在所述图像类型对应的拍摄模式下，根据所述器官信息指示的部位定位所述目标内窥镜图像中的病灶区域和所属病灶类别，包括：
对所述图像类型对应拍摄模式下的目标内窥镜图像，检测所存在的异物获得分布于所述目标内窥镜图像的异物框，所述异物框用于指示所述目标内窥镜图像中存在异物的区域；
根据检测得到的所述异物框过滤所述目标内窥镜图像，未过滤掉的所述目标内窥镜图像用于定位病灶区域和所属病灶类别。


4.根据权利要求3所述的方法，其特征在于，在所述对所述图像类型对应拍摄模式下的目标内窥镜图像，检测所存在的异物获得分布于所述目标内窥镜图像的异物框之前，还包括：
检测所述目标内窥镜图像的图像类型；
在检测的所述图像类型与识别的所述图像类型不符时，按照所识别图像类型对应的拍摄模式，对所述目标内窥镜图像切换拍摄模式来获取识别的所述图像类型对应拍摄模式下的目标内窥镜图像。


5.根据权利要求3所述的方法，其特征在于，所述对所述图像类型对应拍摄模式下的目标内窥镜图像，检测所存在的异物获得分布于所述目标内窥镜图像的异物框，包括：
以所述图像类型对应拍摄模式下的目标内窥镜图像为输入，通过神经网络进行目标检测获得所存在异物框对应的坐标和置信度，所述坐标用于指示所述目标内窥镜图像中异物框的分布。


6.根据权利要求5所述的方法，其特征在于，所述根据检测得到的所述异物框过滤所述目标内窥镜图像，包括：
根据目标内窥镜图像中异物框对应的坐标和置信度，运算所述目标内窥镜图像所存在异物占据的面积比例因子；
根据所述面积比例因子判定所存在异物对所述目标内窥镜图像的干扰性，过滤发生异物干扰的所述目标内窥镜图像。


7.根据权利要求2所述的方法，其特征在于，所述在所述图像类型对应的拍摄模式下，根据所述器官信息指示的部位定位所述目标内窥镜图像中的病灶区域和所属病灶类别，包括：
对所述图像类型对应拍摄模式下的目标内窥镜图像在定位检测网络各层不断进行特征提取，直至最终回归得到所述目标内窥镜图像中的病灶区域；
通过分类网络进...

【专利技术属性】
技术研发人员：章子健，孙钟前，付星辉，尚鸿，王晓宁，杨巍，
申请(专利权)人：腾讯医疗健康深圳有限公司，
类型：发明
国别省市：广东;44