内窥镜图像处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种内窥镜图像处理方法、装置、电子设备及存储介质，方法包括：获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整。本发明专利技术可以实现通过并行的第一线程与第二线程，控制输出结果与内窥镜视频流的使用环境相匹配，提升对内窥镜图像处理的实时精确率、提高实时召回率。

Endoscopic image processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
内窥镜图像处理方法、装置、电子设备及存储介质
本专利技术涉及医疗图像处理技术，尤其涉及基于人工智能技术的内窥镜图像处理方法、装置、电子设备及存储介质。
技术介绍
基于深度学习所进行的各类别识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。其中，医疗影像的各种图像在不断产生，例如，随着内窥镜在消化道内的不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。但是，现有实时视频流(如结肠内窥镜视频流)目标检测解决方案通常集成一个准确度较高的目标检测模型(如RetinaNet、FasterRCNN、YOLO等各类目标检测算法)，均为将视频流中的图像帧依次输入到模型进行目标检测。但是由于模型的处理速度有限，模型处理速度并不能够与实时视频流速度匹配(大部分检测模型并不能跟上实时视频的帧率)，影响了模型的输出效果。
技术实现思路
有鉴于此，本专利技术实施例提供一种内窥镜图像处理方法、装置、电子设备及存储介质，能够实现通过并行的第一线程和第二线程对原始内窥镜图像进行处理，使得所输出结果与内窥镜视频流的使用环境相匹配。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种内窥镜图像处理方法，所述方法包括：获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。本专利技术实施例还提供了一种内窥镜图像处理方法，所述方法包括：内窥镜图像处理装置获取内窥镜发送的内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像，用于对目标对象的相应病灶进行窥测；所述内窥镜图像处理装置通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；所述内窥镜图像处理装置通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；所述内窥镜图像处理装置响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程；所述内窥镜图像处理装置根据所述第二线程中经过调整的输出结果，向与所述目标对象相接触的医疗设备发送相应的目标内窥镜图像帧，并由所述医疗设备输出相应的目标内窥镜图像帧。本专利技术实施例还提供了一种内窥镜图像处理装置，所述装置包括：信息传输模块，用于获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；信息处理模块，用于通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；所述信息处理模块，用于通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；所述信息处理模块，用于响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。上述方案中，所述信息处理模块，用于提取目标对象的病理信息中的内窥镜视频帧；所述信息处理模块，用于对所述内窥镜视频帧进行清晰度提升处理；所述信息处理模块，用于将所述内窥镜视频帧的格式由当前编码格式转换为灰阶值编码格式，以获得多个内窥镜视频帧；所述信息处理模块，用于将所述内窥镜视频帧进行编码压缩，以形成视频流状态的内窥镜视频流。上述方案中，所述信息处理模块，用于通过与目标格式相匹配的编码方法分别对所述内窥镜视频帧进行编码压缩；所述信息处理模块，用于写入所述视频帧对应的序列号和生成所述图像数据包对应的时间戳，以生成与所述内窥镜视频帧的格式相匹配的数据包；所述信息处理模块，用于对所述图像数据包进行拼接处理，以形成多个内窥镜视频帧。上述方案中，所述信息处理模块，用于将所述原始内窥镜图像调整至目标尺寸，生成标准内窥镜图像帧；所述信息处理模块，用于对所述标准内窥镜图像帧进行过滤，删除存在干扰的标准内窥镜图像帧，以形成包括不同目标内窥镜图像帧的目标内窥镜图像帧。上述方案中，所述信息处理模块，用于通过所述第一线程中的检测器，检测所存在的异物获得分布于所述目标内窥镜图像帧的异物框，其中，所述异物框用于指示所述目标内窥镜图像帧中存在异物的区域；所述信息处理模块，用于基于所述异物框对所述目标内窥镜图像帧进行过滤，以定位所述目标内窥镜图像帧中的病灶区域和所属病灶类别；所述信息处理模块，用于将通过所述异物框定位的所述目标内窥镜图像帧中的病灶区域传输至集成器。上述方案中，所述信息处理模块，用于当所述第一线程中的检测器的检测时间超出检测时间阈值时，停止检测当前目标内窥镜图像帧；所述信息处理模块，用于获取后续目标内窥镜图像帧进行检测。上述方案中，所述信息处理模块，用于当所述第二线程中的跟踪器处于继续跟踪状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框相匹配，所述第二线程中的跟踪器输出当前目标内窥镜图像帧；所述信息处理模块，用于当所述第二线程中的跟踪器处于重置状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框未匹配，所述第二线程中的跟踪器输出新的目标内窥镜图像帧。上述方案中，所述信息处理模块，用于通过所述第一线程中的检测器，确定述目标内窥镜图像帧中存在异物框时，确定相应的边框回归参数；所述信息处理模块，用于通过所述边框回归参数激活所述第二线程中的跟踪器。上述方案中，所述信息处理模块，用于当所述第二线程中的跟踪器被激活时，为所述当前目标内窥镜图像帧中的异物分配目标标识；所述信息处理模块，用于当所述第二线程中的跟踪器在激活状态、继续跟踪状态以及重置状态时的目标内窥镜图像帧中的异物统一时，对所述目标标识进行初始化，以实现对当前目标内窥镜图像帧中的异物进行连续跟踪。上述方案中，所述信息处理模块，用于响应于第二线程中的输出结果，发送调整指令，其中，所述调整指令用于调整与目标对象相接触的医疗设备的检测状态，以获取新的病理信息。本专利技术实施例还提供了一种内窥镜图像处理系统，所述系统包括：内窥镜，用于向内窥镜图像处理装置发送内窥镜视频流；内窥镜图像处理装置，用于获取所述内窥镜发送的内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像，用于对目标对象的相应病灶进行窥测；所述内窥镜图像处理装置，用于通本文档来自技高网...

【技术保护点】
1.一种内窥镜图像处理方法，其特征在于，所述方法包括：/n获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；/n通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；/n通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；/n响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。/n

【技术特征摘要】
1.一种内窥镜图像处理方法，其特征在于，所述方法包括：
获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；
通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；
通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；
响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。


2.根据权利要求1所述的方法，其特征在于，所述获取内窥镜视频流，包括：
提取目标对象的病理信息中的内窥镜视频帧；
对所述内窥镜视频帧进行清晰度提升处理；
将所述内窥镜视频帧的格式由当前编码格式转换为灰阶值编码格式，以获得多个内窥镜视频帧；
将所述内窥镜视频帧进行编码压缩，以形成视频流状态的内窥镜视频流。


3.根据权利要求2所述的方法，其特征在于，所述将所述内窥镜视频帧的格式由当前编码格式转换为灰阶值编码格式，包括：
通过与目标格式相匹配的编码方法分别对所述内窥镜视频帧进行编码压缩；
写入所述视频帧对应的序列号和生成所述图像数据包对应的时间戳，以生成与所述内窥镜视频帧的格式相匹配的数据包；
对所述图像数据包进行拼接处理，以形成多个内窥镜视频帧。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述原始内窥镜图像调整至目标尺寸，生成标准内窥镜图像帧；
对所述标准内窥镜图像帧进行过滤，删除存在干扰的标准内窥镜图像帧，以形成包括不同目标内窥镜图像帧的目标内窥镜图像帧。


5.根据权利要求4所述的方法，其特征在于，所述通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器，包括：
通过所述第一线程中的检测器，检测所存在的异物获得分布于所述目标内窥镜图像帧的异物框，其中，所述异物框用于指示所述目标内窥镜图像帧中存在异物的区域；
基于所述异物框对所述目标内窥镜图像帧进行过滤，以定位所述目标内窥镜图像帧中的病灶区域和所属病灶类别；
将通过所述异物框定位的所述目标内窥镜图像帧中的病灶区域传输至集成器。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述第一线程中的检测器的检测时间超出检测时间阈值时，停止检测当前目标内窥镜图像帧，并获取后续目标内窥镜图像帧进行检测。


7.根据权利要求4所述的方法，其特征在于，所述第二线程响应于所述控制指令，对所述第二线程中的输出结果进行调整，包括：
当所述第二线程中的跟踪器处于继续跟踪状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框相匹配，所述第二线程中的跟踪器输出当前目标内窥镜图像帧；或者
当所述第二线程中的跟踪器处于重置状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框未匹配，所述第二线程中的跟踪器输出新的目标内窥镜图像帧。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过所述第一线程中的检测器，确定述目标内窥镜图像帧中存在异物框时，确定相应的边框回归参数；
通过所述边框回归参数激活所述第二线程中的跟踪器。


9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当所述第二线程中的跟踪器被激活时，为所述当前目标内窥镜图像帧中的异物分配目标标识；
当所述第二线程中的跟踪器在激活状态、继续跟踪...

【专利技术属性】
技术研发人员：章子健，尚鸿，孙钟前，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44