一种实时低延时的结直肠镜下异常区域的辅助检测方法及系统技术方案

本发明专利技术提供一种实时低延时的结直肠镜下异常区域的辅助检测方法及系统。本发明专利技术方法包括：收集结直肠镜检查视频数据；对数据进行筛选和预处理后进行标注，制作训练集；输入YOLOv5网络进行训练；优化网络前向推理过程，部署实时网络进行异常区域检测。本发明专利技术系统包括：肠镜设备、图像采集设备、异常区域检测程序模块、GPU、CPU、内存、显示设备；CPU控制加载异常区域检测程序模块到内存中，循环执行下述步骤，包括：调用图像采集设备API，控制图像采集设备采集肠镜设备输出的视频流帧到GPU的显存中；异常区域检测程序模块对GPU显存中缓存的图像帧进行处理；将处理后的图像帧显示到显示设备上。本发明专利技术能够无感接入到现有肠镜检查流程中，方便在临床上普及。方便在临床上普及。方便在临床上普及。

【技术实现步骤摘要】
一种实时低延时的结直肠镜下异常区域的辅助检测方法及系统


[0001]本专利技术属于医学图像处理技术以及深度学习
，具体涉及一种实时低延时的结直肠镜下异常区域的辅助检测方法及系统。

技术介绍

[0002]结直肠癌是世界第二大癌症相关死亡原因，仅次于肺癌。结直肠癌早期通常没有任何临床表现，而开始出现病症的中晚期患者的5年生存率则显著下降。结直肠镜检查被认为是诊断和彻底切除其早期病变(结直肠息肉)的关键临床工具，从而可以降低结直肠癌的发病率和死亡率。研究表明，每增加1.0％的腺瘤检出率，可使结直肠癌的风险降低3.0％。然而，结肠镜检查的质量因内镜医师的专业程度而异。经验不丰富的内镜医生以及长时间执行结直肠镜检查工作造成的疲劳和注意力不集中很容易造成息肉的漏检。
[0003]近十年来，随着深度学习算法的出现和计算机能力的显著进步，结直肠镜领域逐渐出现了使用计算机辅助检测系统进行异常区域检测的相关研究。目前的研究虽然在理论上达到了较高的性能指标，但是难以在临床实践中落地。不同于磁共振、CT等成像模态，“实时低延时”地检测异常区域是内镜医生对结直肠镜辅助检测系统最主要的需求，结直肠镜检查的难点在于视频流的采集和医生的诊断需要同时完成。另外，异常区域的形态、大小、位置各异，辅助检测系统如何在面对各种异常区域时均表现出一致的高性能是另一个亟需解决的问题。

技术实现思路

[0004]为了克服上述现有技术的不足，本专利技术提供一种实时低延时的结直肠镜下异常区域辅助检测方法及系统，以解决内镜医生在直接观察结直肠镜视频流过程中，可能因疲劳或者缺乏经验而导致的一些异常区域的漏检问题。该方法及系统能够集成进现有肠镜系统，在临床实践中低延时、实时地帮助内镜医生完成结肠镜图像中异常区域的提示与定位；同时在面对各种不同大小、形状、位置的异常区域时均具有一致和稳定的较高的性能，不弱于熟练的内镜医生。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]一种实时低延时的结直肠镜下异常区域辅助检测方法，包括以下步骤：
[0007]步骤1:采集数据
[0008]选择市面上主流厂商的肠镜系统，从其肠镜图像控制器的视频流输出接口采集肠镜检查过程的原始视频数据，并收集每场肠镜检查术对应的肠镜检查报告文件与病理检查报告文件；
[0009]步骤2:制作训练集
[0010]对步骤1中采集的数据进行筛选和预处理后，根据肠镜检查报告与病理检查报告文件对图像帧中的异常区域位置进行标注，作为训练样本；
[0011]所述筛选和预处理步骤如下：
[0012]1)筛选一定数量的异常区域，应包含各种大小、形态、位置、病理学类型；
[0013]2)对根据步骤1)筛选的上述异常区域，在原始录制的肠镜检查视频数据中截取包含异常区域的视频片段，并将其拆分成图像帧；
[0014]3)调整图像的尺寸为指定大小，保存为jpeg格式；
[0015]所述标注具体为，由3位熟练的内镜医生进行背对背操作，并由1位专家级内镜医生对标注不一致的结果进行仲裁，最终每张图像的标签保存格式为[类别，x
min
，y
min
，x
max
，y
max
]，其中(x
min
，y
min
)为异常区域位置包围框的左上角坐标，(x
max
，y
max
)为异常区域位置包围框的右下角坐标。
[0016]步骤3:训练网络
[0017]设置超参数，对训练集中的数据进行数据增强后，输入到YOLOv5网络中进行训练得到YOLOv5异常区域检测模型，并保存训练完成的网络参数；
[0018]所述超参数包括：基线网络结构、迭代次数epochs、批大小batch
‑
size、初始候选框参数、优化器类型及其学习率lr等；
[0019]步骤4:部署网络
[0020]根据网络推理使用的实际硬件设备，对步骤3中的YOLOv5异常区域检测模型进行前向推理过程的优化，从而降低推理耗时；同时对保存的网络参数进行格式转换后部署到硬件平台中，对新输入的肠镜图像进行异常区域检测。
[0021]优选地，步骤3中所述数据增强包括：裁剪、旋转、翻转、平移、缩放、色彩空间调整、马赛克增强Mosaic、混合增强MixUp。
[0022]优选地，步骤4中所述硬件设备为NVIDIA GPU，所述前向推理过程的优化方式为调用TensorRT SDK，所述格式转换为将步骤3中保存的网络参数文件转换为TensorRT可调用的engine文件。
[0023]一种实时低延时的结直肠镜下异常区域辅助检测系统，包括：
[0024]肠镜设备、图像采集设备、异常区域检测程序模块、GPU、CPU、内存、显示设备；其中，图像采集设备、异常区域检测程序模块、GPU、CPU、内存置于计算机主机中；肠镜设备的图像控制器的输出接口连接计算机主机中图像采集设备的输入接口、计算机主机中GPU的输出接口连接显示设备的输入接口；
[0025]其中，所述异常区域检测程序模块包括：图像预处理模块、异常区域检测模块、图像后处理模块；
[0026]所述图像预处理模块将当前图像帧缩放到指定大小；
[0027]所述异常区域检测模块用于根据所述YOLOv5异常区域检测模型对输入的肠镜图像帧进行前向推理计算，得到异常区域包围框的预测结果；通过设定一个阈值thresh，将预测结果中置信度大于阈值thresh的异常区域包围框作为异常区域检测结果；
[0028]所述图像后处理模块根据异常区域息肉检测模块输出的异常区域包围框信息，在原始肠镜图像上以醒目的颜色画出对应的矩形，以便直观地展示异常区域所在位置。
[0029]所述检测系统的工作流程包括以下步骤：
[0030]步骤1.计算机主机的CPU控制加载异常区域检测程序模块到内存中，每隔一定时间循环执行下述步骤2到步骤4；
[0031]所述一定时间根据显示设备的显示帧率确定。
[0032]步骤2.调用图像采集设备API，控制图像采集设备以低延时模式采集肠镜设备图像控制器输出的视频流帧到GPU的显存中；
[0033]步骤3.异常区域检测程序模块对GPU显存中缓存的图像帧进行处理；
[0034]步骤4.将处理后的图像帧显示到显示设备上。
[0035]优选地，所述图像采集设备可以将常见的视频信号接口如HDMI、SDI、DVI等输入的数据流以PCIe接口格式进行输出，供计算机主机内的CPU进行调度；可以直接选用市面上成熟的图像采集卡或者基于FPGA进行自主开发；
[0036]优选地，所述低延迟模式的实现方式如下：
[0037]在视频信号源接入图像采集设备到被计算机主机中软件程序使用这个过程中，存在三个阶段，具体步骤如下：数据从图像采集设备输入接口到设备板卡内存；数据从设备板卡内存通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时低延时的结直肠镜下异常区域的辅助检测方法，其特征在于，包括以下步骤：步骤1:采集肠镜检查过程的原始视频数据，并收集每场肠镜检查术对应的肠镜检查报告文件与病理检查报告文件；步骤2:制作训练集对步骤1中采集的原始视频数据进行筛选和预处理后，根据肠镜检查报告与病理检查报告文件对图像帧中的异常区域位置进行标注，作为训练集；所述筛选和预处理步骤如下：1)筛选包含各种大小、形态、位置、病理学类型的异常区域；2)对根据步骤1)筛选的异常区域，在原始视频数据中截取包含异常区域的视频片段，并将其拆分成图像帧；3)调整图像的尺寸为指定大小，保存为jpeg格式；步骤3:训练网络设置超参数，对训练集中的数据进行数据增强后，输入到YOLOv5网络中进行训练，保存训练完成的网络参数；所述超参数包括：基线网络结构、迭代次数epochs、批大小batch
‑
size、初始候选框参数、优化器类型及其学习率lr；步骤4:部署网络根据网络推理使用的实际硬件设备，对步骤3中的YOLOv5网络进行前向推理过程的优化，从而降低推理耗时；同时对保存的网络参数进行格式转换后部署到硬件设备中，对新输入的肠镜图像进行异常区域检测。2.根据权利要求1所述实时低延时的结直肠镜下异常区域的辅助检测方法，其特征在于，步骤3中所述数据增强包括：裁剪、旋转、翻转、平移、缩放、色彩空间调整、马赛克增强Mosaic、混合增强MixUp。3.根据权利要求1所述实时低延时的结直肠镜下异常区域的辅助检测方法，其特征在于，步骤4中所述硬件设备为NVIDIA GPU，所述前向推理过程的优化方式为调用TensorRT SDK，所述格式转换为将步骤3中保存的网络参数文件转换为TensorRT可调用的engine文件。4.一种实时低延时的结直肠镜下异常区域的辅助检测系统，其特征在于，包括肠镜设备、图像采集设备、异常区域检测程序模块、GPU、CPU、内存和显示设备；其中，所述图像采集设备、异常区域检测程序模块、GPU、CPU、内存置于计算机主机中；所述肠镜设备的图像控制器的输出接口连接计算机主机中图像采集设备的输入接口、所述计算机主机中GPU的输出接口连接显示设备的输入接口；所述检测系统执行权利要求1
‑
3任一项所述的方法实现结直肠镜下异常区域的辅助检测。5.根据权利要求4所述的...

【专利技术属性】
技术研发人员：叶学松，干添元，金子逸，
申请(专利权)人：浙江大学，
类型：发明
国别省市：