一种消化道内镜图像不规则病变区域标注方法及系统技术方案

本发明专利技术属于图像处理技术领域，具体为一种消化道内镜图像不规则病变区域标注方法及系统。本发明专利技术方法包括：选择目标文件夹，获取文件夹下图像的文件名；自动生成输出路径；初始化图像掩膜；裁剪图像和掩膜并记录裁剪位置；标注病变区域，更新掩膜；根据掩膜生成边框；保存裁剪后的图像、裁剪位置、掩膜和病变区域的边框。所述系统主要包括裁剪和标注两个功能，医生可以剪掉内镜图像中对训练深度神经网络有负面影响的部分、用曲线在内镜图像中勾勒出不规则病变区域，系统自动保存裁剪的图像、位置、掩膜、病变区域的边框，提高标注效率。

A Method and System for Labeling Irregular Lesions in Endoscopic Images of Digestive Tract

The invention belongs to the field of image processing technology, in particular to a method and system for marking irregular lesion areas in gastrointestinal endoscopy images. The method of the invention includes: selecting the target folder to obtain the file name of the image under the folder; automatically generating the output path; initializing the image mask; clipping the image and the mask and recording the clipping position; marking the lesion area and updating the mask; forming a border according to the mask; saving the clipped image, the clipping position, the mask and the clipping position. The border of the lesion area. The system mainly includes two functions: cutting and labeling. Doctors can cut out the parts that have negative effects on training depth neural network in endoscopy images, outline irregular lesion areas in endoscopy images with curves, and automatically save the clipped images, positions, masks and border of lesion areas to improve labeling efficiency.

【技术实现步骤摘要】
一种消化道内镜图像不规则病变区域标注方法及系统
本专利技术属于图像处理
，具体涉及一种消化道内镜图像不规则病变区域标注方法及系统。
技术介绍
内镜检查和术后CT检查是消化道早癌诊疗中的重要方法，其中内镜是一种更为重要的诊疗途径。日本、韩国、中国是消化道癌症的高发国家，日本自1960年开始用消化道造影筛查胃癌，韩国自2002年起开展全国性上消化道内镜筛查项目，并认为内镜筛查在该国最具有成本效果[1]。我国受人口基数以及医疗水平影响，目前尚未开展全人群的消化道内镜普查项目。有效地提高某个地区尤其是内镜经验欠缺地区的消化道癌诊断、治疗、随访水平，成为了医疗工作者所追求的目标。近年来，计算机计算能力的提升和大数据时代的到来促进了深度学习的飞速发展，深度学习在计算机视觉、自然语言处理等方面取得了长足的进步，尤其是图像识别和检测等任务中效果显著。2012年Alex等人[2]将深度神经网络用于图像识别，获得了ImageNet图像识别竞赛[3]的冠军，引发了深度学习的热潮。2015年He等人[4]首次公开宣布基于深度学习的分类方法已经超过人类的识别率。近两年，谷歌利用深度学习的方法[5-6]检测糖尿病视网膜病变和皮肤病变，获得了比大多数人类专家更加准确的诊断结果，展现了深度学习在计算机辅助诊断（computeraideddiagnosis，CAD）的广阔应用前景。如果利用深度学习的方法，通过临床大数据支撑，用消化道内镜病变图像训练病变识别和检测模型，构建一个消化道癌的诊断、治疗及随访的辅助系统，“培养”一名具有上千例甚至上万例内镜诊疗经验的“计算机医生”，同时借由网络云端进行技术改良和推广，将可以提高一个地区乃至全国的消化道癌诊疗水平。相比于传统方法，深度学习中的模型表达能力更强、模型更复杂，但是需要大量的训练样本以防止过拟合。用消化道内镜病变图像训练深度学习神经网络模型，则需要医生提供大量的样本标注。一种较简单的标注方法是用矩形框包围病变区域，然而缺少现成的工具，标注一张图片需要花费大量的时间，标注完成后一般还需要特殊的处理，如检测医生标注的矩形框，而且病变区域的形状多不规则，用矩形框标注病变区域的方式不够精确。专业的内镜图像不规则病变区域的标注工具将可以大大提高医生的标注效率，同时提高标注的精确度，使得标注的数据可以用于更多训练任务中。
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种消化道内镜图像不规则病变区域标注方法及系统，以减轻医生标注不规则病变区域的负担，减少所消耗的人力和时间，同时提高标注的精确度。本专利技术提供的消化道内镜图像不规则病变区域标注方法，具体步骤如下：（1）选择目标文件夹，获取文件夹下内镜图像的文件名；（2）自动生成输出路径；（3）初始化内镜图像掩膜；（4）裁剪内镜图像和掩膜并记录裁剪位置；（5）标注病变区域，更新掩膜；（6）根据掩膜生成边框；（7）保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框。进一步地，步骤（1）中，所述的目标文件夹不包括子文件夹，内镜图像的文件名的后缀为.jpg、.bmp、.png等，目标文件夹下内镜图像文件名后缀相同，只能为.jpg、.bmp、.png等中的一种。进一步地，步骤（2）中，所述的自动生成的输出路径为目标文件夹的子文件夹，子文件夹名称为output，在子文件夹output中自动生成如下子文件夹：crop子文件夹，用于保存裁剪后的内镜图像；cropRec子文件夹，用于保存裁剪的位置信息；box子文件夹，用于保存边框的位置信息；mask子文件夹用于保存掩膜图像。进一步地，步骤（3）中，所述初始化内镜图像掩膜，具体做法为：生成和内镜图像大小相同的掩膜矩阵，初始的值为0，即全0矩阵。进一步地，步骤（4）中，所述裁剪内镜图像和掩膜并记录裁剪位置，具体流程为：裁剪内镜图像：医生在内镜图像中用矩形框框出需要保留的区域，根据矩形框的位置（x,y,W,H），在内镜图像的对应位置裁剪出需要保留的区域，其中x表示矩形框左上角的横坐标，y表示左上角的纵坐标，W表示矩形框的宽，H表示矩形框的高；裁剪掩膜：根据医生标出的矩形框的位置（x,y,W,H），在掩膜的对应位置裁剪出需要保留的区域；裁剪位置为矩形框的位置（x,y,W,H）。进一步地，步骤（5）中，所述标注病变区域，具体做法为：消化道内镜图像中包含病变和正常两种情况，所以可以在掩膜中用1表示病变，用0表示正常；医生在内镜图像中用曲线勾勒出病变区域，若手动绘制的曲线不闭合，则自动将曲线首尾相连；闭合曲线内像素对应的掩膜为1，闭合曲线外像素对应的掩膜为0；医生可以使用多条曲线勾勒病变区域，当新增一条闭合曲线时，则更新对应的掩膜；若多条闭合曲线有重叠，则对病变区域取并集。进一步地，步骤（6）中，所述根据掩膜生成边框，其做法为：掩膜相当于二值图像，获取掩膜的八连通区域，对于每一个连通区域，获取其最左、最右的横坐标，最上、最下的纵坐标，则对应的边框的位置信息为。进一步地，步骤（7）中，所述保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框，具体做法为：获取当前内镜图像的文件名，去掉后缀，作为裁剪和标注数据的文件名。保存裁剪后的内镜图像到crop文件夹，类型为.png格式的图像；保存裁剪位置（x,y,W,H）到cropRec文件夹，类型为文本文件；掩膜中值为1的位置赋值为255，保存掩膜到mask文件夹，类型为.png格式的图像；保存病变区域的边框信息到box文件夹，类型为文本文件。本专利技术还提供一种消化道内镜图像不规则病变区域标注系统，包括以下模块：目标文件夹选择模块，用于选择待标注图像所在文件夹，自动生成输出文件夹，获取目标文件夹下内镜图像的名称，并将第一张内镜图像显示到当前窗口，初始化第一张内镜图像的掩膜为0；（对应于执行方法中步骤（1）-步骤（3）的功能）。裁剪模块，包含裁剪和取消裁剪两个子模块；（对应于执行方法中步骤（4）的功能）。标注模块，包含选择病变区域和清除病变区域两个子模块；（对应于执行方法中步骤（5）的功能）。图片切换模块，用于将当前窗口的内镜图像切换为下一张内镜图像，切换前保存当前图像的裁剪和标注信息到输出文件夹，切换后初始化新的内镜图像的掩码，依次切换内镜图像，直到目标文件夹中所有的内镜图像处理完成。（对应于执行方法中步骤（6）-步骤（7）的功能）。进一步地，所述的裁剪子模块的功能为：允许医生交互式地在内镜图像中绘制矩形框并调整矩形框的位置，调整完成后，医生双击矩形框，系统获取矩形框的位置，保留矩形框内的图像和对应位置的掩膜，并将矩形框内的图像显示在当前窗口。进一步地，所述的取消裁剪的功能为：恢复当前窗口被裁剪的内镜图像及其掩膜，显示恢复的内镜图像。进一步地，所述的选择病变区域子模块的功能为：允许医生交互式地在内镜图像中连续绘制多条曲线，医生每绘制一条曲线，系统则连接曲线的开头和结尾，形成闭合曲线，置闭合曲线内的像素对应的掩码为1；为了让标注更加直观，每绘制一条闭合曲线，则更新闭合曲线内像素的透明度，显示更新后的图像。进一步地，所述的清除病变区域子模块的功能为：重置所有像素的透明度为0，重置掩码的值为0。医生标注时，可以选择性地使用裁剪和标注功能。考虑到，先标注再裁剪内镜图像可能会导致已本文档来自技高网...

【技术保护点】
1.一种消化道内镜图像不规则病变区域标注方法，其特征在于，具体步骤如下：（1）选择目标文件夹，获取文件夹下内镜图像的文件名；（2）自动生成输出路径；（3）初始化内镜图像掩膜；（4）裁剪内镜图像和掩膜并记录裁剪位置；（5）标注病变区域，更新掩膜；（6）根据掩膜生成边框；（7）保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框。

【技术特征摘要】
1.一种消化道内镜图像不规则病变区域标注方法，其特征在于，具体步骤如下：（1）选择目标文件夹，获取文件夹下内镜图像的文件名；（2）自动生成输出路径；（3）初始化内镜图像掩膜；（4）裁剪内镜图像和掩膜并记录裁剪位置；（5）标注病变区域，更新掩膜；（6）根据掩膜生成边框；（7）保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框。2.根据权利要求1所述的方法，其特征在于，步骤（1）中，所述的目标文件夹不包括子文件夹，内镜图像的文件名的后缀为.jpg、.bmp、.png。3.根据权利要求1所述的方法，其特征在于，步骤（2）中，所述的自动生成的输出路径为目标文件夹的子文件夹，子文件夹名称为output，在子文件夹output中自动生成如下子文件夹：crop子文件夹，用于保存裁剪后的内镜图像；cropRec子文件夹，用于保存裁剪的位置信息；box子文件夹，用于保存边框的位置信息；mask子文件夹用于保存掩膜图像。4.根据权利要求1所述的方法，其特征在于，步骤（3）中，所述初始化内镜图像掩膜的方法为：生成和内镜图像大小相同的掩膜矩阵，初始的值为0，即全0矩阵。5.根据权利要求1所述的方法，其特征在于，步骤（4）中，所述裁剪内镜图像和掩膜并记录裁剪位置，具体流程为：裁剪内镜图像：医生在内镜图像中用矩形框框出需要保留的区域，根据矩形框的位置（x,y,W,H），在内镜图像的对应位置裁剪出需要保留的区域，其中x表示矩形框左上角的横坐标，y表示左上角的纵坐标，W表示矩形框的宽，H表示矩形框的高；裁剪掩膜：根据医生标出的矩形框的位置（x,y,W,H），在掩膜的对应位置裁剪出需要保留的区域；裁剪位置为矩形框的位置（x,y,W,H）。6.根据权利要求1所述的方法，其特征在于，步骤（5）中，所述标注病变区域，具体流程为：医生在内镜图像中用曲线勾勒出病变区域，若手动绘制的曲线不闭合，则自动将曲线首尾相连；闭合曲线内像素对应的掩膜为1，闭合曲线外像素对应的掩膜为0；医生可以使用多条曲线勾勒病变区域，当新增一条闭合曲线时，则更新对应的掩膜；若多条闭合曲线有重叠，则对病变区域取并集。7.根据权利要求1所述的方法，其特征在于，步骤（6）中，所述根据掩膜生成边框，具体做法为：掩膜相当于二值图像，获取掩膜的八连通区域，对于每一个连通区...

【专利技术属性】
技术研发人员：颜波，钟芸诗，牛雪静，蔡世伦，谭伟敏，李冰，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31