自动批量抓取消化道内组织或异物特征图片的方法技术

本发明专利技术公开了自动批量抓取消化道内组织特征图片的方法，将视频进行格式转换，除去视频帧中的背景，对目标特征进行灰度转换、二值化处理，采用目标特征的轮廓检测，输出目标特征的截取的图像，将截取的图像进行存储，具有快速精准、的有益效果。

The method of automatically grabbing the characteristic pictures of tissues or foreign matters in digestive tract in batches

【技术实现步骤摘要】
自动批量抓取消化道内组织或异物特征图片的方法
本专利技术涉及图像识别
，具体涉及自动批量抓取消化道内组织特征图片的方法。
技术介绍
消化内镜下的智能辅助诊治采用深度学习作为实现智能化的最有效算法，而深度学习依赖于特征的数据集和训练后的模型，多数情况下，深度学习模型无法完全从任意的数据中进行学习，需要对数据进行标注和分类，通常数据的标注和分类为精通目标特征的人员来进行分类和抓取，但人工对视频中目标图片的抓取和筛选需要大量的人力来进行，但人工截取的图片的精准性较低，同种特征的图片，若截取的区域、大小和片段的不同，都会对机器学习的模型训练造成影响，而且消化道内的环境是非几何、动态、存在分形结构、封闭管道的空间、消化内镜在其中移动、识别目标组织通常帖子肠道上，造成消化道内壁特征对识别组织特征的输入训练数据的污染，造成预测过程中的出现过拟合现象。
技术实现思路
为解决上述问题，本专利技术提供一种自动批量抓取消化道内组织特征图片的方法，具有可从历史操作视频中不间断、批量自动化抓取格式化后指定特征图片的优点。本专利技术通过以下技术方案实现：自动批量抓取消化道内组织特征图片的方法，包括如下步骤：a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；b）：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；c）：获取目标特征图片：根据目标特征，获取目标特征图片；d）：对目标特征图片进行灰度转换与二值化处理：e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；f）：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；g）：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果。其特征在于：步骤c）中，获得目标特征图片为：利用掩码与目标特征中的每个像素进行掩码运算，且所述目标特征图片包括目标特征区图像和非目标特征区图像，所述目标特征区图像内的像素值保持不变，非目标特征区图像的像素值为零。步骤d）中，采用灰度转换公式，得到目标特征图片，将目标特征图片的灰度图通过二进制阈值算法得到二值化图，并对二值化图进行形态学腐蚀操作和膨胀操作来去噪，所述目标特征图片的灰度图为单通道灰度图，且单通道值范围为0至255，所述二值化图为单通道值为0或255的二值化图。步骤g）中，判定视频中的帧是否满足截取判定条件包括如下步骤：g1）：判断步骤e）中的目标特征点的统计总数是否大于5000，若大于则转入步骤g2），否则，直接进行下一帧的转换；g2）：判断步骤e）中的目标特征轮廓的宽和高的比例是否为宽高比在5倍以下，且大于五分之一，若是，则转入步骤g3），否则，直接进行下一帧的转换；g3）：判断步骤f）中的目标特征在整个图片中的比例是否在2%-20%范围内，若在，则截取帧中目标特征，保存到结果集，否则，直接进行下一帧的转换。本专利技术公开了自动批量抓取消化道内组织特征图片的方法，将视频进行格式转换，除去视频帧中的背景，突出目标特征，并对目标特征进行灰度转换、二值化处理、去噪和膨胀操作，进一步突出目标特征，采用目标特征的轮廓检测，输出目标特征的位置信息，对邻近相同位置处的目标特征进行比较，判断是否为相同目标特征的帧视频，采取多组视频帧格式单元进行图片的截取，将截取的图像进行存储，具有快速精准的有益效果。附图说明图1是自动批量抓取消化道内组织特征图片的方法流程图。图2是参数H，S和V调节的进度条示意图。图3是目标特征为手术器械时二值化后的特征图。图4是从确定目标特征在图片中的位置和宽度的图片。图5是从视频中截取的目标特征为手术器械的部分图片。图6是各分类数据集中图片向量化的存储结构示意图。图7是神经网络模型识别实时图片中的组织或异物的结果图。图8是图7中识别的组织或异物存储后的结果图。图9是两图片特征点集合中相同特征点的数量。图10是未比较和归档的数据集中的图片。图11是将图10数据集中的图片比较和归档后的结果。图12是高精度卷积神经网络识别手术过程并分类的结果图。图13是识别的手术过程中电烧切除环金属套圈的图片结果。图14是识别的手术过程中金属夹张开的图片结果。图15是识别的手术过程中止血钛夹闭合后未脱离的图片。图16是识别的手术过程中止血钛夹闭合后脱离的图片。具体实施方式下面将结合本专利技术中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例实例仅仅是本专利技术一部分实施实例，而不是全部的实施实例，基于本专利技术的实施实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施实例，都属于本专利技术保护的范围。如图1所示，自动批量抓取消化道内组织特征图片的方法，包括如下步骤：步骤一：批量从视频中抓取手术视频特征图片，a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV，以便于寻找可以剥离特定目标识别区域的背景掩码；b）：定位视频中目标并除去视频背景：如图2所示，调节HSV颜色空间中参数H、S和V的范围以定位视频内容，采用视频背景中的HSV颜色空间得到相应的HSV掩码，通过HSV掩码定位视频中的目标特征，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；c）：获取目标特征图片：利用掩码与目标特征中的每个像素进行掩码运算，且所述目标特征图片包括目标特征区图像和非目标特征区图像，所述目标特征区图像内的像素值保持不变，非目标特征区图像的像素值为零；d）：对目标特征图片进行灰度转换与二值化处理：采用灰度转换公式Gray=(R*299+G*587+B*114+500）/1000得到目标特征图片，将目标特征图片的灰度图通过二进制阈值算法得到二值化图，并对二值化图进行形态学腐蚀操作和膨胀操作来去噪，所述目标特征图片的灰度图为单通道灰度图，且单通道值范围为0-255，所述二值化图为单通道为0或255的二值化图，如图3所示；e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数，如图4所示，此时，目标特征为手术器械，图片中的线框位置为目标特征在图片中的位置。线框的宽度大小为目标特征的轮廓范围；f）：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；g）：逐帧判定视频帧是否满足截取判定条件，若满足，则对图片中目标特征图进行截取，并保存截取结果。如图5所示，是从视频中截取的目标特征为手术本文档来自技高网...

【技术保护点】
1.自动批量抓取消化道内组织特征图片的方法，其特征在于：包括如下步骤：a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；b）：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；c）：获取目标特征图片：根据目标特征，获取目标特征图片；d）：对目标特征图片进行灰度转换与二值化处理；e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；f）：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；g）：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果。

【技术特征摘要】
1.自动批量抓取消化道内组织特征图片的方法，其特征在于：包括如下步骤：a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；b）：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；c）：获取目标特征图片：根据目标特征，获取目标特征图片；d）：对目标特征图片进行灰度转换与二值化处理；e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；f）：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；g）：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果。2.根据权利要求1所述的自动批量抓取消化道内组织特征图片的方法，其特征在于：步骤c）中，获得目标...

【专利技术属性】
技术研发人员：曾凡，黄锦，柯钦瑜，黄勇，邰海军，段惠峰，
申请(专利权)人：河南萱闱堂医疗信息科技有限公司，
类型：发明
国别省市：河南,41