肠镜检查后对肠道准备自动进行评分的方法技术

本发明专利技术公开了肠镜检查后对肠道准备自动进行评分的方法，将可批量获取视频中学习数据集,通过深度神经网络模型对数据集进行训练,识别肠道异物，记录肠道准备情况，通过ASTP评分方法和EAREI评分规则，对肠道准备情况进行评分，定义了肠道准备的量化评分标准。

The method of automatically grading intestinal preparation after colonoscopy

【技术实现步骤摘要】
肠镜检查后对肠道准备自动进行评分的方法
本专利技术涉及图像识别
，具体涉及肠镜检查后对肠道准备自动进行评分方法。
技术介绍
对内镜下消化道组织和异物的识别是消化内镜视觉辅助诊断的基础，只有识别出组织和异物，才能去分析和提示这些组织和异物的问题。传统的消化道组织和异物的识别为医生通过肉眼观察发现消化道内异物或病变组织，准确发现和描述消化道组织和异物需要医生具备丰富的经验，并且医生通过回忆方式记录这些内容，若检查次数过多，容易记录混乱，此外，组织或异物的识别和记录没有科学的手段和方法，无法为后续的研究提供支持。并且消化内镜下肠道观察的效果取决于患者为检查所做的肠道准备，不同的肠道准备药物、患者体征、服药后的排泄和准备动作均会对肠道准备的效果造成影响。当肠道准备的效果良好时，消化内镜在肠道的退镜过程中视野清晰，有效观察时间长，这样更有助于肠道诊疗。通常，医生根据肠道中出现粪便频率的多少来评判肠道的准备情况，医生观察肠道中粪便出现的频率具有一定的主观性，且观察后再进行回忆评判，需要经验丰富的医生才能做出准确的判断。
技术实现思路
为解决上述问题，本专利技术提供一种肠镜检查后对肠道准备自动进行评分方法，具有自主学习性和缩短观察时间的优点。本专利技术通过以下技术方案实现：肠镜检查后对肠道准备自动进行评分的方法，包括如下步骤：a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；b）：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；c）：获取目标特征图片：根据目标特征，获取目标特征图片；d）：对目标特征图片进行灰度转换与二值化处理：e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；f）：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；g）：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果；h）：建立数据集：将自动批量抓取从消化道内镜检测中采集到的目标特征图片分类存储，以建立分类数据集；i）：建立训练集、验证集和测试集：从各分类数据集中抽取一定比例的数据生成测试集；依据K折交叉验证法将各分类数据集划分为训练集和验证集，将所述的测试集、训练集和验证集进行数据向量化处理；j）：建立深度学习神经网络模型：根据3D卷积、最大池化、全链接神经元、数据扁平化和概率输出创建卷积神经网络模型，并对测试集、训练集和验证集进行正则化处理；k）：对神经网络模型进行训练；l）：对神经网络模型进行测试：使用训练模型对向量正则化后的测试集进行测试，以测试其泛化能力和识别能力；m）：获取实时消化道内镜视频并对其进行识别、记录并评分：获取实时的消化道内镜视频图像，将其均匀的分割为多个子区域，将每个子区域压缩至神经网络模型输入的图片格式大小，遍历所述消化道内镜图像的所有子区域，并将每个子区域进行向量化，输入到神经网络模型中，模型返回识别概率向量，使用其中值最大的概率标量作为结果，判定概率标量是否大于标量阈值，若大于则将识别后的目标特征子区域进行存储，依据确立的评分规则对识别的目标特征子区域进行评分。步骤c）中，获得目标特征图片为：利用掩码与目标特征中的每个像素进行掩码运算，且所述目标特征图片包括目标特征区图像和非目标特征区图像，所述目标特征区图像内的像素值保持不变，非目标特征区图像的像素值为零。步骤d）中，采用灰度转换公式，得到目标特征图片，将目标特征图片的灰度图通过二进制阈值算法得到二值化图，并对二值化图进行形态学腐蚀操作和膨胀操作来去噪，所述目标特征图片的灰度图为单通道灰度图，且单通道值范围为0至255，所述二值化图为单通道值为0或255的二值化图。步骤g）中，判定视频中的帧是否满足截取判定条件包括如下步骤：g1）：判断步骤e）中的目标特征点的统计总数是否大于5000，若大于则转入步骤g2），否则，直接进行下一帧的转换；g2）：判断步骤e）中的目标特征轮廓的宽和高的比例是否为宽高比在5倍以下，且大于五分之一，若是，则转入步骤g3），否则，直接进行下一帧的转换；g3）：判断步骤f）中的目标特征在整个图片中的比例是否在2%-20%范围内，若在，则截取帧中目标特征，保存到结果集，否则，直接进行下一帧的转换。步骤i）中，所述一定比例的数据集为各分类数据集总数量的60%以上；所述K折交叉验证法为将各数据集划分为K个分区，并进行K次图片获取，每次随机获取K-1个分区作为训练集，并将剩余的一个分区作为验证集以进行验证。步骤i）中，所述测试集、训练集和验证集进行向量化处理包括如下步骤：i1）：创建图片路径向量imagePaths存储单元，将每类数据集的地址信息依次存储图片路径向量imagePaths中；i2）：分别创建data和label存储单元，遍历imagePaths中的所有存储图片，将图片进行压缩，然后将图片均值按列遍历，拼接首尾行得到图片向量；i3）：将图片向量的色值除255，以使得色值转换为0至1范围内的小数并依次存储于data中，将图片向量对应的类别名称依次存入label中。步骤j）中，神经网络模型包括输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层，数据扁平过渡层、全链接数据层和概率输出层。步骤k）中所述神经网络模型进行训练的方法为：设置神经网络模型的损失函数，初始化各层网络参数，输入向量正则化后的训练集和验证集进行训练，设置均方根误差作为优化器，通过多分类交叉熵损失值的梯度下降，对各层网络中权值参数进行更新，以得到训练模型。步骤m）中，所述标量阈值为95%，所述实时的消化道内镜图像均匀分割为多个子区域包括如下步骤：m1）：获取内镜实时图像的图像宽度和图像高度，将图像宽度和图像高度均除十以将所述消化道内镜图像分割为100个子区域；m2）：遍历所有子区域，压缩所有子区域图片，将各子区域图片向量化，并将向量化后的各子区域的色值除255，将RGB三个通道的值压缩为0至1范围内的小数。步骤m）中的评分步骤如下：M1）：确定肠镜镜头在总体时间范围内所占比例，对肠镜中出现的粪渣、粪水和正常肠壁分别划分为不同的分数；M2）：根据步骤M1）中所述的分数等级，采用公式（1）将肠镜镜头的每帧视频中得到的分数累加，（1），其中S是累加值，k是该视频中的帧总数，为每帧的分数；依据公式（2）得到评分值（2）。本专利技术公开了肠镜检查后对肠道准备自动进行评分的方法，将视频进行格式转换，除去视频帧中的背景，突出目标特征，并对目标特征进行灰度转换、二值化处理、去噪和膨胀操作，进一步突出目标特征，采用目标特征的轮廓检测，输出目标特征的位置信息，对邻近相同位置处的目标特征进行比较，判断是否为相同目标特征的帧视频，采取多组视频帧格式单本文档来自技高网...

【技术保护点】
1.肠镜检查后对肠道准备自动进行评分的方法，其特征在于：包括如下步骤：a)：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；b)：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；c)：获取目标特征图片：根据目标特征，获取目标特征图片；d)：对目标特征图片进行灰度转换与二值化处理；e)：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；f)：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；g)：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果；h)：建立数据集：将自动批量抓取从消化道内镜检测中采集到的目标特征图片分类存储，以建立分类数据集；i)：建立训练集、验证集和测试集：从各分类数据集中抽取一定比例的数据生成测试集；依据K折交叉验证法将各分类数据集划分为训练集和验证集，将所述的测试集、训练集和验证集进行数据向量化处理；j)：建立深度学习神经网络模型：根据3D卷积、最大池化、全链接神经元、数据扁平化和概率输出创建卷积神经网络模型，并对测试集、训练集和验证集进行正则化处理；k)：对神经网络模型进行训练；l)：对神经网络模型进行测试：使用训练模型对向量正则化后的测试集进行测试，以测试其泛化能力和识别能力；m)：获取实时消化道内镜视频并对其进行识别、记录并评分：获取实时的消化道内镜视频图像，将其均匀的分割为多个子区域，将每个子区域压缩至神经网络模型输入的图片格式大小，遍历所述消化道内镜图像的所有子区域，并将每个子区域进行向量化，输入到神经网络模型中，模型返回识别概率向量，使用其中值最大的概率标量作为结果，判定概率标量是否大于标量阈值，若大于则将识别后的目标特征子区域进行存储，依据确立的评分规则对识别的目标特征子区域进行评分。...

【技术特征摘要】
1.肠镜检查后对肠道准备自动进行评分的方法，其特征在于：包括如下步骤：a)：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；b)：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；c)：获取目标特征图片：根据目标特征，获取目标特征图片；d)：对目标特征图片进行灰度转换与二值化处理；e)：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；f)：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；g)：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果；h)：建立数据集：将自动批量抓取从消化道内镜检测中采集到的目标特征图片分类存储，以建立分类数据集；i)：建立训练集、验证集和测试集：从各分类数据集中抽取一定比例的数据生成测试集；依据K折交叉验证法将各分类数据集划分为训练集和验证集，将所述的测试集、训练集和验证集进行数据向量化处理；j)：建立深度学习神经网络模型：根据3D卷积、最大池化、全链接神经元、数据扁平化和概率输出创建卷积神经网络模型，并对测试集、训练集和验证集进行正则化处理；k)：对神经网络模型进行训练；l)：对神经网络模型进行测试：使用训练模型对向量正则化后的测试集进行测试，以测试其泛化能力和识别能力；m)：获取实时消化道内镜视频并对其进行识别、记录并评分：获取实时的消化道内镜视频图像，将其均匀的分割为多个子区域，将每个子区域压缩至神经网络模型输入的图片格式大小，遍历所述消化道内镜图像的所有子区域，并将每个子区域进行向量化，输入到神经网络模型中，模型返回识别概率向量，使用其中值最大的概率标量作为结果，判定概率标量是否大于标量阈值，若大于则将识别后的目标特征子区域进行存储，依据确立的评分规则对识别的目标特征子区域进行评分。2.根据权利要求1所述的肠镜检查后对肠道准备自动进行评分的方法，其特征在于：步骤c)中，获得目标特征图片为：利用掩码与目标特征中的每个像素进行掩码运算，且所述目标特征图片包括目标特征区图像和非目标特征区图像，所述目标特征区图像内的像素值保持不变，非目标特征区图像的像素值为零。3.根据权利要求1所述的肠镜检查后对肠道准备自动进行评分的方法，其特征在于：步骤d)中，采用灰度转换公式，得到目标特征图片，将目标特征图片的灰度图通过二进制阈值算法得到二值化图，并对二值化图进行形态学腐蚀操作和膨胀操作来去噪，所述目标特征图片的灰度图为单通道灰度图，且单通道值范围为0至255，所述二值化图为单通道值为0或255的二值化图。4.根据权利要求1所述的肠镜检查后对肠道准备自动进行评分的方法，其特征在于：步骤g)...

【专利技术属性】
技术研发人员：曾凡，邰海军，段惠峰，黄锦，柯钦瑜，黄勇，
申请(专利权)人：河南萱闱堂医疗信息科技有限公司，
类型：发明
国别省市：河南,41