一种基于胃镜检查视频的实时图像分割方法、系统、装置制造方法及图纸

本发明专利技术属于图像处理领域，具体涉及一种基于胃镜检查视频的实时图像分割方法、系统、装置。该方法包括如下步骤：S1：构建基于Mask

【技术实现步骤摘要】
Net。
[0011]S13：采用模型剪枝、模型量化或知识蒸馏中的一种或任意多种方式对上步骤中的网络模型进行模型压缩，得到所需的轻量化的图像分割网络模型。
[0012]S2：获取多张真实的具有癌变特征的胃镜检查图像作为样本数据，对图像进行人工初筛和去噪处理；然后通过图像增强方法扩增图像数量，并对扩增后的图像中目标区域的种类和位置进行人工标注；标注后的图像构成所需的原始数据集；将原始数据集分为训练集和测试集。
[0013]S3：将原有计算图像分割网络中骨干网络的损失函数的IoU和GIoU替换为CIoU
‑
Loss函数；并设定模型训练的训练参数，利用训练集对所述图像分割网络进行训练，迭代更新网络参数直至损失函数收敛。
[0014]S4：利用测试集对上步骤完成训练的图像分割网络模型进行测试，保留测试效果最佳的模型作为用于进行实时图像分割的网络模型。
[0015]S5：获取胃镜检查的视频流数据，对视频流数据进行分帧处理，然后将分帧图像输入到步骤S4保存的网络模型中，由图像分割网络模型对分帧图像进行实时的分割处理，输出具有病变特征的目标区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于胃镜检查视频的实时图像分割方法，其特征在于，所述实时图像分割方法包括如下步骤：S1：构建基于Mask
‑
RCNN框架的轻量化的图像分割网络模型，所述图像分割网络模型的输入为胃镜检查的医学图像，输出为具有病变特征的目标区域的分割结果；模型构建过程包括如下步骤：S11：获取包含骨干网络和ROI部分的传统的Mask
‑
RCNN网络；S12：将Mask
‑
RCNN网络中用于提取图像特征的骨干网络Resnet50替换为Mobile Net；S13：采用模型剪枝、模型量化或知识蒸馏中的一种或任意多种方式对上步骤中的网络模型进行模型压缩，得到所需的轻量化的图像分割网络模型；S2：获取多张真实的具有癌变特征的胃镜检查图像作为样本数据，对图像进行人工初筛和去噪处理，然后通过图像增强方法扩增图像数量，并对扩增后的图像中目标区域的种类和位置进行人工标注，标注后的图像构成所需的原始数据集；将原始数据集分为训练集和测试集；S3：将原有计算图像分割网络中骨干网络的损失函数的IoU和GIoU替换为CIoU
‑
Loss函数；并设定模型训练的训练参数，利用所述训练集对所述图像分割网络进行训练，迭代更新网络参数直至损失函数收敛；S4：利用所述测试集对上步骤完成训练的所述图像分割网络模型进行测试，保留测试效果最佳的模型作为用于进行实时图像分割的网络模型；S5：获取胃镜检查的视频流数据，对视频流数据进行分帧处理，然后将分帧图像输入到步骤S4保存的网络模型中，由图像分割网络模型对分帧图像进行实时的分割处理，输出具有病变特征的目标区域的分割结果。2.如权利要求1所述的一种基于胃镜检查视频的实时图像分割方法，其特征在于：步骤S12中，Resnet50网络还可以替换为任意一种能够提取图像中的颜色特征、纹理特征、形状特征和空间，且相对于Resnet50网络而言，参数量更少或处理速率更快的基于深度学习的特征提取模型。3.如权利要求1所述的基于胃镜检查视频的实时图像分割方法，其特征在于：步骤S13中，模型剪枝方法的处理过程结合网络模型的预训练过程中进行；在预训练过程中不断进行参数调整，并剪除网络模型中对网络分类结果的精度影响小于一个预设损失率的神经元之间的连接；直到网络模型中的神经元连接达到最小化，剩余的神经元连接的剪除均会降低网络模型分类结果的精度为止。4.如权利要求1所述的基于胃镜检查视频的实时图像分割方法，其特征在于：步骤S13中，模型量化处理是基于权重共享和聚类处理的思想实现的；模型量化过程中，假设给定了k个分类，即网络模型的权重参数量化后具有k个值，采用K
‑
Means聚类方法对权重执行聚类操作，得到k个区间，所有权重参数都分布在k个区间内，进而使用对应的k的区间的数值替代原有的权重数据，进而将模型尺寸从32bit降低至log2(k)。5.如权利要求1所述的基于胃镜检查视频的实时图像分割方法，其特征在于：知识蒸馏的处理过程是在不影响最终的softmax层的输出结果的分布状态的前提下，将原来的大尺寸的网络模型替换为具有更少网络节点数量的小网络模型。6.如权利要求1所述的基于胃镜检查视频的实时图像分割方法，其特征在于：步骤S2
中，人工初筛过程去除了完全不属于规定区域的图像，以及图像质量过差导致即使人眼也无法分辨癌变特征的图像；图像的去噪过程分别使用了均值滤波、高斯滤波和中值滤波的方法进行进行处理；所述均值滤波的像素计算公式如下：G1(x,y)＝∑F(x,y)/m上式中，x和y为...

【专利技术属性】
技术研发人员：孔德润，董兰芳，董天意，马涛，彭杰，宋绍方，吴艾久，
申请(专利权)人：合肥中纳医学仪器有限公司，
类型：发明
国别省市：