一种结肠镜视频关键帧提取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及视频关键帧提取技术领域，具体公开了一种结肠镜视频关键帧提取方法、装置、设备及存储介质，包括：结肠镜视频帧序列伪影区域检测；采用ResNet50模型检测息肉帧，将包含息肉的结肠镜视频帧送入由两个共享权重的VGG16子网络组成的相似度分析网络，计算视频帧之间的相似性得分，根据相似性得分进行分组；将结肠镜视频帧序列输入到iAFF‑HSFYOLO网络进行息肉定位；根据伪影区域面积比、息肉区域面积比、息肉靠近中心的距离和置信度分数引入一个综合评价机制，从每组相似的视频帧中选出关键帧，完成关键帧提取。本发明专利技术结合息肉检测模型、ResNet架构、相似度分析网络、注意力机制，能够显著减少医生的检查负担，提高检测的准确性和效率。

【技术实现步骤摘要】

本专利技术涉及视频关键帧提取，具体涉及一种结肠镜视频关键帧提取方法、装置、设备及存储介质。

技术介绍

1、结肠镜视频的采集在结直肠癌的诊断、回顾性分析和综合检查中具有重要意义。内镜医生需要从完整的结肠镜检查视频中寻找出病变、息肉、糜烂、溃疡等病理特征，需要经验丰富的内镜医生进行专业谨慎的判断才能够识别出病变的部位、性质和形态。然而，传统的方法依赖内镜医生的专业经验，容易受到气泡、粪便、运动模糊等因素的影响。内镜医生在长期工作中也会因疲劳、压力等干扰而发生漏检。因此寻找一种关键帧提取方法，提取结肠镜检查中的关键信息，对于提高医生的诊断效率、减轻医生的诊断负担十分重要。

2、现有的结肠镜视频关键帧提取方法通常只依赖于手动设定的特征，如阈值设定、基于熵的帧质量评估、基于聚类的关键帧选择。这些方法没有充分考虑结肠镜视频本身的基本属性，也没有考虑结肠镜检查中的伪影(气泡、粪便、反光、运动模糊等)对结肠镜视频的影响。

技术实现思路

1、为解决现有技术中存在的问题，本专利技术提供了一种结肠镜视频关键帧提取方法、本文档来自技高网...

【技术保护点】

1.一种结肠镜视频关键帧提取方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的结肠镜视频关键帧提取方法，其特征在于：在步骤S1中，具体包括：

3.根据权利要求2所述的结肠镜视频关键帧提取方法，其特征在于：在步骤S11中，所述基于EndoNet模型的视频帧伪影检测模型采用ResNet作为特征提取骨架，通过残差连接提取多尺度特征，并利用特征金字塔网络FPN将不同层级的特征进行融合；模型通过回归头和分类头来分别预测伪影的边界框和类别标签，检测过程在每个特征层上生成多个候选框，经过分类和回归后筛选出伪影检测框，并通过非极大值抑制NMS进行去重。

4.根...

【技术特征摘要】

1.一种结肠镜视频关键帧提取方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的结肠镜视频关键帧提取方法，其特征在于：在步骤s1中，具体包括：

3.根据权利要求2所述的结肠镜视频关键帧提取方法，其特征在于：在步骤s11中，所述基于endonet模型的视频帧伪影检测模型采用resnet作为特征提取骨架，通过残差连接提取多尺度特征，并利用特征金字塔网络fpn将不同层级的特征进行融合；模型通过回归头和分类头来分别预测伪影的边界框和类别标签，检测过程在每个特征层上生成多个候选框，经过分类和回归后筛选出伪影检测框，并通过非极大值抑制nms进行去重。

4.根据权利要求1所述的结肠镜视频关键帧提取方法，其特征在于：在步骤s3中，相似度分析网络由两个共享权重的vgg16子网络组成，每个子网络均基于vgg16架构，移除平均池化层和分类器，仅保留用于特征提取的卷...

【专利技术属性】
技术研发人员：龚勋，谭旭莉，樊琳，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：