一种基于注意力先验的胃镜视频摘要方法技术

本发明专利技术涉及一种基于注意力先验的胃镜视频摘要方法，包括以下步骤：提取视频中每一幅图像的特征描述符，根据特征描述符生成内容变化先验；计算视频中每一幅图像的显著性图谱，生成视觉焦点先验；计算视频中每一幅图像的光流值，生成镜头运动先验；将内容变化先验、视觉焦点先验和镜头运动先验融合，生成注意力先验；根据注意力先验，提取胃镜视频关键帧。本发明专利技术对胃镜视频内容进行了有效摘要，节省了人力资源，并且避免了大量数据带来的存储压力；有效排除了人为因素的干扰，具有较强的自适应能力，提高了胃镜视频摘要的稳定性；可以实现任意数目关键帧的提取，具有很强的扩展能力。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，具体地说是一种基于注意力先验的胃镜视频摘要方法。
技术介绍
胃病是损害人体健康的常见疾病之一，俗话说，十人九胃，有人估计中国人胃病发生率达到85％，国人相聚，如果讨论医疗问题，一半以上的时间可能谈的是某人的胃病。传统的检测胃病的方法是胃镜法，它利用一条前端装有内视镜的管子，由嘴中伸入受检者的食道、胃、十二指肠，藉由光源器所发的强光，经由导光纤维可使光转弯，让医生从另一端清楚地观察消化道内各部位的健康状况。一般胃镜全程检查时间约10～30分钟，在此过程中医生会手工标记大约15～50幅图像用来生成内窥镜医学诊断报告。检查过程结束后，医生可以根据记录的图像数据进行回溯，以便更好的做出诊断。但是人工标记的过程存在以下的弊端：1)由于多项工作同时进行，临床医生可能漏掉对于诊断有重要作用的关键帧；2)由于缺少丰富的临床经验，一些年轻的医生不能够保证处理如此大量数据的准确性。特别是提取不及时，医生可能提取一些冗余帧；3)在人工标注过程完成后，提取的关键帧数目固定不变，这明显不能满足不同的应用需求并且可能影响最后的诊断。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于注意力先验的胃镜视频摘要方法。本专利技术为实现上述目的所采用的技术方案是：一种基于注意力先验的胃镜视频摘要方法，包括以下步骤：步骤1：提取视频中每一幅图像的特征描述符，根据特征描述符生成内容变化先验；计算视频中每一幅图像的显著性图谱，生成视觉焦点先验；计算视频中每一幅图像的光流值，生成镜头运动先验；步骤2：将内容变化先验、视觉焦点先验和镜头运动先验融合，生成注意力先验；步骤3：根据注意力先验，提取胃镜视频关键帧。所述根据特征描述符生成内容变化先验包括以下过程：CPi＝||Fi-Fi-1||2其中，CPi为内容变化先验，Fi为当前图像的特征描述符，Fi-1为前一幅图像的特征描述符。所述特征描述符为颜色和/或纹理的特征。所述生成视觉焦点先验包括以下过程：针对每一幅视频图像，根据图像显著性区域检测算法计算图像中每一像素的显著性值，生成相应的显著性图谱，计算整幅图像显著性图谱的质心Oi，并记图像的中心为Ci，则视觉焦点先验计算公式如下：VPi＝1-|Oi-Ci|其中，VPi为当前图像的视觉焦点先验值，Oi为整幅图像显著性图谱的质心，Ci为图像的中心。所述生成镜头运动先验包括以下过程：针对每一幅视频图像，根据图像光流算法计算图像中每一像素的光流值，记图像中像素归一化后的平均光流值为Li，则当前图像的镜头运动先验值计算公式为：MPi＝1-Li其中MPi为当前图像的镜头运动先验值，Li为平均光流值。所述生成注意力先验包括以下过程：针对每一幅胃镜视频图像，将归一化以后的内容变化先验CPi、视觉焦点先验VPi和镜头运动先验MPi相加，获得该图像的注意力先验APi：APi＝CPi+VPi+MPi其中，APi为获得该图像的注意力先验，CPi为归一化以后的内容变化先验，VPi为归一化以后的视觉焦点先验，MPi为归一化以后的镜头运动先验。所述提取视频关键帧包括以下过程：首先寻找生成的注意力先验曲线中的局部极大值点，然后根据其大小从大到小进行排序，最后根据排序结果，提取需要的视频关键帧。本专利技术具有以下有益效果及优点：1.本专利技术对视频内容进行了有效摘要，节省了人力资源，并且避免了大量数据带来的存储压力。2.本专利技术有效排除了人为因素的干扰，具有较强的自适应能力，提高了视频摘要的稳定性。3.本专利技术可以实现任意数目关键帧的提取，具有很强的扩展能力。附图说明图1为本专利技术方法流程图；图2为本专利技术视觉焦点先验计算示意图；其中第一列为胃镜原图像；第二列为生成的显著性图谱；第三列中大圆点代表图像中心，小圆点代表显著性图谱质心，右上角的数字表示相应图像的视觉焦点先验值；图3为本专利技术注意力先验在某胃镜视频不同图像处的取值曲线；图4为本专利技术在三个胃镜视频中获取的关键帧示意图。具体实施方式下面结合附图及实施例对本专利技术做进一步的详细说明。如图1所示，本专利技术具体包括如下步骤：S01：内容变化先验计算。针对每一幅胃镜视频图像，提取特征描述符来描述该样本。本专利技术提取颜色直方图以及纹理特征作为特征描述符。假设当前图像的特征描述符为Fi,其前一幅图像的特征描述符为Fi-1，我们根据两者特征描述符之间的向量范数来定义内容变化先验，公式如下：CPi＝||Fi-Fi-1||2(1)其中CPi即为当前图像的内容变化先验值。CPi越大，则说明图像内容变化越大，越应该受到关注。S02：视觉焦点先验计算。针对每一幅胃镜视频图像，根据已有的图像显著性区域检测算法计算图像中每一像素的显著性值，生成相应的显著性图谱，计算整幅图像显著性图谱的质心Oi，并记图像的中心为Ci，则视觉焦点先验计算公式如下：VPi＝1-|Oi-Ci|(2)其中VPi即为当前图像的视觉焦点先验值。VPi越大，则说明显著性区域与图像中心的距离越小，感兴趣区域越处于更好的观测角度。具体计算方法如图2所示。S03：镜头运动先验计算。针对每一幅胃镜视频图像，根据已有的图像光流算法计算图像中每一像素的光流值，记图像中像素归一化后的平均光流值为Li，则当前图像的镜头运动先验值计算公式为：MPi＝1-Li(3)其中MPi即为当前图像的镜头运动先验值。MPi值越大，则说明镜头移动越缓慢，观测的内容越受到关注。S04：注意力先验计算。针对每一幅胃镜视频图像，将归一化以后的内容变化先验CPi、视觉焦点先验VPi和镜头运动先验MPi相加，获得该图像的注意力先验APi：APi＝CPi+VPi+MPi(4)APi的值越大，则说明当前图像受到的注意越大。某胃镜视频计算获得的注意力先验值曲线如图3所示。S05：胃镜视频关键帧提取。根据生成的注意力先验曲线，首先寻找曲线中的局部极大值点，然后根据其大小从达到小进行排序，最后根据排序结果，提取需要的关键帧的数目，完成对胃镜视频的摘要。部分胃镜视频摘要结果如图4所示。本文档来自技高网...

【技术保护点】
一种基于注意力先验的胃镜视频摘要方法，其特征在于，包括以下步骤：步骤1：提取视频中每一幅图像的特征描述符，根据特征描述符生成内容变化先验；计算视频中每一幅图像的显著性图谱，生成视觉焦点先验；计算视频中每一幅图像的光流值，生成镜头运动先验；步骤2：将内容变化先验、视觉焦点先验和镜头运动先验融合，生成注意力先验；步骤3：根据注意力先验，提取胃镜视频关键帧。

【技术特征摘要】
1.一种基于注意力先验的胃镜视频摘要方法，其特征在于，包括以下步骤：步骤1：提取视频中每一幅图像的特征描述符，根据特征描述符生成内容变化先验；计算视频中每一幅图像的显著性图谱，生成视觉焦点先验；计算视频中每一幅图像的光流值，生成镜头运动先验；步骤2：将内容变化先验、视觉焦点先验和镜头运动先验融合，生成注意力先验；步骤3：根据注意力先验，提取胃镜视频关键帧。2.根据权利要求1所述的基于注意力先验的胃镜视频摘要方法，其特征在于：所述根据特征描述符生成内容变化先验包括以下过程：CPi＝||Fi-Fi-1||2其中，CPi为内容变化先验，Fi为当前图像的特征描述符，Fi-1为前一幅图像的特征描述符。3.根据权利要求1或2所述的基于注意力先验的胃镜视频摘要方法，其特征在于：所述特征描述符为颜色和/或纹理的特征。4.根据权利要求1所述的基于注意力先验的胃镜视频摘要方法，其特征在于：所述生成视觉焦点先验包括以下过程：针对每一幅视频图像，根据图像显著性区域检测算法计算图像中每一像素的显著性值，生成相应的显著性图谱，计算整幅图像显著性图谱的质心Oi，并记图像的中心为Ci，则视觉焦点先验计算公式如下：VPi＝1-|Oi-Ci|其中...

【专利技术属性】
技术研发人员：丛杨，王帅，杨云生，唐延东，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁;21