基于视觉显著性检测与层次聚类法的视频摘要化生成方法技术

本发明专利技术公开的一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，首先对视频进行拆帧成连续的图像序列；其次，对拆帧后的图像序列进行视觉显著性检测，得到检测后的结果图像；然后在显著性结果的基础上提取视频的关键帧，将提取的特征融合后计算相邻帧特征图像之间的欧式距离，进行初次筛选，最后在初步筛选的基础上计算对应的显著性检测图像的互信息值，根据互信息值进行分类形成新的集合，计算每一个集合中的相邻图像的互信息值，根据互信息值筛选得到视频的摘要。本发明专利技术公开的方法解决了现有方法花费过长时间浏览视频、占用较大设备存储空间的问题，同时提高了获取视频有用信息的效率。

【技术实现步骤摘要】
基于视觉显著性检测与层次聚类法的视频摘要化生成方法
本专利技术属于计算机数字图像处理
，具体涉及一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法。
技术介绍
视频摘要化是对视频进行一个主要的概括，通过自动或半自动的方式获取视频中有用的帧中包含的信息，并保留有用的帧，同时去除非关键信息的帧，从而形成能够概括视频主要内容的视频图像序列。对视频进行摘要化生成，在时间上可以减少对视频进行浏览的时间，提高执行效率；在空间上也可以减少对存储设备存储空间的节约；同时对于视频中有用或需要寻找的信息，极大地方便了信息的查找和检索，因此如何能够将目前大量的视频进行摘要化处理生成高度概括的有用图像序列，是一个极具挑战的问题。目前，国内外对于视频摘要化的研究方法主要包括：镜头检测法、曲线规划法和数据聚类法，其中，镜头检测法的计算复杂度较低，但这种方法不能动态的选择关键的图像帧，因此，该算法的局限性较大；曲线规划法虽然可以简化对视频的处理，但是它只能反映视频内容的变化，无法完整的表达语义信息；而单纯的通过数据聚类法进行视频摘要化处理时，对于视频帧之间距离计算准则的选取有一定的困难，存在提取的特征是否具有代表性的问题。因此，对于视频摘要化生成技术，不能仅仅单纯通过镜头检测或数据聚类的方法对视频的重要信息进行判断生成摘要。在计算机图像处理的领域中，视觉显著性在其中发挥了非常重要的作用，利用视觉显著性，可以容易的判断出图像中人眼被吸引的区域，从而提取出重要的部分，促进了计算机视觉应用的创新与发展。目前大多数显著性检测方法都是基于自底向上模型的算法，存在花费过长时间浏览视频、占用较大设备存储空间的问题。
技术实现思路
本专利技术的目的是提供一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，解决了现有方法花费过长时间浏览视频、占用较大设备存储空间的问题，同时提高了获取视频有用信息的效率。本专利技术所采用的技术方案是，一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，具体操作过程包括如下步骤：步骤1，对需要进行摘要化的视频进行拆帧，将一段视频根据帧速率拆分成若干个连续的图像序列；步骤2，对拆帧后的图像序列进行视觉显著性检测，得到通过显著性检测后的结果图像；步骤3，在步骤2的基础上提取视频的关键帧，计算相邻帧特征图像之间的欧式距离，根据欧式距离进行初步筛选；步骤4，计算对经过初步筛选后的视频关键帧对应的显著性检测结果两两之间的互信息值，根据互信息值划分新的集合；步骤5，在每一个新的集合中，计算所有图像与其他图像之间的互信息值最大的一帧图像作为最终的视频摘要图像。本专利技术的其他特点还在于，优选的，步骤1的具体过程如下：根据视频的帧速率，通过Opencv的Capture函数读取视频，并通过capture.get函数分别获取视频流的宽度、高度以及帧速率，将每一帧视频图像拆分并保存形成若干连续的图像序列。优选的，步骤2的具体过程如下：步骤2.1，分别将步骤1得到的若干连续的图像序列通过视觉显著性模型和中心周围差原理，获取静态显著性图像；步骤2.2，分别计算步骤1得到的若干连续的图像序列运动显著性图像，通过图像运动前后图像灰度保持不变基本原理，导出光流约束方程，通过光流法，得到运动显著性图像；步骤2.3，将静态显著性图像和运动显著性图像进行融合，具体过程如下：定义视频序列为F＝{F1,F2,F3,…,FN}，表示一段视频中的N个图像序列，静态显著图像序列为F'＝{F1',F'2,F'3,…,F'N}，对计算得到的静态显著性图像使用均值滤波器去除部分噪声后，将其与原图像序列F逐像素相乘进行合并，从而增强不同像素点之间的对比度并突出梯度，得到最终的静态显著性图像定义运动显著性图像与静态显著性图像进行融合生成时空显著图如下式所示：其中，MCT表示静态显著性图像与运动显著性图像的一致性，MCS表示运动显著性图像与静态显著性图像的一致性，Mk(X)表示加权融合后的图像。优选的，步骤3包括如下操作过程：步骤3.1，在步骤2的基础上提取视频的关键帧，分别提取原视频图像序列与步骤2得到的结果图像相乘后图像的颜色特征、原视频图像序列的纹理特征以及原视频图像序列的光流信息图；步骤3.2，将每幅图像经步骤3.1得到的三个特征图像进行融合，形成融合后的特征向量矩阵；步骤3.3，计算融合后的相邻帧特征图像之间的欧式距离；步骤3.4，将步骤3.3得到的所有欧式距离值的平均值设定为阈值，根据阈值对每一个视频帧序列进行筛选，若相邻两帧之间的欧式距离大于阈值，则保留当前帧和下一帧，若相邻帧之间的欧式距离小于阈值，则保留当前帧，舍弃下一帧，依次比较，得到初步筛选的视频关键帧。优选的，步骤3.1的具体过程如下：步骤3.1.1，提取原视频图像与步骤2得到的结果图像相乘后图像的颜色特征；提取原视频图像序列的R、G、B三通道颜色信息，分别与步骤2得到显著性检测结果图像中对应像素位置进行相乘，再将三通道进行合并，得到原图与显著性检测结果图相乘后的图像；提取相乘后的图像的颜色特征，使用matlab中rgb2hsv函数将图像从RGB空间转化为HSV空间，再分别提取H、S、V三通道的信息，将H、S、V三通道按照16：4：4的等级进行量化；之后将所有的颜色分量按比例等级融合形成特征矢量，融合的公式如式(1)所示：L＝H*Qs*Qv+S*Qv+V(1)其中，Qs和Qv是量化的等级；按照步骤3.1.1将颜色空间进行量化，并将量化后的颜色根据公式(1)进行融合并映射，映射的像素值范围为[0，255]，最终得到原图与显著性检测结果图相乘图像的颜色特征；步骤3.1.2，提取原视频图像序列中每一帧图像的纹理特征；定义一个3*3大小的检测窗口即纹理特征提取算子，以窗口中心像素为阈值，与相邻的8个像素的灰度值比较，若周围的像素值大于中心像素值，则该位置被标记为1，否则标记为0，得到一个8位二进制数，并将八位二进制数转换为十进制，3*3邻域内的8个点经比较就得到该窗口中心像素点的局部二值模式的值；根据公式(2)计算每个检测窗口的直方图即每个数字出现的频率，并对该直方图进行归一化处理，重复步骤3.1和3.2得到原视频图像序列纹理特征图像；其中，p表示3*3窗口中除中心像素点外的第p个像素点，I(c)表示中心像素点的灰度值，I(p)表示领域内第p个像素点的灰度值；s为步骤3.3.3，提取原视频图像序列的光流信息图；采用Lucas-Kanade光流法计算前后两帧之间的光流，假设图像上一个像素点位(x,y)，在t时刻的亮度为E(x,y,t)，用u(x,y0和v(x,y)表示该点光流在水平和垂直方向上的移动分量，则u＝dx/dt，v＝dy/dt，在经过一段时间间隔Δt后该点对应点亮度为E(x+Δx,y+Δy,t+Δt)，当Δt很小趋近于0时，认为该点亮度不变，则有E(x,y,t)＝E(x+Δx,y+Δy,t+Δt)；当该点的亮度有变化时，将移动后点的亮度由Taylor公式展开如式(3)所示：忽略其二阶无穷小，Δt趋近于0时有式中w＝(u,v)，通过式(3)即Lucas-Kanade光流方程得到视频图像序列的光流信息图像。优选的，步骤3.2的具体过程如下：将每幅图像步骤3.1得到的三个特征图像进行融合，将每个特征本文档来自技高网...

【技术保护点】
1.一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，其特征在于，具体操作过程包括如下步骤：步骤1，对需要进行摘要化的视频进行拆帧，将一段视频根据帧速率拆分成若干个连续的图像序列；步骤2，对拆帧后的图像序列进行视觉显著性检测，得到通过显著性检测后的结果图像；步骤3，在步骤2的基础上提取视频的关键帧，计算相邻帧特征图像之间的欧式距离，根据欧式距离进行初步筛选；步骤4，计算对经过初步筛选后的视频关键帧对应的显著性检测结果两两之间的互信息值，根据互信息值划分新的集合；步骤5，在每一个新的集合中，计算所有图像与其他图像之间的互信息值最大的一帧图像作为最终的视频摘要图像。

【技术特征摘要】
1.一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，其特征在于，具体操作过程包括如下步骤：步骤1，对需要进行摘要化的视频进行拆帧，将一段视频根据帧速率拆分成若干个连续的图像序列；步骤2，对拆帧后的图像序列进行视觉显著性检测，得到通过显著性检测后的结果图像；步骤3，在步骤2的基础上提取视频的关键帧，计算相邻帧特征图像之间的欧式距离，根据欧式距离进行初步筛选；步骤4，计算对经过初步筛选后的视频关键帧对应的显著性检测结果两两之间的互信息值，根据互信息值划分新的集合；步骤5，在每一个新的集合中，计算所有图像与其他图像之间的互信息值最大的一帧图像作为最终的视频摘要图像。2.如权利要求1所述的一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，其特征在于，所述步骤1的具体过程如下：根据视频的帧速率，通过Opencv的Capture函数读取视频，并通过capture.get函数分别获取视频流的宽度、高度以及帧速率，将每一帧视频图像拆分并保存形成若干连续的图像序列。3.如权利要求1所述的一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，其特征在于，所述步骤2的具体过程如下：步骤2.1，分别将步骤1得到的若干连续的图像序列通过视觉显著性模型和中心周围差原理，获取静态显著性图像；步骤2.2，分别计算步骤1得到的若干连续的图像序列运动显著性图像，通过图像运动前后图像灰度保持不变基本原理，导出光流约束方程，通过光流法，得到运动显著性图像；步骤2.3，将静态显著性图像和运动显著性图像进行融合，具体过程如下：定义视频序列为F＝{F1,F2,F3,…,FN}，表示一段视频中的N个图像序列，静态显著图像序列为F'＝{F1',F2',F3',…,F'N}，对计算得到的静态显著性图像使用均值滤波器去除部分噪声后，将其与原图像序列F逐像素相乘进行合并，从而增强不同像素点之间的对比度并突出梯度，得到最终的静态显著性图像定义运动显著性图像与静态显著性图像进行融合生成时空显著图如下式所示：其中，MCT表示静态显著性图像与运动显著性图像的一致性，MCS表示运动显著性图像与静态显著性图像的一致性，Mk(X)表示加权融合后的图像。4.如权利要求1所述的一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，其特征在于，所述步骤3包括如下操作过程：步骤3.1，在步骤2的基础上提取视频的关键帧，分别提取原视频图像序列与步骤2得到的结果图像相乘后图像的颜色特征、原视频图像序列的纹理特征以及原视频图像序列的光流信息图；步骤3.2，将每幅图像经步骤3.1得到的三个特征图像进行融合，形成融合后的特征向量矩阵；步骤3.3，计算融合后的相邻帧特征图像之间的欧式距离；步骤3.4，将步骤3.3得到的所有欧式距离值的平均值设定为阈值，根据阈值对每一个视频帧序列进行筛选，若相邻两帧之间的欧式距离大于阈值，则保留当前帧和下一帧，若相邻帧之间的欧式距离小于阈值，则保留当前帧，舍弃下一帧，依次比较，得到初步筛选的视频关键帧。5.如权利要求4所述的一种基于视觉显著性检测与层次聚类法的视频摘要化生成方法，其特征在于，所述步骤3.1的具体过程如下：步骤3.1.1，提取原视频图像与步骤2得到的结果图像相乘后图像的颜色特征；提取原视频图像序列的R、G、B三通道颜色信息，分别与步骤2得到显著性检测结果图像中对应像素位置进行相乘，再将三通道进行合并，得到原图与显著性检测结果图相乘后的图像；提取相乘后的图像的颜色特征，使用matlab中rgb2hsv函数将图像从RGB空间转化为HSV空间，再分别提取H、S、V三通道的信息，将H、S、V三通道按照16：4：4的等级进行量化；之后将所有的颜色分量按比例等级融合形成特征矢量，融合的公式如式(1)所示：L＝H*Qs*Qv+S*Qv+V(1)其中，Qs和Qv是量化的等级；按照步骤3.1.1将颜色空间进行量化，并将量化后的颜色根据公式(1)进行融合并映射，映射的像素值范围为[0，255]，最终得到原图与显著性检测结果图相乘图像的颜色特征；步骤3.1.2，提取原视频图像序列中每一帧图像的纹理特征；定义一个3*3大小的检测窗口即纹理特征提取算子，以窗口中心像素为阈值，与相邻的8个像素的灰度值比较，若周围的像素值大于中心像素值，则该位置被标记为1，否则标记为0，得到一个8位二进制数，并将八位二进制数转换为十进制，3*3邻域内的8个点经比较就得到该窗口中...

【专利技术属性】
技术研发人员：金海燕，肖聪，肖照林，蔡磊，李秀秀，杨秀红，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61