基于帧间差分和颜色直方图差值的关键帧提取方法技术

本发明专利技术公开了基于帧间差分和颜色直方图差值的关键帧提取方法。该发明专利技术第一阶段基于帧间差分对监控视频中的运动目标进行检测，将监控视频划分为只包含运动目标的视频序列，得到候选关键帧。第二阶段计算候选关键帧中相邻两帧的颜色直方图差值，并设置阈值，去除相似的图像帧，得到最终的关键帧集合。与其他关键帧提取技术相比，该发明专利技术在保证关键帧集合的内容具有较高代表性的同时，显著降低了关键帧提取所需的时间，满足了实时性的要求，并尽可能减少集合中的冗余信息，使得关键帧帧数较少，进而降低后续目标识别、人流量统计等任务算法的时间复杂度。时间复杂度。时间复杂度。

【技术实现步骤摘要】
基于帧间差分和颜色直方图差值的关键帧提取方法


[0001]本专利技术属于视频检测
，具体涉及基于帧间差分和颜色直方图差值的关键帧提取方法。

技术介绍

[0002]随着智能终端、物联网等技术的快速发展，视频数据呈爆发式增长，依赖人工筛查的视频分析方法已无法满足实际的需要。一方面，速度慢，人工筛查的方法很难实时地处理大量的视频数据；另一方面，成本高昂，海量视频分析带来巨大的人力成本开销。如何借助计算机资源，从海量视频数据中提取我们感兴趣的内容，为目标识别、人流量统计等技术提供更为有效的数据，成为了当前需要解决的问题。
[0003]目前，典型的关键帧提取方法主要包括：基于抽样的方法，该方法较为简单且计算量小，但设置合适的抽样距离较为困难。基于镜头分割的方法，该方法将镜头的第一帧、最后一帧或中间帧提取为关键帧。基于目标运动的方法，采用流光法对所有视频帧进行运动值的度量，该方法计算量较大。基于聚类的方法，初始聚类中心，对所有视频帧进行聚类，将距离每一类类中心最近的视频帧作为关键帧。该方法中初始化聚类中心较为困难，且聚类算法计算量较大。基于图像特征，如颜色特征、纹理特征、局部特征等。该类方法通过特征计算图像帧间的相似度，之后利用设置阈值等方式对提取的相似帧去重，生成最终的关键帧集合。该类方法简单，但容易选取较多的冗余帧。
[0004]当前的研究多数基于镜头切换的视频，对固定摄像头的视频研究较少。其次，没有考虑到有目标识别等后续任务的关键帧提取需求。并且上述研究如聚类、流光法等方法计算量复杂，而抽样、图像特征等方法提取到的关键帧又存在冗余帧。因此，在关键帧提取的领域中，有两个基本的问题亟待解决：1)如何在保证关键帧集合具有较高代表性的同时，显著降低提取的时间，满足实时性的要求；2)如何在保证关键帧集合具有较高代表性的同时，关键帧的冗余信息要少，即关键帧帧数尽可能少，进而降低后续任务算法的时间复杂度。

技术实现思路

[0005]本专利技术的目的在于提供基于帧间差分和颜色直方图差值的关键帧提取方法，以解决上述问题。
[0006]为实现上述目的，本专利技术采用以下技术方案：
[0007]基于帧间差分和颜色直方图差值的关键帧提取方法，包括以下步骤：
[0008]步骤1：通过目标检测算法对监控视频中的运动目标进行检测，将监控视频划分为只包含运动目标的视频序列，得到候选关键帧；
[0009]步骤2：设置阈值，对候选关键帧进行筛选，去除相似的图像帧，得到最终的关键帧集合。
[0010]进一步的，步骤1中，采用基于帧间差分的目标检测算法对监控视频中含有运动目标的视频序列进行提取。
[0011]进一步的，步骤1具体为：
[0012]先将视频第一帧保存为候选关键帧。
[0013]提取相邻两个视频帧f
k
(x,y,c)、f
k+1
(x,y,c)，其中c表示图像通道；计算f
k
(x,y,c)、f
k+1
(x,y,c)中每个像素点差值的绝对值：
[0014]D
k
(x,y,c)＝|f
k+1
(x,y,c)-f
k
(x,y,c)|
[0015]将图像D
k
(x,y,c)的颜色空间转换为灰度空间D
g
(x,y)；对灰度空间的图像进行阈值化处理，得到二值化图像；具体地，固定一个二值化阈值T，当D
g
(x,y)中像素值大于T时，则将该像素值对应点的像素变为255，表示白色前景；否则变为0，表示黑色背景。阈值处理的目的是由于光照的突然变化和其他噪声引起像素变化，会造成差分后的图像中包含噪声；计算公式如下：
[0016][0017]统计二值化图像B
k
(x,y)中像素值为255的像素点个数，若大于阈值T1，则认为当前帧包含运动目标，将当前帧保存为候选关键帧；其中，阈值T1为可调节参数，根据不同的监控视频内容进行调节。
[0018]进一步的，步骤2中，采用颜色直方图差值法对候选关键帧进行筛选，以得到最终的关键帧。
[0019]进一步的，步骤2具体为：
[0020]先将候选帧的第一帧保存为关键帧；
[0021]其次将图像变为灰度图，计算相邻两帧f
k
(x,y)、f
k+1
(x,y)直方图的差值，并将差值保存在数组diff中：
[0022][0023]计算数组diff中的最大值max
diff
，目的是找出候选关键帧中相邻两帧的最大差异；设置筛选阈值T2为α
·
max
diff
，其中α∈(0，1)，为去重参数；通过调节去重参数α，我们能够得到一个合适的筛选阈值T2来判断两帧是否相似；
[0024]当diff[i]大于T2时，将当前帧保存为关键帧，否则作为相似帧舍弃。
[0025]与现有技术相比，本专利技术有以下技术效果：
[0026]本专利技术公开的基于帧间差分和颜色直方图差值的关键帧提取技术，利用帧间差分从监控视频中提取含有运动目标的视频序列组成候选关键帧，之后计算候选关键帧中相邻两帧的颜色直方图差值，并设置阈值去除相似帧，得到最终的关键帧集合。实验结果表明，与传统的基于抽样的关键帧提取技术相比，该技术能够获得具有代表性且冗余信息较少的关键帧集合；与传统的基于聚类的关键帧提取技术相比，该技术能够降低计算的复杂度；与基于帧间差分和其他降低图像冗余信息的技术相比，该技术在保证提取的关键帧集合具有代表性的同时，还能显著降低关键帧提取所需的时间，以满足实时性要求，并且关键帧帧数较少，进而降低了后续任务算法的时间复杂度。
[0027]进一步地，采用基于帧间差分的目标检测算法对监控视频中的运动目标进行检测，从而得到含有运动目标的视频序列。当视频中存在运动物体时，相邻帧的像素值会发生改变。因此提取视频中的相邻两帧，计算它们之间的灰度值差异，当差值大于某一阈值时则
将该点作为前景像素点，组成运动目标；否则将该点作为背景像素点，组成背景。计算前景像素点的个数，当其大于预先调节好的阈值，则认为当前帧存在运动目标，并将当前帧保存为候选关键帧。帧间差分算法复杂度低，鲁棒性强，计算资源消耗少，能较快的从视频流中提取出含有运动目标的视频序列。
[0028]进一步地，采用颜色直方图差值法对候选关键帧进行筛选，得到最终的关键帧集合。颜色直方图通过统计某一像素范围内像素点的个数来获得图像的特征。因此背景不变和目标不变(尽管有移动)的两帧在直方图上几乎没有差别。计算候选关键帧中相邻两帧的直方图差值，并设置筛选阈值，当差值大于筛选阈值时，说明相邻的两帧图像相似度较低，将当前帧保存为关键帧；否则，说明相邻的两帧图像十分相似，将当前帧舍弃，以降低关键帧集合中的冗余信息。颜色直方图的计算量小，且在度量图像帧相似度方面具有较好的性能。
附图说明
[0029]图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于帧间差分和颜色直方图差值的关键帧提取方法，其特征在于，包括以下步骤：步骤1：通过目标检测算法对监控视频中的运动目标进行检测，将监控视频划分为只包含运动目标的视频序列，得到候选关键帧；步骤2：设置阈值，对候选关键帧进行筛选，去除相似的图像帧，得到最终的关键帧集合。2.根据权利要求1所述的基于帧间差分和颜色直方图差值的关键帧提取方法，其特征在于，步骤1中，采用基于帧间差分的目标检测算法对监控视频中含有运动目标的视频序列进行提取。3.根据权利要求2所述的基于帧间差分和颜色直方图差值的关键帧提取方法，其特征在于，步骤1具体为：先将视频第一帧保存为候选关键帧；提取相邻两个视频帧f
k
(x，y，c)、f
k+1
(x，y，c)，其中c表示图像通道；计算f
k
(x，y，c)、f
k+1
(x，y，c)中每个像素点差值的绝对值：D
k
(x，y，c)＝|f
k+1
(x，y，c)-f
k
(x，y，c)|将图像D
k
(x，y，c)的颜色空间转换为灰度空间D
g
(x，y)；对灰度空间的图像进行阈值化处理，得到二值化图像；具体地，固定一个二值化阈值T，当D
g
(x，y)中像素值大于T时...

【专利技术属性】
技术研发人员：杨树森，赵鹏，包舒玲，陈宇民，张靖琪，王艺蒙，郭思言，
申请(专利权)人：杭州卷积云科技有限公司，
类型：发明
国别省市：