一种基于用户偏好的实时视频摘要生成方法技术

本发明专利技术提出了一种基于用户偏好的实时视频摘要生成方法，具体包括：步骤一：计算颜色直方图和像素值联合差异值；步骤二：判断相邻两帧的图像特征是否发生明显变化；步骤三：计算颜色直方图和像素值联合差异值；步骤四：得到潜在视频分段边界；步骤五：设置视频帧序列的关键帧；步骤六：利用最优帧更新关键帧；步骤七：建立高斯混合模型，得到关键帧作为实时视频摘要结果。本发明专利技术提出的一种基于用户偏好的实时视频摘要生成方法，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。

【技术实现步骤摘要】

本专利技术属于图像处理领域，具体涉及一种新型的基于用户偏好的实时视频摘要生成方法。
技术介绍
随着移动设备性能的不断提升以及大量的视频分享网站的出现，越来越多的人们选择利用移动设备拍摄视频去与他人分享自己生活中的精彩片段。为了快速的查找和浏览视频片段，人们希望能够对于视频进行标记和摘要。尽管已经有一些工具可以索引和标记视频，例如iMovie，但是这些工具需要大量的，费时的人工参与。同时，当用户正在拍摄视频的同时去进行实时的视频摘要是非常具有挑战性的一项任务。对于用户拍摄的视频而言， 由于用户拍摄的视频内容是无规则的，而且视频内容的结构也是没有办法预知的，因此针对这种视频的视频摘要是十分困难的。这些年来，研究人员提出了许多的针对于家庭视频的视频摘要技术。如^iai提出了一种利用马尔科夫链的统计学方法将家庭视频分割为不同的逻辑单元。Andreas提出了一种半自动的家庭视频摘要方法，这种方法通过分析家庭视频中所包含的不同类型的运动进行视频分割，然后用户手动的在每个分段中选择关键帧生成视频摘要。Mei提出了一种结合心理学的视频摘要方法，通过分析用户在视频拍摄中的不同意图帮助视频摘要的生成。 Saman提出了一种交互的和多级的视频摘要框架，允许用户灵活的选择摘要策略和摘要长度。Takeuchi提出了一种用户自适应的视频摘要系统，该系统通过自动分析用户电脑上的图片库来获得用户的偏好，根据用户的偏好进行关键帧的提取。尽管这个领域已经发展的很多年，但是大多数的视频摘要的研究都是针对于已经拍摄完成的视频文件在电脑上进行视频摘要，很少有针对于移动设备的研究。传统的视频摘要面临的最大问题就是如何生成用户最感兴趣的摘要。目前所存在的传统的视频摘要技术的工作方式都是在用户视频拍摄完成后，通过数据线将视频文件传输到电脑上，利用成熟的摘要算法进行视频摘要，之后再将摘要结果展现给用户。这样的操作复杂，用户体验差，效率低，浪费用户大量的时间。于此同时，成熟的摘要算法大部分只关注于已经拍摄完成的视频，用户需要等待视频拍摄完成后，方可进行视频摘要，用户对于这个视频摘要的过程也是完全不可见的，用户并不能参与到整个过程中。
技术实现思路
针对现有技术中存在的问题，本专利技术提出了。本专利技术提出的，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。本专利技术提出的，具体包括以下几个步骤步骤一实时分析当前的视频帧序列S，S = {f」p彡i彡q}，其中ρ和q分别表示视频帧序列S的第一帧和最后一帧，fi表示视频帧序列S中的第i帧；令i = P，从视频帧序列S中的第一帧开始，计算第i帧和第i+Ι帧的颜色直方图和像素值联合差异值；步骤二 根据镜头渐变检测理论，设定阈值A，若第i帧和第i+Ι帧的的颜色直方图和像素值总体差异值大于阈值A，则进入步骤三；否则返回步骤一，并令i为i+Ι，重新计算第i帧和第i+Ι帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化；步骤三(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+Ι帧之后的视频帧序列S'传送到监测缓存中，j为视频帧序列S'中的任意一帧；(2)从j = 1开始，计算该视频帧序列S'中相邻两帧即第j帧和第j+Ι帧的颜色直方图和像素值联合差异值；(3)若该相邻两帧的像素值差异值小于设定阈值B，监测阶段结束，获得的视频帧子序列S，定义第j+Ι帧fm为潜在视频分段边界，进入步骤四；否则返回步骤一，并令i 为i+Ι，计算第i帧和第i+Ι帧的颜色直方图和像素值联合差异值；步骤四采用菱形运动向量算法，计算步骤三得到的视频帧子序列S的累计运动向量，计算累计运动向量与视频帧子序列S中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积，若该积大于设定阈值C，则潜在的视频分段边界fm帧为真实的视频边界；否则返回步骤一，并令i为i+Ι，重新计算视频帧序列S中第i帧和第i+Ι帧的颜色直方图和像素值联合差异值；步骤五提取&为视频帧序列S的关键帧；步骤六将视频帧序列S在fj+1帧之后的所有帧序列进行缓存，得到缓存序列，计算该缓存序列中所有帧的信息富有度、熵值和亮度值，将信息富有度、熵值和亮度值进行归一化，得到均一化值，将最大的均一化值对应的帧作为最优帧，利用最优帧更新关键帧f j+1 帧；步骤七实时将更新得到的关键帧传输给用户，并实时获得用户选择的关键帧，利用户选择的关键帧建立高斯混合模型(从， )’分析用户对于关键帧的偏好；其中k是高斯模型组件Ν( μ m，σ J的个数，μ m为每个高斯分布的均值和ο m为每个高斯分布的方差，Ν(μω，σω)表示高斯分布；αω是混合概率，Θ是建立的高斯混合模型的参数空间，&表示分布函数，k表示高斯混合模型中高斯分布的总个数，m表示其中任意一个高斯分布；采用期望最大值计算方法，通过高斯混合模型计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率，利用符合用户偏好的概率进行关键帧的更新，最终的得到的关键帧。本专利技术的优点在于(1)本专利技术提出的，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。(2)本专利技术提出了，实时生成和呈现摘要结果，用户能够观察和控制整个过程，在节省时间的同时带来新颖的用户体验。(3)本专利技术提出了，动态更新实时提取的关键帧，保证关键帧的完整性和最优性。 附图说明图1 本专利技术提出的的流程图；图2 本专利技术提出的的性能检测图。具体实施例方式下面将结合附图对本专利技术作进一步的详细说明。本专利技术提出的，如图1所示，具体包括以下几个步骤步骤一实时分析当前的视频帧序列S，S = {f」p彡i彡q}，其中ρ和q分别表示视频帧序列S的第一帧和最后一帧，fi表示视频帧序列S中的第i帧。分析当前视频序列中相邻第i帧和第i+1帧的图像特征，图像特征包括颜色直方图和像素值，令i = P，从视频帧序列S中的第一帧开始，计算第i帧和第i+Ι帧的颜色直方图和像素值联合差异值 TDiffi0其中所述的颜色直方图和像素值联合差异值TDiffi的具体的计算过程为(1)第i帧和第i+Ι帧的颜色直方图差异采用分块方法进行计算，将第i帧和第 i+Ι帧分为MXN块，第i帧和第i+Ι帧的之间的第k分块的颜色直方图差异HBDiff (fi,k，fi+i,k)为本文档来自技高网...

【技术保护点】
１．一种基于用户偏好的实时视频摘要生成方法，其特征在于：具体包括以下几个步骤：步骤一：实时分析当前的视频帧序列Ｓ，Ｓ＝｛ｆｉ｜ｐ≤ｉ≤ｑ｝，其中ｐ和ｑ分别表示视频帧序列Ｓ的第一帧和最后一帧，ｆｉ表示视频帧序列Ｓ中的第ｉ帧；令ｉ＝ｐ，从视频帧序列Ｓ中的第一帧开始，计算第ｉ帧和第ｉ＋１帧的颜色直方图和像素值联合差异值；步骤二：根据镜头渐变检测理论，设定阈值Ａ，若第ｉ帧和第ｉ＋１帧的的颜色直方图和像素值总体差异值大于阈值Ａ，则进入步骤三；否则返回步骤一，并令ｉ为ｉ＋１，重新计算第ｉ帧和第ｉ＋１帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化；步骤三：（１）将视频帧序列Ｓ中图像特征发生明显变化的第ｉ帧和第ｉ＋１帧之后的视频帧序列Ｓ′传送到监测缓存中，ｊ为视频帧序列Ｓ′中的任意一帧；（２）从ｊ＝１开始，计算该视频帧序列Ｓ′中相邻两帧即第ｊ帧和第ｊ＋１帧的颜色直方图和像素值联合差异值；（３）若该相邻两帧的像素值差异值小于设定阈值Ｂ，监测阶段结束，获得的视频帧子序列Ｓ″，定义第ｊ＋１帧ｆｊ＋１为潜在视频分段边界，进入步骤四；否则返回步骤一，并令ｉ为ｉ＋１，计算第ｉ帧和第ｉ＋１帧的颜色直方图和像素值联合差异值；步骤四：采用菱形运动向量算法，计算步骤三得到的视频帧子序列Ｓ″的累计运动向量，计算累计运动向量与视频帧子序列Ｓ″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积，若该积大于设定阈值Ｃ，则潜在的视频分段边界ｆｊ＋１帧为真实的视频边界；否则返回步骤一，并令ｉ为ｉ＋１，重新计算视频帧序列Ｓ中第ｉ帧和第ｉ＋１帧的颜色直方图和像素值联合差异值；步骤五：提取ｆｊ＋１为视频帧序列Ｓ的关键帧；步骤六：将视频帧序列Ｓ在ｆｊ＋１帧之后的所有帧序列进行缓存，得到缓存序列，计算该缓存序列中所有帧的信息富有程度Ｇｕ、熵值Ｅｕ和亮度值Ｌｕ，将信息富有程度、熵值和亮度值进行归一化，得到均一化值，将最大的均一化值对应的帧作为最优帧，利用最优帧更新关键帧ｆｊ＋１帧；步骤七：实时将更新得到的关键帧传输给用户，并实时获得用户选择的关键帧，利用户选择的关键帧建立高斯混合模型分析用户对于关键帧的偏好；其中ｋ是高斯模型组件Ｎ（μｍ，σｍ）的个数，μｍ为每个高斯分布的均值和σｍ为每个高斯分布的方差，Ｎ（μｍ，σｍ）表示高斯分布；αｍ是混合概率，Θ是建立的高斯混合模型的参数空间，ＲＸ表示分布函数，ｋ表示高斯混合模型中高斯分布的总个数，ｍ表示其中任意一个高斯分布；采用期望最大值计算方法，通过高斯混合模型计算得到当前的视频帧序列Ｓ中所有的视频帧符合用户偏好的概率，利用符合用户偏好的概率进行关键帧的更新，最终的得到的关键帧。...

【技术特征摘要】
1.一种基于用户偏好的实时视频摘要生成方法，其特征在于具体包括以下几个步骤步骤一实时分析当前的视频帧序列S，S = {f」p < i < q}，其中P和q分别表示视频帧序列S的第一帧和最后一帧，&表示视频帧序列S中的第i帧；令i = P，从视频帧序列S中的第一帧开始，计算第i帧和第i+Ι帧的颜色直方图和像素值联合差异值；步骤二 根据镜头渐变检测理论，设定阈值A，若第i帧和第i+Ι帧的的颜色直方图和像素值总体差异值大于阈值A，则进入步骤三；否则返回步骤一，并令i为i+Ι，重新计算第 i帧和第i+Ι帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化；步骤三(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+Ι帧之后的视频帧序列S'传送到监测缓存中，j为视频帧序列S'中的任意一帧；(2)从j= 1开始，计算该视频帧序列S'中相邻两帧即第j帧和第j+Ι帧的颜色直方图和像素值联合差异值；(3)若该相邻两帧的像素值差异值小于设定阈值B，监测阶段结束，获得的视频帧子序列S，定义第j+Ι帧fm为潜在视频分段边界，进入步骤四；否则返回步骤一，并令i为 i+Ι，计算第i帧和第i+Ι帧的颜色直方图和像素值联合差异值；步骤四采用菱形运动向量算法，计算步骤三得到的视频帧子序列S的累计运动向量，计算累计运动向量与视频帧子序列S中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积，若该积大于设定阈值C，则潜在的视频分段边界f^帧为真实的视频边界；否则返回步骤一，并令i为i+Ι，重新计算视频帧序列S中第i帧和第i+Ι帧的颜色直方图和像素值联合差异值；步骤五提取fj+1为视频帧序列S的关键帧；步骤六将视频帧序列S在fj+1帧之后的所有帧序列进行缓存，得到缓存序列，计算该缓存序列中所有帧的信息富有程度Gu、熵值和亮度值Lu，将信息富有程度、熵值和亮度值进行归一化，得到均一化值，将最大的均一化值对应的帧作为最优帧，利用最优帧更新关键帧fm帧；步骤七实时将更新得到的关键帧传输给用户，并实时获得用户选择的关键帧，利用户选择的关键帧建立高斯混合模型^^|Θ) = |α^(Α ，σ )’分析用户对于关键帧的偏好；其中k是高斯模型组件Ν( μ m，。m)的个数，μ m为每个高斯分布的均值和。m为每个高斯分布的方差，Ν(μω，。m)表示高斯分布；Cim是混合概率， 是建立的高斯混合模型的参数空间，&表示分布函数，k表示高斯混合模型中高斯分布的总个数，m表示其中任意一个高斯分布；采用期望最大值计算方法，通过高斯混合模型计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率，利用符合用户偏好的概率进行关键帧的更新，最终的得到的关键帧。2.根据权利要求1所述的一种基于用户偏好的实时视频摘要生成方法，其特征在于 所述的步骤一中计算第i帧和第i+Ι帧的颜色直方图和像素值联合差异值的...

【专利技术属性】
技术研发人员：牛建伟，霍达，童超，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11