视频概要生成方法及服务器、客户端技术

本发明专利技术提出视频概要生成方法及服务器、客户端。方法包括：视频概要服务器对视频源文件解码，对得到的原始视频帧采样，从每一采样帧提取图像统计特征，对每相邻两采样帧，计算各统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，将该视频源的加权统计特征帧间距离集发送给视频客户端；视频客户端根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，根据视频变化曲线确定该视频源的基本层级结构，根据用户输入的视频概要层级要求，将视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该概要层级结构对视频源进行段落划分，将段落信息作为视频源的视频概要提供给用户。本发明专利技术降低了视频客户端的处理负担。

【技术实现步骤摘要】
视频概要生成方法及服务器、客户端
本专利技术涉及多媒体
，尤其涉及视频概要生成方法及视频概要服务器、视频客户端。
技术介绍
随着多媒体技术的发展和视频采集设备的普及，视频文件越来越广泛地出现在人们的生活和工作中，如何从浩若烟海的视频资料里寻找到自己所感兴趣的部分也就成为了许多视频用户的迫切需求，而仅仅通过阅读视频的文字和图片海报已经远远不能满足用户充分了解视频组成结构和主要内容的要求，因此视频概要这一全新的视频描述方式也就应运而生了，通过浏览视频概要，用户可以了解视频的段落结构和观看各段落中的精彩帧。现有的视频概要生成方法主要包含两个部分：1）特征提取：首先对视频进行采样，如5或者10帧取一帧，计算该采样帧的特征值，如灰度、色差、纹理等。2）事件检测：根据所获取的特征值，检测当前采样帧是否为具有代表性的关键帧，进而使用这些关键帧构建视频的组织结构，进而生成视频概要。目前的这种生成方式存在以下缺点：1）多特征的提取算法需要对每一采样帧进行大量的运算，导致整体处理速度过慢，尤其随着高清和全高清视频的大量涌现，提取速度缓慢的问题进一步加剧，已经严重影响了用户的使用体验。2）目前的视频概要生成方法只能提供统一的浏览方式，无法根据用户的要求加以定制、以满足不同用户在不同时间段的差异化观看需求，从而影响用户的浏览体验。3）目前的视频概要为用户所能提供的服务功能单一，缺乏互动，使用户缺乏参与感，不利于用户忠诚度的培养。
技术实现思路
本专利技术提供视频概要生成方法及视频概要服务器、视频客户端，以减轻视频概要生成过程中客户端的运算压力，提高服务速度。本专利技术的技术方案是这样实现的：一种视频概要生成方法，该方法包括：视频客户端接收视频概要服务器发来的针对一视频源的加权统计特征帧间距离集，根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构；其中，所述视频源的加权统计特征帧间距离集为：视频概要服务器导入该视频源文件，对该文件进行解码，得到原始视频帧，对该原始视频帧进行采样，从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频客户端的；视频客户端根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户。所述视频客户端根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分进一步包括：视频客户端根据所述视频变化曲线，采用自适应变步长采样方法对所述视频源进行采样，将得到的采样帧作为概要关键帧，将概要关键帧信息放入所述视频源的视频概要中，其中，视频变化曲线的梯度越小，采样步长越大，视频变化曲线的梯度越大，采样步长越小。所述视频客户端将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户之后进一步包括：视频客户端接收用户输入的对该视频概要的评价信息，将该评价信息发送给视频概要服务器，以便：视频概要服务器根据已记录的所有用户对各视频源的视频概要的评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型；且，当视频概要服务器接收到视频客户端发来的任一用户对任一视频源的视频概要的评价信息时，记录该评价信息，并采用已建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据该用户的类别，从所述视频源中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频客户端。所述视频客户端将所述视频源的基本层级结构调整为符合用户要求的概要层级结构为：视频客户端根据所述视频源的基本层级结构，以及视频概要服务器发来的该视频源的段落信息、和/或段落+子段落信息，以及用户输入的视频概要层级要求，得到该视频源的最终层级结构。所述视频概要服务器从每一采样帧中提取各图像统计特征之后、对于每相邻两采样帧分别计算每个统计特征的帧间距离之前进一步包括：视频概要服务器根据视频的种类，从提取的各图像统计特征中选取最能够反映当前视频特性的特征；所述对于每相邻两采样帧分别计算每个统计特征的帧间距离为：对于选取的最能够反映当前视频特性的各统计特征，计算该统计特征的帧间距离。所述将概要关键帧信息放入所述视频源的视频概要中之后进一步包括：视频客户端根据视频概要中的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，直接从视频概要服务器下载对应的段落、和/或段落+子段落、和/或概要关键帧。所述视频客户端将得到的采样帧作为概要关键帧之后进一步包括：视频客户端根据概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，将该概要关键短视频信息写入视频概要中。一种视频概要服务器，包括：解码模块：导入任一视频源文件，对该文件进行解码，得到原始视频帧，将原始视频帧输出到采样模块；采样模块：对所述原始视频帧进行采样，将各采样帧输出到统计特征帧间距离计算模块；统计特征帧间距离计算模块：从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频特征描述模块；视频特征描述模块：将视频源的加权统计特征帧间距离集发送给视频客户端，以便：视频客户端根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，并根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户。所述服务器进一步包括：用户聚类模块和用户分类及推荐帧确定模块，其中：用户聚类模块：接收并记录各视频客户端发来的各用户对各视频源的视频概要的评价信息，根据已记录的所有评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型；用户分类及推荐帧确定模块：接收到视频客户端发来的任一用户对任一视频源的视频概要的评价信息，记录该评价信息，并采用用户聚类模块建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据用户的类别，从解码模块输出的原始视频帧中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频特征描述模块；且，所述视频特征描述模块进一步用于，将所述段落信息、和/或段落+子段落信息、和/或概要关键帧信息，连同该视频源的加权统计特征帧间距离集一起发送给视频客户端。所述统计特征帧间距离计算模块进一步用于，当从每一采样帧中提取各图像统计特征之后、根据视频本文档来自技高网...

【技术保护点】
一种视频概要生成方法，其特征在于，该方法包括：视频客户端接收视频概要服务器发来的针对一视频源的加权统计特征帧间距离集，根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构；其中，所述视频源的加权统计特征帧间距离集为：视频概要服务器导入该视频源文件，对该文件进行解码，得到原始视频帧，对该原始视频帧进行采样，从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频客户端的；视频客户端根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户。

【技术特征摘要】
1.一种视频概要生成方法，其特征在于，该方法包括：视频客户端接收视频概要服务器发来的针对一视频源的加权统计特征帧间距离集，根据该加权统计特征帧间距离集，得到反映该视频源的加权统计特征帧间距离集的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构；其中，所述视频源的加权统计特征帧间距离集为：视频概要服务器导入该视频源文件，对该文件进行解码，得到原始视频帧，对该原始视频帧进行采样，从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频客户端的，其中，每个统计特征的帧间距离即，相邻两采样帧间该统计特征的距离；视频客户端根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户；所述视频客户端根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分进一步包括：视频客户端根据所述视频变化曲线，采用自适应变步长采样方法对所述视频源进行采样，将得到的采样帧作为概要关键帧，将概要关键帧信息放入所述视频源的视频概要中，其中，视频变化曲线的梯度越小，采样步长越大，视频变化曲线的梯度越大，采样步长越小。2.根据权利要求1所述的方法，其特征在于，所述视频客户端将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户之后进一步包括：视频客户端接收用户输入的对该视频概要的评价信息，将该评价信息发送给视频概要服务器，以便：视频概要服务器根据已记录的所有用户对各视频源的视频概要的评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型；且，当视频概要服务器接收到视频客户端发来的任一用户对任一视频源的视频概要的评价信息时，记录该评价信息，并采用已建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据该用户的类别，从所述视频源中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频客户端。3.根据权利要求2所述的方法，其特征在于，所述视频客户端将所述视频源的基本层级结构调整为符合用户要求的概要层级结构为：视频客户端根据所述视频源的基本层级结构，以及视频概要服务器发来的该视频源的段落信息、和/或段落+子段落信息，以及用户输入的视频概要层级要求，得到该视频源的最终层级结构。4.根据权利要求1所述的方法，其特征在于，所述视频概要服务器从每一采样帧中提取各图像统计特征之后、对于每相邻两采样帧分别计算每个统计特征的帧间距离之前进一步包括：视频概要服务器根据视频的种类，从提取的各图像统计特征中选取最能够反映当前视频特性的特征；所述对于每相邻两采样帧分别计算每个统计特征的帧间距离为：对于选取的最能够反映当前视频特性的各统计特征，计算该统计特征的帧间距离。5.根据权利要求1所述的方法，其特征在于，所述将概要关键帧信息放入所述视频源的视频概要中之后进一步包括：视频客户端根据视频概要中的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，直接从视频概要服务器下载对应的段落、和/或段落+子段落、和/或概要关键帧。6.根据权利要求1所述的方法，其特征在于，所述视频客户端将得到的采样帧作为概要关键帧之后进一步包括：视频客户端根据概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，将该概要关键短视频信息写入视频概要中。7.一种视频概要服务器，其特征在于，包括：解码模块：导入任一视频源文件，对该文件进行解码，得到原始视频帧，将原始视频帧输出到采样模块；采样模块：对所述原始视频帧进行采样，将各采样帧输出到统计特征帧间距离计算模块；统计特征帧间距离计算模块：从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频特征描述模块，其中，每个统计特征的帧间距离即，相邻两采样帧间该统计特征的距离；视频特征描述模块：将视频源的加权统计特征帧间距离集发送给视频客户端，以便：视频客户端根据该加权统计特征帧间距离集，得到反映该视频源的加权统计特征帧间距离集的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，并根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户，所述视频客户端根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分进一步包括：视频客户端根据所述视频变化曲线，采用自适应变步长采样方法对所述视频源进行采样，将得到的采样帧作...

【专利技术属性】
技术研发人员：吴昊，郝刚，尤伟，方会，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏;32