一种基于九宫格的视频缩略图自动生成方法技术

本发明专利技术公开了一种基于九宫格的视频缩略图自动生成方法，包括：从视频数据中提取出关键词及关键帧；从关键词中提取目标关键词以构建待查词库；从关键帧中提取目标关键帧以构建待查图库；根据待查词库与待查图库的关联关系构建外键索引库；根据待查词库、外键索引库及待查图库，并采用九宫格布局方式自动生成视频缩略图。采用本发明专利技术，通过大数据分析技术实现了视觉通道信息与语音通道信息的相关性融合，从而提高了视频缩略图的相关性与表达视频内容的精确性。

An automatic generation method of video thumbnail based on nine palace grid

【技术实现步骤摘要】
一种基于九宫格的视频缩略图自动生成方法
本专利技术涉及大数据分析
，尤其涉及一种基于九宫格的视频缩略图自动生成方法。
技术介绍
随着计算机技术的蓬勃发展，视频成为当前传播信息的主要形式，而视频本身具备丰富的音视图文信息，使其更直观的让人们所理解与接受，但是也因其具备丰富的音视图文信息，其本身也不可避免地带有冗余信息。在当今快节奏的生活中，观看一部完整的视频成为了一种奢望，因此，现有技术中通常采用视频缩略图的方式实现关键信息的呈现，具体地：1、中国专利(申请号：200710102089.2)公开了一种视频缩略图生成方法和视频缩略图生成装置，从视频文件中采集多帧数据，得到对应的多张静态图片；将所述多张静态图片制成动画文件，作为所述视频的视频缩略图。但是，该方法仅仅是采用多帧图像数据，虽然是制作成为动画，但是表达的视频信息依然不够直观，而且由于其仅仅是从图像数据入手，缺少了视频的语音信息，而且由于多张关键帧组成的动画，缺失了视频最关键的逻辑性与关联性。2、基于Web的视频缩略图动态生成技术研究，该研究采用第三方开源免费组件来解决Web环境下视频缩略图动态生成的技术问题，系统技术架构主要采用微软ASP.NET框架开发。但是，即使采用第三方开源组件来生成，该生成的方案是随机选取质量高的图片，也仅仅只是从视觉信息入手，缺失了语音信息，而且该方法仅仅选取一张图片作为缩略图，内容单一，表达不充分。3、一种有效的网络视频内容缩略图推荐方法，在图像显著性分析的基础上提出一种新的图像内容易获取性特征，并利用支持向量回归的方法训练出一个图像内容易获取性评价模型，最后为了保证所推荐视频缩略图的内容具有代表性，采用一种基于互相增强的代表性排序方法，最后通过线性加权将视频关键帧的易获取性得分和代表性得分融合来获取最终的视频内容缩略图。但是，该方法虽然通过多种方法融合生成最具有代表性的缩略图，但是依然缺少语音信息，视频具有强相关性与多通道的特性，如果仅仅从单一的角度获取缩略图，势必会影响视频内容的主题思想，因此生成的缩略图不能够精确的表达视频的内容以及相关性。由上可知，视频缩略图的生成形式单一，不足以表达视频内容信息，使得人们查看缩略图依然不能够理解视频主要信息；同时，视频缩略图仅仅从视觉信息方面获取信息，缺失了视频相关性信息，使得生成的缩略图关联性低，缺少逻辑。因此，如何从视频中快速的获取人们想要的知识以及如何快速的检索到想要的视频，是目前视频处理技术中亟待解决的关键问题。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种基于九宫格的视频缩略图自动生成方法，可通过大数据分析技术实现视觉通道信息与语音通道信息的相关性融合，从而提高了视频缩略图的相关性与表达视频内容的精确性。为了解决上述技术问题，本专利技术提供了一种基于九宫格的视频缩略图自动生成方法，包括：从视频数据中提取出关键词及关键帧；从所述关键词中提取目标关键词以构建待查词库；从所述关键帧中提取目标关键帧以构建待查图库；根据所述待查词库与待查图库的关联关系构建外键索引库；根据所述待查词库、外键索引库及待查图库，并采用九宫格布局方式自动生成视频缩略图。作为上述方案的改进，所述从视频数据中提取出关键词及关键帧的步骤包括：从视频数据中提取出音频数据，并将所述音频数据转换为音频文本数据；从视频数据中提取出关键帧，并从所述关键帧中提取出图像文本数据；将所述音频文本数据及图像文本数据整合为文本数据；对所述文本数据进行分词处理，以划分出多个词组；从所述词组中提取关键词。作为上述方案的改进，所述从视频数据中提取出关键帧的步骤包括：读取视频数据；计算所述视频数据中每帧图像之间的帧间差分量；对所述帧间差分量进行滤波处理；根据滤波后的帧间差分量提取关键帧。作为上述方案的改进，所述从视频数据中提取出关键帧的步骤包括：采用直方图差异法从视频数据中提取出关键帧。作为上述方案的改进，所述从关键词中提取目标关键词以构建待查词库的步骤包括：对所述关键词进行融合处理及去重处理，以提取出目标关键词；计算所述目标关键词出现的频数信息；根据所述频数信息计算目标关键词与视频主题的相关度以进行目标关键词的关联；将所述目标关键词及所述目标关键词对应的权重信息存入数据库中以构成待查词库。作为上述方案的改进，所述从关键帧中提取目标关键帧以构建待查图库的步骤包括：采用语义相关性帧间差分法从所有的关键中提取九个目标关键帧，并将所述目标关键帧及所述目标关键帧对应的权重信息存入数据库中以构成待查图库。作为上述方案的改进，所述根据待查词库与待查图库的关联关系构建外键索引库的步骤包括：采用图像显著性检测算法对所述目标关键帧进行排序；根据目标关键词的权重信息及目标关键帧的权重信息，按顺序将目标关键词与目标关键帧进行对应，并建立外键索引库以记录待查词库与待查图库的关联关系。作为上述方案的改进，所述根据待查词库、外键索引库及待查图库并采用九宫格布局方式自动生成视频缩略图的步骤包括：提取所述待查词库中的目标关键词及所述目标关键词对应的权重信息，并通过所述外键索引库提取所述待查图库中与所述目标关键词对应的目标关键帧；根据所述目标关键词的权重信息对所述目标关键词进行排序；根据所述目标关键词的排序顺序将目标关键帧进行对应位置的输出，以生成九宫格布局方式的视频缩略图。本专利技术从视频数据三大特点(多通道、相关性强、高数据量)入手，采用基于九宫格的视频缩略图自动生成方法来对视频数据进行处理。首先对视频数据的语音通道进行文本化处理，然后对视频数据进行关键帧的提取并对关键帧进行文本化处理，之后将关键帧与语音通道获取的文本进行关键词关联性分析并形成待查词库，将关键帧形成九张待查图库，最后将待查词库与待查图库进行相关性关联，并利用九宫格布局按照相关性权重从左至右以及从上至下的方式进行排列组合形成最终的缩略图。因此，实施本专利技术的有益效果在于：本专利技术通过结合大数据分析技术从视频数据中挖掘出关键词及关键帧，大大地提高了关键数据的全面性及准确性。本专利技术从视频数据中提取出音频数据及关键帧图像，实现了视觉通道信息与语音通道信息的相关性融合，从而提高了视频缩略图的相关性与表达视频内容的精确性。本专利技术采用由九张目标关键帧组成的待查图库与待查词库进行相关性关联，使得用户在以文本信息或者图片信息进行视频检索时，都可以方便地进行视频的检索，提高了视频检索的效率与准确率。本专利技术以相关性权重按照从左至右，从上至下的逻辑进行布局设计，使得视频缩略图的相关性得到显著增强，从而提高了用户对视频的理解效率。附图说明图1是本专利技术基于九宫格的视频缩略图自动生成方法的实施例流程图；图2是本专利技术中建立外键索引库实施例流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。仅此声明，本专利技术在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本专利技术的附图为基准，其并不是对本专利技术的具本文档来自技高网...

【技术保护点】
1.一种基于九宫格的视频缩略图自动生成方法，其特征在于，包括：/n从视频数据中提取出关键词及关键帧；/n从所述关键词中提取目标关键词以构建待查词库；/n从所述关键帧中提取目标关键帧以构建待查图库；/n根据所述待查词库与待查图库的关联关系构建外键索引库；/n根据所述待查词库、外键索引库及待查图库，并采用九宫格布局方式自动生成视频缩略图。/n

【技术特征摘要】
1.一种基于九宫格的视频缩略图自动生成方法，其特征在于，包括：
从视频数据中提取出关键词及关键帧；
从所述关键词中提取目标关键词以构建待查词库；
从所述关键帧中提取目标关键帧以构建待查图库；
根据所述待查词库与待查图库的关联关系构建外键索引库；
根据所述待查词库、外键索引库及待查图库，并采用九宫格布局方式自动生成视频缩略图。


2.如权利要求1所述的基于九宫格的视频缩略图自动生成方法，其特征在于，所述从视频数据中提取出关键词及关键帧的步骤包括：
从视频数据中提取出音频数据，并将所述音频数据转换为音频文本数据；
从视频数据中提取出关键帧，并从所述关键帧中提取出图像文本数据；
将所述音频文本数据及图像文本数据整合为文本数据；
对所述文本数据进行分词处理，以划分出多个词组；
从所述词组中提取关键词。


3.如权利要求2所述的基于九宫格的视频缩略图自动生成方法，其特征在于，所述从视频数据中提取出关键帧的步骤包括：
读取视频数据；
计算所述视频数据中每帧图像之间的帧间差分量；
对所述帧间差分量进行滤波处理；
根据滤波后的帧间差分量提取关键帧。


4.如权利要求2所述的基于九宫格的视频缩略图自动生成方法，其特征在于，所述从视频数据中提取出关键帧的步骤包括：采用直方图差异法从视频数据中提取出关键帧。


5.如权利要求1所述的基于九宫格的视频缩略图自动生成方法，其特征在于，所述从关键词中提取目标关键词以构建待查词库的步骤包括：

【专利技术属性】
技术研发人员：周凡，林格，郑贵锋，陈丽娜，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44