一种基于数字家庭高清媒体的内容分析方法及系统技术方案

本发明专利技术实施例公开了一种基于数字家庭高清媒体的内容分析方法及系统，其中，该方法包括：对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；以视频相册形式显示当前选定的视频的各个关键帧。实施本发明专利技术实施例，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位。

Content analysis method and system based on digital home high definition media

The embodiment of the invention discloses a content analysis method and system, digital home HD media based on the method includes: Video structured processing and key frame extraction, obtaining symbiosis characteristics between each character in the video features and characters; each set of characters in the video content of the context of feature extraction. According to the content of exhibition features appearing in the interface format; according to the search target set to retrieve all the heads of the video display rate, and in the content display interface showing the size corresponding characters appear in every episode of the same frequency, video display video link high rate to tile form to show for each click on the display; the selected key frames to form video video album. The embodiment of the invention can be used in the TV series narrative multi set of digital home HD media, to help users to quickly grasp the multiple sets of video series characters in context and emotional development, realize quick positioning and target preview.

【技术实现步骤摘要】

本专利技术涉及高清媒体内容处理
，尤其涉及一种基于数字家庭高清媒体的内容分析方法及系统。
技术介绍
随着互联网的快速发展以及信息高速公路的不断进步，越来越多的视频、图像、音频等多媒体信息开始走入家庭社区，人们正在快速地步入数字化、信息化的社会。为了有效地进行组织和管理越来越多的多媒体数据，基于内容的视频分析技术应运而生。该技术通过对视频内容进行计算机处理、分析和理解，在计算机处理的底层特征和人类理解的高层语义之间建立关联，从而为视频的特征提取或信息检索提供技术支持。在电影、电视剧等故事性很强的视频中，如何帮助用户快速地理清视频中的故事情节是视频研究的重要内容，也受到越来越多人的重视和研究。由于人物关系涉及到视频内部内容的提取和分析，传统的基于标签的视频分析技术无法有效地做到这点，因此需要基于内容的视频分析技术对视频进行基于高层语义的分析和理解。在社会信息化、数字化的驱动下，基于内容的视频分析技术得到国内外学者的广泛关注。而视频中的人物又是构成视频内容的主要实体，因此本专利技术围绕着视频中的人物而展开，重点分析人物之间的关系并为用户提供基于兴趣偏好的视频点播功能。目前已经有很多学者利用基于内容的视频分析策略对视频中人物进行分析，比如，基于人物的视频镜头索引和视频主要演员的生成一类，都是以人物为研究中心的视频分析方法。这些方法以人脸作为视觉特征，首先找出在视频中经常出现的活跃人物。然后利用基于内容的视频检索机制，实现高效地检索兴趣镜头的功能。主要用到的技术有视频结构化建模、人物特征提取和识别、基于语义的视频分析。除此之外还有特征分析后利用检索技术进行特征检索，包括：出关键特征抽取、根据关键特征建立索引，最后建立基于主要演员镜头的索引并完成主要人物特点的分析。现有不少技术对视频中人物进行分析，但是这些技术主要面向每个单个人物，每次都以每一个特定的人物为研究对象，忽略了人物之间的连接。而人物关系又是用户把握视频剧情的一重要线索，人物脉络分析的缺失将会很大程度地影响用户的满意度。有些研究即使是考虑到了人物关系，却是将人物之间关系视为恒定不变的，即整个视频的播放过程中所有角色之间的社会/情感关系固定。这在较短情节变化缓慢的视频中还可以接受，一旦面向的视频播放时间变长或集数变多，过于死板的人物关系设定又将使得用户无法忍受。媒体化时代里用户往往希望快速把握各个剧集下人物脉络情感的发展、每个角色在不同集目下出现频率的多少等一系列相关的问题，从而可以实现视频剧情快速预览和感兴趣区域定向播放的愿望。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于数字家庭高清媒体的内容分析方法及系统，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，在频人物和情节分析方面同层次上的技术设计，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位。为了解决上述问题，本专利技术提出了一种基于数字家庭高清媒体的内容分析方法，所述方法包括：对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；以视频相册形式显示当前选定的视频的各个关键帧。优选地，所述对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征的步骤，包括：对视频进行结构化分析，将镜头作为视频段的基本单位；对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；在当前帧图片上提取人物的头部特征；根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。优选地，所述对镜头中背景进行建模的步骤，包括：利用高斯分布模型对镜头中背景进行建模。优选地，所述将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现的步骤，包括：从多个视频中筛选兴趣视频集目；选定特定单集视频后，基于关键帧显示该集的结构化视频内容。优选地，所述根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小的步骤，包括：在视频信息特征属性建立索引；选择检索接口接收前端数据；接收检索内容，并转换数据格式；以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；数据结果以内容展示接口显示数据结果。相应地，本专利技术还提供一种基于数字家庭高清媒体的内容分析系统，所述系统包括：提取模块，用于对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；检索模块，用于根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；显示模块，用于以视频相册形式显示当前选定的视频的各个关键帧。优选地，所述提取模块包括：分析单元，用于对视频进行结构化分析，将镜头作为视频段的基本单位；建模单元，用于对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；提取单元，用于在当前帧图片上提取人物的头部特征；识别单元，用于根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；筛选单元，用于根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；计算单元，用于对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；标记单元，用于对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。优选地，所述建模单元还用于利用高斯分布模型对镜头中背景进行建模。优选地，所述提取模块还用于从多个视频中筛选兴趣视频集目；选定特定单集视频后，基于关键帧显示该集的结构化视频内容。优选地，所述检索模块包括：建立单元，用于在视频信息特征属性建立索引；选择单元，用于选择检索接口接收前端数据；转换单元，用于接收检索内容，并转换数据格式；匹配单元，用于以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；提取单元，用于根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；显示单元，用于数据结果以内容展示接口显示数据结果。实施本专利技术实施例，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，在频人物和情节分析方面同层次上的技术设计，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位，可以为用户提供随着剧情发展，各个人物之间关系情感变化以及用户兴趣角色选择性播放的功能。附图说明为了更清楚地说明本专利技术实施本文档来自技高网...

【技术保护点】
一种基于数字家庭高清媒体的内容分析方法，其特征在于，所述方法包括：对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；以视频相册形式显示当前选定的视频的各个关键帧。

【技术特征摘要】
1.一种基于数字家庭高清媒体的内容分析方法，其特征在于，所述方法包括：对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；以视频相册形式显示当前选定的视频的各个关键帧。2.如权利要求1所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征的步骤，包括：对视频进行结构化分析，将镜头作为视频段的基本单位；对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；在当前帧图片上提取人物的头部特征；根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。3.如权利要求2所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述对镜头中背景进行建模的步骤，包括：利用高斯分布模型对镜头中背景进行建模。4.如权利要求1所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现的步骤，包括：从多个视频中筛选兴趣视频集目；选定特定单集视频后，基于关键帧显示该集的结构化视频内容。5.如权利要求1所述的基于数字家庭高清媒体的内容分析方法，其特征在于，所述根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小的步骤，包括：在视频信息特征属性建立索引；选择检索接口接收前端数据；接收检索内容，并转换数据格式；以转化数据格式后的内容为搜索目标，在特征库中对应数据表区域进行特征搜索和匹配；根据索引在数据库中快速搜索目标数据，将搜索结果提取，并实现数据格式转换；数据结果以内容...

【专利技术属性】
技术研发人员：周凡，李晓苗，韩冠亚，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44