一种基于内容的电影可视化处理方法及其系统技术方案

本发明专利技术实施例公开了一种基于内容的电影可视化处理方法及其系统，其中，该方法包括：提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面。在本发明专利技术实施例中，通过视频语义分割和情节概括，多角度、集中地呈现电影内容和整体结构，用户交互友好，有效帮助用户快速抓住电影重要情节，理解电影风格、主题，提高用户筛选电影的效率和使用体验感。

Content based film visual processing method and system thereof

The embodiment of the invention discloses a film processing method and content visualization system based on the method, including audio and video information extraction of the film, the audio and video information extraction, to obtain the corresponding audio and video content structured information; according to the movie audio and video structured content information detection film semantic boundary. The film will be divided into independent plots, and summarizes the semantic theme, summed up the plot of the movie information; according to the movie, the movie concludes the boundary of semantic information, and the audio and video information corresponding to the visualization framework to generate visual interface. In the embodiment of the invention, the video segmentation and semantic plot summary, focus on showing the movie content and overall structure, multi angle, friendly user interface, effectively help users to quickly grasp the important movie plot, understanding the film style, theme, improve user efficiency and the use of film screening experience.

【技术实现步骤摘要】
一种基于内容的电影可视化处理方法及其系统
本专利技术涉及数据挖掘、信息可视化
，尤其涉及一种基于内容的电影可视化处理方法及其系统。
技术介绍
近年来，随着多媒体技术和互联网技术的迅速发展，电影产量一直保持着快速增长态势，各类电影资源极大丰富。用户要在庞大数量的电影中选出自己喜欢的电影，只能通过文字剧情介绍，电影的海报等进行了解。但是，简单的文字剧情介绍或者海报往往不能让用户对影片有一个整体全面的认识，用户还是不易筛选出自己喜欢的电影。为了满足信息时代快速有效的获取或筛选信息的需求，越来越多的人开始关注信息可视化，并开始探索可视化在各个领域中的应用，各种创新型可视化案例纷纷涌现，数据信息可视化的理论研究和实践也趋于成熟，可视化已然成为各个领域处理数据信息的一种高效方法。在数据信息爆炸的信息时代中，随着网络技术和多媒体技术的高速发展，视频成为获取信息的重要来源，视频作为承载信息内容最丰富的一种媒介形式，相对于其他的媒介而言，视频传递的信息内容更为生动、直观和有效，因此，用户更加青睐于在视频中获取信息内容。为了解决这个问题，需要从电影视频中挖掘能充分反映电影主题的信息，并生动形象展示给用户。但是，电影视频数据单元关系不明确，视频数据内容提取困难，存在语义鸿沟等问题，加大了挖掘电影有用信息的难度，使得用户了解电影内容、筛选电影的效率以及用户体验度大大降低。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于内容的电影可视化处理方法及其系统，通过视频语义分割和情节概括，多角度、集中地呈现电影内容和整体结构，提高用户筛选电影的效率和使用体验感。为了解决上述问题，本专利技术提出了一种基于内容的电影可视化处理方法，所述方法包括：提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面。优选地，所述提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息的步骤，包括：根据用户在电影库检索的视频结果获取电影基本帧序列信息；对所述电影基本帧序列信息提取对应的视频结构化信息，所述视频结构化信息包括帧率信息、关键帧信息、主题信息、人物信息以及各个信息对应的时间线信息；根据用户在电影库检索的电影结果分离出电影的音频信息，对所述音频信息进行静音与噪音的过滤，对剩余音频信息进行分类处理，将音频信息分为：纯语音信息，背景音乐信息，其他环境信息；对于纯语音音频信息，根据时间线和视频中的人物信息识别其对应的说话人；对纯语音信息做文字转化处理，获取处理后的语音文本信息；将所述视频结构化信息和语音文本信息组成音视频结构化内容信息。优选地，所述根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节的步骤，包括：根据所述语音文本信息进行去停词、提取主干处理，得到视频的词汇表，并根据所述词汇表以及词频构建视频特征向量；对所述视频结构化信息进行预划分处理，获得若干个长度相当的文本块，根据所述视频特征向量计算相邻文本块间的相似度；根据所述相邻文本块间的相似度比较相邻文本块的相似度差异，计算每个文本块代表该文本块可能成为语义边界的深度分数，搜索深度分数峰值，确定语义边界时间戳；根据边界时间戳将电影分割成语义独立的片段，每个片段对应电影一个情节。优选地，所述概括语义主题，归纳电影情节信息的步骤，包括：计算各个情节每个关键词的权值，提取各个情节关键词获取关键词信息；根据所述关键词的权值计算各个情节每个句子权值，提取各个情节关键句，获取关键词信息；根据所述各个情节关键句概括情节语义主题，归纳电影情节，获取情节主题信息。优选地，所述根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面的步骤，包括：构建电影可视化框架；将所述电影的视频、电影语义边界，归纳的电影情节信息，以及对应的关键帧信息、关键词信息填入所述电影可视化框架；将已填入内容的电影可视化框架进行显示，生成可视化界面。相应地，本专利技术还提供一种基于内容的电影可视化处理系统，所述系统包括：信息提取模块，用于提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；情节归纳模块，用于根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；界面生成模块，用于根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面。优选地，所述提取模块包括：帧序列信息获取单元，用于根据用户在电影库检索的视频结果获取电影基本帧序列信息；结构化信息提取单元，用于对所述电影基本帧序列信息提取对应的视频结构化信息，所述视频结构化信息包括帧率信息、关键帧信息、主题信息、人物信息以及各个信息对应的时间线信息；音频信息处理单元，用于根据用户在电影库检索的电影结果分离出电影的音频信息，对所述音频信息进行静音与噪音的过滤，对剩余音频信息进行分类处理，将音频信息分为：纯语音信息，背景音乐信息，其他环境信息；对于纯语音音频信息，根据时间线和视频中的人物信息识别其对应的说话人；对纯语音信息做文字转化处理，获取处理后的语音文本信息；生成单元，用于将所述视频结构化信息和语音文本信息组成音视频结构化内容信息。优选地，所述情节归纳模块包括：视频特征向量构建单元，用于根据所述语音文本信息进行去停词、提取主干处理，得到视频的词汇表，并根据所述词汇表以及词频构建视频特征向量；相似度计算单元，用于对所述视频结构化信息进行预划分处理，获得若干个长度相当的文本块，根据所述视频特征向量计算相邻文本块间的相似度；根据所述相邻文本块间的相似度比较相邻文本块的相似度差异，计算每个文本块代表该文本块可能成为语义边界的深度分数，搜索深度分数峰值，确定语义边界时间戳；情节分割单元，用于根据边界时间戳将电影分割成语义独立的片段，每个片段对应电影一个情节。优选地，所述情节归纳模块还包括：权值计算单元，用于计算各个情节每个关键词的权值，提取各个情节关键词获取关键词信息；关键词获取单元，用于根据所述关键词的权值计算各个情节每个句子权值，提取各个情节关键句，获取关键词信息；归纳单元，用于根据所述各个情节关键句概括情节语义主题，归纳电影情节，获取情节主题信息。优选地，所述界面生成模块包括：构建单元，用于构建电影可视化框架；填入单元，用于将所述电影的视频、电影语义边界，归纳的电影情节信息，以及对应的关键帧信息、关键词信息填入所述电影可视化框架；显示单元，用于将已填入内容的电影可视化框架进行显示，生成可视化界面。在本专利技术实施例中，通过视频语义分割和情节概括，多角度、集中地呈现电影内容和整体结构，用户交互友好，有效帮助用户快速抓住电影重要情节，理解电影风格、主题，提高用户筛选电影的效率和使用体验感。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附本文档来自技高网...

【技术保护点】
一种基于内容的电影可视化处理方法，其特征在于，所述方法包括：提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面。

【技术特征摘要】
1.一种基于内容的电影可视化处理方法，其特征在于，所述方法包括：提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息；根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节，并概括语义主题，归纳电影情节信息；根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面。2.如权利要求1所述的基于内容的电影可视化处理方法，其特征在于，所述提取电影的音视频信息，对所述音视频信息进行结构化处理，获取对应的音视频结构化内容信息的步骤，包括：根据用户在电影库检索的视频结果获取电影基本帧序列信息；对所述电影基本帧序列信息提取对应的视频结构化信息，所述视频结构化信息包括帧率信息、关键帧信息、主题信息、人物信息以及各个信息对应的时间线信息；根据用户在电影库检索的电影结果分离出电影的音频信息，对所述音频信息进行静音与噪音的过滤，对剩余音频信息进行分类处理，将音频信息分为：纯语音信息，背景音乐信息，其他环境信息；对于纯语音音频信息，根据时间线和视频中的人物信息识别其对应的说话人；对纯语音信息做文字转化处理，获取处理后的语音文本信息；将所述视频结构化信息和语音文本信息组成音视频结构化内容信息。3.如权利要求2所述的基于内容的电影可视化处理方法，其特征在于，所述根据所述电影音视频结构化内容信息检测电影语义边界，将电影分割为内容独立的情节的步骤，包括：根据所述语音文本信息进行去停词、提取主干处理，得到视频的词汇表，并根据所述词汇表以及词频构建视频特征向量；对所述视频结构化信息进行预划分处理，获得若干个长度相当的文本块，根据所述视频特征向量计算相邻文本块间的相似度；根据所述相邻文本块间的相似度比较相邻文本块的相似度差异，计算每个文本块代表该文本块可能成为语义边界的深度分数，搜索深度分数峰值，确定语义边界时间戳；根据边界时间戳将电影分割成语义独立的片段，每个片段对应电影一个情节。4.如权利要求3所述的基于内容的电影可视化处理方法，其特征在于，所述概括语义主题，归纳电影情节信息的步骤，包括：计算各个情节每个关键词的权值，提取各个情节关键词获取关键词信息；根据所述关键词的权值计算各个情节每个句子权值，提取各个情节关键句，获取关键词信息；根据所述各个情节关键句概括情节语义主题，归纳电影情节，获取情节主题信息。5.如权利要求2所述的基于内容的电影可视化处理方法，其特征在于，所述根据所述电影语义边界、归纳的电影情节信息，以及对应的音视频信息构建可视化框架，生成可视化界面的步骤，包括：构建电影可视化框架；将所述电影的视频、电影语义边界，归纳的电影情节信息，以及对应的关键帧信息、关键词信息填入所述电影可视化框架；将已填入内容的电影可视化框架进行显示，生成可视化界面。6.一种基于内...

【专利技术属性】
技术研发人员：戚鑫，林淑金，赵宝全，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44