一种基于隐喻地图的视频情感分析与可视化方法与系统技术方案

本发明专利技术公开一种基于隐喻地图的视频情感分析与可视化方法与系统。本发明专利技术包括：基于Ekman情感表示模型的视频情感采集工具以及情感建模，可以同时采集到较为准确的情绪类别和情绪数值两种类型的情感数据；利用隐喻地图表达视频中的情感和关系信息，在表达层次、关系信息时具有优势，同时地图的形状、色彩的搭配使其具有一定的美感；通过地图，用户可以快速直观地了解到视频的情绪变化趋势、各情感种类的占比以及视频各事件和情绪之间的关系。本发明专利技术可用于视频内容探索、查询、理解的交互式可视化分析，允许用户根据情感信息对视频进行快速地浏览，并能够直观地展现将要到来的情绪转折点或高潮，同时支持对视频中人物情绪和关系的探索。

A method and system of video emotion analysis and visualization based on metaphor map

【技术实现步骤摘要】
一种基于隐喻地图的视频情感分析与可视化方法与系统
本专利技术属于可视化领域，具体涉及一种基于隐喻地图的视频情感分析与可视化方法与系统。
技术介绍
视频中包含多种类型的信息，情感信息是其中一个非常重要的方面。情感信息的重要性主要体现在以下几个方面：首先，视频中隐含的情感的起伏波动推动着视频的进展同时也影响着观众的情绪，以影视作品为例，影片所包含的情感越丰富就越能给观众留下深刻的印象。其次，由于情感的变化一定程度上对应着情节的起伏和视频中的精彩部分，视频进展到故事的高潮部分时，观众的情感往往是比较激烈的。借助于这一点，视频中的情感信息可以帮助观众快速地找到视频中的精彩部分，把握视频的大致内容，有需要地对视频内容进行挑选观看。另一方面，用户在选择视频进行观看时，可能想要不仅基于视频类型、演员、导演和故事内容进行视频的选择，更想根据视频中所传达出的主要情绪来选择观看。本专利技术借助于隐喻地图对视频情感内容进行分析，隐喻地图是对不具有空间排布信息的类似于地图的可视化表达形式，在人为构造的虚拟空间中，按照信息的语义、层次等多种关系映射到该空间中，从而获得美观、直接、形象的仿地图可视化形式。之所以被称为隐喻地图，是因为地图所表现出的空间特征与传统意义上现实地图不同，而是隐藏了一种语义信息的联系。隐喻地图能够涵盖更多的信息，在表达关系信息方面具有优势，同时地图的形状、色彩的搭配使其具有一定的美感。因此，隐喻地图在本专利技术中被作为视频可视化和分析的主要形式，特别是针对于情感内容和视频中潜在关系的分析。
技术实现思路
本专利技术的目的在于提出一种基于隐喻地图的视频情感分析与可视化方法与系统，在二维空间中，构建视频情感数据和地图元素的映射关系，最终形成一个可供用户探索、查询、理解视频情感内容的情感分析及可视化系统，不仅可以简单快速地了解视频的整体情感(分布及强度)，同时也可以在系统中详细地探索视频情感与情节。本专利技术采用的技术方案如下：一种基于隐喻地图的视频情感分析与可视化方法，其步骤包括：采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。进一步地，所述采集观众观看视频时的情感数据，是利用基于Ekman情感理论的情感采集工具采集观众观看视频时的情绪类别和情绪数值两种类型的数据，并通过投票和回归两种方式建立情感模型，得到按时间序列排布的情感数据。进一步地，所述构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图，包括：将按时间序列排布的情感数据，通过所归属的属性进行重新排序，生成类似树结构的情感数据，并利用Gosper曲线的特性将其放置在隐喻地图上，将相同情感类别的数据聚类展示，地图块的大小表征对应视频片段的持续时间。进一步地，所述通过所归属的属性进行重新排序，生成类似树结构的情感数据，是将整个视频的情感数据划分为层次结构：将整个视频划分为多个事件；每个事件中包括至少一个情感种类，每个情感种类对应一个情感节点；每个情感节点中包含若干个叶子节点，每个叶子节点对应于视频中的一秒，具有相同父节点的叶子节点之间按照时间的顺序排列。进一步地，所述隐喻地图中的颜色映射采用CIELab表色系，其由三个通道组成，第一个通道是明度即L，a通道的颜色是从红色到深绿，b通道则是从蓝色到黄色；将唤醒度映射到明度，效价映射到b通道，以直观地同时表现出唤醒度和效价的情况。进一步地，所述利用隐喻地图对视频的情感进行分析，是将隐喻地图、人物情感视图、视频播放视图、情感折线图与自然的草图交互方式，进行多视图视频情感交互式分析，实现多视图联合分析和表达。进一步地，所述人物情感视图用颜色表达情感，横轴对应时间，纵轴表示表情识别算法的识别输出概率，颜色对应于不同的情感种类，将鼠标滑至情感圆点时，显示当前人物的面部表情，并且其他不同种类的情感圆点被隐藏，以便用户更好地观察；所述草图交互方式播放对应视频、展示出不同人物所参与的共同事件、两个事件中共同参与的人物、人物的情感变化。一种基于隐喻地图的视频情感分析与可视化系统，其包括：情感数据采集模块，负责采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；隐喻地图生成模块，负责构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；情感分析模块，负责利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。和现有技术相比，本专利技术具有的优点和积极效果如下：1.本专利技术提供了高效的观众主观情感采集工具，通过情感采集工具，可以同时采集到较为准确的情绪种类以及唤醒度、效价数值等两种类型的情感数据，这些数据不仅可用于分析电影等视频的情节内容，同时也可以结合观众面部表情的采集作为表情识别的数据集。2.本专利技术创新性地利用隐喻地图表达电影等视频中的情感和关系信息，相比传统的线性表达形式，隐喻地图能够涵盖更多的信息，在表达层次、关系信息时具有优势，同时地图的形状、色彩的搭配使其具有一定的美感。通过地图，用户可以快速直观地了解到整部电影的情绪变化趋势、各情感种类的占比以及电影各事件和情绪之间的关系。3.本专利技术提出了一个可用于电影等视频内容(包括但不限于情感)探索、查询、理解的交互式可视化分析系统，该系统允许用户根据情感信息对视频进行快速地浏览，并能够直观地展现将要到来的情绪转折点或高潮，同时支持对视频中人物情绪和关系的探索。附图说明图1.情感表示模型图示；图2.情感采集工具图示；图3.层次化情感数据的构建过程图示；图4.用于生成地图的Gosper曲线图示；图5.唤醒度、效价与颜色之间的映射关系图示；图6.交互式视频情感分析系统图示；图7.人物情感视图图示；图8.《泰坦尼克号》人物社交网络图示；图9.不同类型的地图图示；图10.草图操作图示。具体实施方式为了使本
的人员更好的理解本专利技术，以下结合附图进一步详细描述本专利技术所提供的基于隐喻地图的视频情感分析与可视化方法与系统，但不构成对本专利技术的限制。本专利技术主要包括以下内容(其中以电影为例进行说明，本专利技术也可以适用于其他视频类型)：1.基于Ekman情感表示模型的视频情感采集工具以及情感建模。情感不同于其他的客观数据，很难准确地进行确定和衡量。现实生活中我们通常用快乐、悲伤、生气、无聊等词语来代表情感的类别，用很、非常去表示情感的强度。在心理学中，对于情感的表示可以以离散的方式(情感类型)表示，也可以使用基于不同情感表示模型的连续的方式表示，这两种都是比较常见的情感表示方法。在情感数据采集过程中，采集了离散和连续这两个方面的数据，其中离散数据即类似于日常生活中所使用的描述情感的词语，连续数据则在一个情感二维空间中进行表示，该种表示方本文档来自技高网...

【技术保护点】
1.一种基于隐喻地图的视频情感分析与可视化方法，其步骤包括：/n采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；/n构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；/n利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。/n

【技术特征摘要】
1.一种基于隐喻地图的视频情感分析与可视化方法，其步骤包括：
采集观众观看视频时的情感数据，包括情绪类别和情绪数值两种类型的数据；
构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图；
利用隐喻地图对视频的情感进行分析，辅助用户对视频内容进行探索、理解及查询。


2.如权利要求1所述的方法，其特征在于，所述采集观众观看视频时的情感数据，是利用基于Ekman情感理论的情感采集工具采集观众观看视频时的情绪类别和情绪数值两种类型的数据，并通过投票和回归两种方式建立情感模型，得到按时间序列排布的情感数据。


3.如权利要求2所述的方法，其特征在于，采用以下公式，通过投票选择的机制计算视频中每一秒的情感类别：






其中，F和P分别表示每位被试的熟悉程度和喜爱程度，C代表被试选择的情感类型，Cne代表某一秒第n名用户选择了情感类型e；(F/P)n代表第n名用户的投票比重；Ei代表每一秒中每种情感的投票得分，Ts代表了最终投票得出的该秒的代表情感。


4.如权利要求1所述的方法，其特征在于，所述构建情感数据和地图元素之间的映射关系，根据映射关系生成隐喻地图，包括：将按时间序列排布的情感数据，通过所归属的属性进行重新排序，生成类似树结构的情感数据，并利用Gosper曲线的特性将其放置在隐喻地图上，将相同情感类别的数据聚类展示，地图块的大小表征对应视频片段的持续时间。


5.如权利要求4所述的方法，其特征在于，所述通过所归属的属性进行重新排序，生成类似树结构的情感数据，是将整个视频的情感数据划分为层次结构：将整个视频划分为多个事件；每个事件中包括至少一个情感种类，每个情感种类对应一个情感节点；每个情感节点中包含...

【专利技术属性】
技术研发人员：马翠霞，朱倩，宋建成，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京;11