一种多模态情感交互数据库的建立方法技术

本发明专利技术公开了一种多模态情感交互数据库的建立方法。一、建立多模态情感交互数据库模型：I.情感类型的选择；II.情感交互概率分布的约束；III.情感概率模型的构造。二、构建多模态情感交互数据库：I.建立视频情感数据库，步骤1、选择视频素材，步骤2、截取情感视频，步骤3、标注情感类型，步骤4、制定命名规则；II、建立音频情感数据库。根据视频情感交互数据库的建立方法建立音频情感交互数据库：先是把视频数据转换成音频数据、然后进行情感标注、制定命名规则、保存数据文件和进行情感交互的分析，除去原始语音文件中的噪声，最后建成音频情感交互数据库。三、分析视频情感数据库和音频情感数据库，建立多模态情感交互数据库。

Method for establishing multimodal emotion interactive database

The invention discloses a method for establishing a multimodal emotion interactive database. First, establish a multimodal affective interaction database model: the choice of I. emotion type, the restriction of II. affective interaction probability distribution, and the construction of III. affective probability model. Two, construction of multimodal emotion interactive database: I. video affective database, step 1, select the video material, step 2, interception of emotional video, step 3, step 4, emotion annotation types, making the naming rules of II, the establishment of audio emotion database. The audio database is established based on the method of establishing emotion interactive video emotional interaction database: first put the video data into the audio data, and then analyze the affective annotation, formulate naming rules, save the data file and emotional interaction, remove the noise of original speech file, the final completion of the audio database of emotional interaction. Three, analyze the video emotion database and the audio emotion database, and establish the multimodal emotion interaction database.

【技术实现步骤摘要】
一种多模态情感交互数据库的建立方法
本专利技术属于多模态交互技术和情感计算领域，具体涉及一种多模态情感交互数据库的建立方法。
技术介绍
情感计算是关于、产生于或故意影响情感方面的计算(AffectiveComputingistheComputingthatRelatesto,Arisesfrom,orDeliberatelyInfluencesE-motions)。情感计算的主轴包含了感情及情感这两个维度，但以宏观的角度来说，二者相差不大，在本文也交错使用这两个名词。心理学辞典将情感定义为：指由某种刺激(外在的刺激或内在的心理状态)所引起的、个体自觉的心理失衡状态。失衡的心理状态涵盖极为复杂的情感性反应，例如喜、怒、哀、惧、爱、恶、欲七情之说，即指出情感的复杂性。在情感状态下，个体除会有主观感受之外，在身体上亦随之会有生理变化(如愤怒或恐惧时会心跳加速)。而情感计算，即是建构在感测这种现象发生的时候所产生的信息之上，而由于情感的外显是通过非语言的身体语言(包括脸部表情、声音语调、姿态、生理现象)来表达的。因此它刚好可以弥补自然语言的不足，作为人或计算机沟通的一个新的媒介方式。从情感的本文档来自技高网...

【技术保护点】
一种多模态情感交互数据库的建立方法，其特征在于：其包括以下步骤：一、建立多模态情感交互数据库模型I.情感类型的选择II.情感交互概率分布的约束III.情感概率模型的构造认为对话中人物甲有m种情感，与之对话的乙有n种情感，构成的情感模型就具有n×m个情感状态。令L＝n×m，于是得到等式(1)的L维的概率矩阵：

【技术特征摘要】
1.一种多模态情感交互数据库的建立方法，其特征在于：其包括以下步骤：一、建立多模态情感交互数据库模型I.情感类型的选择II.情感交互概率分布的约束III.情感概率模型的构造认为对话中人物甲有m种情感，与之对话的乙有n种情感，构成的情感模型就具有n×m个情感状态。令L＝n×m，于是得到等式(1)的L维的概率矩阵：其中，Pij为第i个情感与第j个情感的交互概率，并且满足关系：i∈[1,2,3,4,5,6,7]，j∈[1,2,3,4,5,6,7]，以公式形式来表达情感交互的概率，设t为情感发生的时间点，E为情感状态，δ为情感交互过程的概率函数，建立情感交互的概率公式：其中，Pi公式如等式(2)，Pi∣j公式如等式(3)：二、构建多模态情感交互数据库I.建立视频情感数据库步骤1、选择视频素材；步骤2、截取情感视频；步骤3、标注情感类型，步骤4、制定命名规则；II、建立音频情感数据库根据视频情感交互数据库的建立方法建立音频情感交互数据库：先是把视频数据转换成音频数据、然后进行情感标注、制定命名规则、保存数据文件和进行情感交互的分析，除去原始语音文件中的噪声，最后建成音频情感交互数据库；三、分析视频情感数据库和音频情感数据库，建立多模态情感交互数据库。2.如权利要求1所述的多模态情感交互数据库的建立方法，其特征在于：设置七种情感类型：生气、害怕、惊奇、厌恶、高兴、伤心、平静。3.如权利要求2所述的多模态情感交互数据库的建立方法，其特征在于：在分析视频情感数据库和音频情感数据库时，包括以下步骤：I.根据七种情感类型分析说话者之间的情感交互的特点；II.分析一个人的情感是怎样随另一个人的情感变化而变化的。4.如权利要求1所述的多模态情感交互数据库的建立方法，其特征在于：情感交互概率分布的约束步骤如下：(1)某一时刻人物甲的某一情感状态，在下一时刻仍然处于本状态的概率是最大的，其他情感状态的概率相对较小；(2)对话的双方在情感交互的过程中，情感的状态受多方面因素影响...

【专利技术属性】
技术研发人员：王坤侠，朱宗宝，王世东，严辉，
申请(专利权)人：安徽建筑大学，
类型：发明
国别省市：安徽,34