一种基于类脑模型的多模态情感识别方法技术

本发明专利技术提供了一种基于类脑模型的多模态情感识别方法。该方法包括：定义区分度指标衡量各模态特征的组间差异程度，提取初选数据特征；利用主成分分析方法进行特征降维，得到各模态下数据特征向量

A multimodal emotion recognition method based on quasi brain model

The present invention provides a multimodal emotion recognition method based on a brain like model. The method includes defining the division index, measuring the degree of difference between the different modal features, extracting the primary data features, and using principal component analysis to reduce the feature dimension, and obtaining the data feature vectors in each mode

【技术实现步骤摘要】
一种基于类脑模型的多模态情感识别方法
：本专利技术涉及情感分类和模式识别领域，尤其涉及一种基于类脑模型的多模态情感识别方法。
技术介绍
：多模态情感识别利用表情、语音、眼动及生理信号等多种模态数据的互补性提高分类器的识别性能，近年来成为了国内外的研究热点。其中，多模态数据融合成为多模态情感识别中具有挑战性的关键问题。目前多模态情感识别的融合方法主要包括基于特征的融合、基于决策的融合与基于模型的融合。由于多模态数据特征在时间尺度和度量上不尽相同，使得如何实现基于特征的融合成为困难。基于决策的融合方法不能揭示不同模态特征之间的相关信息，从而在一定程度上影响多模态情感识别的分类效果。基于模型的融合方法在一定程度上结合了前两种融合方法的优势，成为解决多模态情感识别问题的更优选择。然而，多模态融合模型如何建立目前尚未有效解决。类脑模型旨在模拟大脑多感觉通道的多层次信息整合过程，基于大脑的模块化结构以建立类脑模型并实现对大脑多模态信息的整合功能，能够有效地应用于多模态信息融合中，成为多模态情感认知的关键技术方法。
技术实现思路
1、本专利技术需要且能够解决的技术问题。本专利技术提出了一种基于类脑模型的多模态情感数据的分类方法，通过构建能够模拟大脑模块化及整合性的类脑模型，对多模态情感数据特征进行分类，旨在提高多模态数据的分类精度及速度，实现高效的多模态情感识别。2、本专利技术具体的技术方案：本专利技术提供了一种基于类脑模型的多模态情感识别的分类方法。该算法包括：步骤A：对多模态情感数据，定义区分度指标DP用来衡量每种模态下每一个特征的组间差异程度，提取出区分度指标高的数据特征，再利用主成分分析方法进行特征降维，最终得到多模态数据特征向量其中k＝1,2,…,N，Fk为第k个模态数据的特征向量，f1k为第k个模态数据的第1个特征，为第k个模态数据的第2个特征，以此类推，为第k个模态数据的第Nk个特征，N为特征模态数，Nk为第k个模态下特征的个数；步骤B：根据大脑结构模块化及层级性的特性，设计一种具有子模块结构的类脑模块化神经网络；根据分类类别数设定M个模块，根据特征模态数设定每个模块中含有N个子模块，每个子模块对相应模态的特征数据进行学习；对每个模块中子模块内部及之间、以及模块之间进行结构连接设计以模拟大脑的模块化及整合性；每个模块的输出为一个神经元Rm，m＝1,2,…,M，定义活跃度指标用来衡量每个模块内部所有神经元的活跃水平，采用“赢者全拿”策略判断对该样本的识别类别；步骤C：将所有连接权值初始值设为0；使用属于每个模块对应类别的训练样本对其内部的连接权值矩阵及进行训练，其中k,l＝1,2,…,N，m＝1,2,…,M，连接权值的更新遵循Hebbian规则，使连接权值得到增强；对模块之间的双向连接权值矩阵其中k＝1,2,…,N，m,n＝1,2,…,M，根据训练样本所属类别基于Hebbian规则分别进行增加或衰减的更新；该步骤只完成一次；步骤D：设定类脑模型连接权值的更新准则，目标在于增加样本所属类别的竞争力；将所有样本依次输入模型；当模型对某样本能够进行可靠分类时，连接权值不更新；当模型并不能实现对某样本的可靠分类时，则对权值矩阵及依次进行更新，权值反复更新直至实现该样本的可靠分类，则对该样本的训练结束，将下一个训练样本输入模型；当模型对所有样本均完成一次训练后，则完成一次迭代；该过程包括多次迭代，直至模型对所有训练样本均能实现可靠分类，迭代结束；迭代更新完成后的连接权值用于测试数据，对分类效果进行评价。所述步骤B包括：步骤B1：设计一种具有子模块结构的类脑模块化神经网络，模块个数M与分类个数相同，每个模块中的子模块个数N与特征模态数相同；步骤B2：设计类脑模块化神经网络的连接结构；每个子模块内部的神经元相互连接，(k＝1,2,…,N；m＝1,2,…,M)表示第m个模块中第k个子模块内部神经元的连接矩阵；每个模块内的子模块之间设计连接结构，(k,l＝1,2,…,N；m＝1,2,…,M)表示第m个模块中第k个子模块内部的神经元与第l个子模块内部的神经元之间的连接矩阵；在每个模块对应的子模块之间设计连接结构，(k＝1,2,…,N；m,n＝1,2,…,M)表示第m个模块与第n个模块中对应的第k个子模块之间的连接矩阵；步骤B3：第m个模块的输出为一个神经元Rm(m＝1,2,…,M)，用来衡量该模块下所有神经元的活跃程度。首先定义每个神经元的活跃度如下：其中，表示第m个模块中第k个子模块内部神经元i对第p个样本的活跃程度，fik(p)为第p个样本的第k个模态下的第i个特征，为第p个样本的第k个模态下的第j个特征，为第p个样本的第l个模态下的第j个特征，为第m个模块中第k个子模块内部神经元j与神经元i的连接权值，为第m个模块中第l个子模块内部神经元j与第k个子模块内部神经元i之间的连接权值，为第h个模块中第k个子模块内部神经元j与第m个模块中对应的第k个子模块内部神经元i之间的连接权值，Nk为第k个模态数据中特征的个数，Nl为第l个模态数据中特征的个数；将每个模块下的所有神经元的活跃度求和即得到每个模块活跃度，则第m个模块的输出神经元Rm定义如下：采用“赢者全拿”策略判断对该样本的识别类别，即判定输出最大的模块所对应的类别为识别类别。所述步骤C包括：步骤C1：将每个模块中子模块内部神经元连接权值矩阵(k＝1,2,…,N；m＝1,2,…,M)、子模块之间的连接权值矩阵(k,l＝1,2,…,N；m＝1,2,…,M)以及不同模块中对应子模块之间的连接权值矩阵(k＝1,2,…,N；m,n＝1,2,…,M)初始值设为0；步骤C2：对每个模块中子模块内部的连接权值矩阵(k＝1,2,…,N；m＝1,2,…,M)，使用属于对应类别的样本进行训练；对于属于第r类的第p个训练样本，第r个模块中第k个子模块内部神经元i和神经元j之间的连接权值更新规则如下：其中，i,j＝1,2,…,Nk，t表示时刻，Nk为第k个模态下的特征个数；步骤C3：对每个模块中子模块之间的连接权值矩阵(k,l＝1,2,…,N；m＝1,2,…,M)，使用属于对应类别的样本进行训练；对于属于第r类的第p个训练样本，第r个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值更新规则如下：其中，i＝1,2,…,Nl，j＝1,2,…,Nk，Nl和Nk分别为第l个模态及第k个模态下的特征个数；步骤C4：对不同模块中对应子模块之间的连接权值矩阵(k＝1,2,…,N；m,n＝1,2,…,M)，使用属于对应类别的样本进行训练；设定模块对{r,s}，其中s＝1,2,…,M但是s≠r。对于属于第r类的第p个训练样本，从模块s中第k个子模块内部神经元i连向模块r中第k个子模块内部神经元j的连接权值更新规则如下：其中，i,j＝1,2,…,Nk，Nk为第k个模态下的特征个数；相反地，从模块r中第k个子模块内部神经元j连向模块s中第k个子模块内部神经元i的连接权值更新规则如下：ΔUj,i(k)＝ΔUi,j(k)(11)步骤C5：重复步骤C2-C4，直至完成对所有样本的一次训练。所述步骤D包括：步骤D1：将第p个训练样本输入类脑模型(初次执行该步骤时p＝1)，使用当前连接矩阵按照公式(2)、(3)计本文档来自技高网...

【技术保护点】
一种基于类脑模型的多模态情感识别方法，其特征在于，包括：步骤A：对多模态情感数据，定义区分度指标DP用来衡量每种模态下每一个特征的组间差异程度，提取出区分度指标高的数据特征，再利用主成分分析方法进行特征降维，最终得到多模态数据特征向量

【技术特征摘要】
1.一种基于类脑模型的多模态情感识别方法，其特征在于，包括：步骤A：对多模态情感数据，定义区分度指标DP用来衡量每种模态下每一个特征的组间差异程度，提取出区分度指标高的数据特征，再利用主成分分析方法进行特征降维，最终得到多模态数据特征向量其中k＝1,2,…,N，Fk为第k个模态数据的特征向量，f1k为第k个模态数据的第1个特征，为第k个模态数据的第2个特征，以此类推，为第k个模态数据的第Nk个特征，N为特征模态数，Nk为第k个模态数据中特征的个数；步骤B：根据大脑结构模块化及整合性的特性，设计一种具有子模块结构的类脑模块化神经网络；根据分类类别数设定M个模块，根据特征模态数设定每个模块中含有N个子模块，每个子模块对相应模态的特征数据进行学习；对每个模块中子模块内部及之间、以及模块之间进行结构连接设计以模拟大脑的模块化及整合性；每个模块的输出为一个神经元Rm，m＝1,2,…,M，定义活跃度指标用来衡量每个模块内部所有神经元的活跃水平，采用“赢者全拿”策略判断对该样本的识别类别；步骤C：将所有连接权值初始值设为0；使用属于每个模块对应类别的训练样本对其内部的连接权值矩阵及进行训练，其中k,l＝1,2,…,N，m＝1,2,…,M，连接权值的更新遵循Hebbian规则，使连接权值得到增强；对模块之间的双向连接权值矩阵其中k＝1,2,…,N，m,n＝1,2,…,M，根据训练样本所属类别基于Hebbian规则分别进行增加或衰减更新；该步骤只完成一次，至此完成所有连接权值的初步更新；步骤D：设定类脑模型连接权值的更新准则，目标在于增加样本所属类别的竞争力；将所有样本依次输入模型；当模型对某样本能够进行可靠分类时，连接权值不更新；当模型并不能实现对某样本的可靠分类时，则对权值矩阵及依次进行更新，权值反复更新直至实现该样本的可靠分类，则对该样本的训练结束，将下一个训练样本输入模型；当模型对所有样本均完成一次训练后，则完成一次迭代；该过程包括多次迭代，直至模型对所有训练样本均能实现可靠分类，迭代结束，至此完成所有连接权值的次级更新；步骤E：迭代更新完成后的连接权值用于测试数据，对分类效果进行评价。2.根据权利要求1所述的基于类脑模型的多模态情感识别方法，其特征在于，所述步骤B包括：步骤B1：设计一种具有子模块结构的类脑模块化神经网络，模块个数M与分类类别数相同，每个模块中的子模块个数N与特征模态数相同；步骤B2：设计类脑模块化神经网络的连接结构；每个子模块内部的神经元相互连接，(表示第m个模块中第k个子模块内部神经元的连接权值矩阵，其中k＝1,2,…,N；m＝1,2,…,M；每个模块内的子模块之间设计连接结构，表示第m个模块中第k个子模块内部的神经元与第l个子模块内部的神经元之间的连接权值矩阵，其中k,l＝1,2,…,N；m＝1,2,…,M；在每个模块对应的子模块之间设计连接结构，表示第m个模块与第n个模块中对应的第k个子模块之间的连接权值矩阵，其中k＝1,2,…,N；m,n＝1,2,…,M；步骤B3：第m个模块的输出为一个神经元Rm，m＝1,2,…,M，用来衡量该模块下所有神经元的活跃程度；首先定义每个神经元的活跃度如下：其中，表示第m个模块中第k个子模块内部神经元i对第p个样本的活跃程度，fik(p)为第p个样本的第k个模态下的第i个特征，为第p个样本的第k个模态下的第j个特征，为第p个样本的第l个模态下的第j个特征，为第m个模块中第k个子模块内部神经元j与神经元i的连接权值，为第m个模块中第l个子模块内部神经元j与第k个子模块内部神经元i之间的连接权值，为第h个模块中第k个子模块内部神经元j与第m个模块中对应的第k个子模块内部神经元i之间的连接权值，Nk为第k个模态数据中特征的个数，Nl为第l个模态数据中特征的个数；将每个模块下的所有神经元的活跃度求和即得到每个模块活跃度，则第m个模块的输出神经元Rm定义如下：采用“赢者全拿”策略判断对该样本的识别类别，即判定输出最大的模块所对应的类别为识别类别。3.根据权利要求1所述的基于类脑模型的多模态情感识别方法，其特征在于，所述步骤C包括：步骤C1：将每个模块中子模块内部神经元连接权值矩阵子模块之间的连接权值矩阵以及不同模块中对应子模块之间的连接权值矩阵初始值设为0，其中k,l＝1,2,…,N，m,n＝1,2,…,M；步骤C2：对每个模块中子模块内部的连接权值矩阵使用属于对应类别的样本进...

【专利技术属性】
技术研发人员：李文静，乔俊飞，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11