基于多通道数据的情感分析方法和系统技术方案

本发明专利技术提供一种基于多通道数据的情感分析方法和系统，涉及情感分析技术领域。该方法包括：获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；将语音数据、红外脉搏数据和皮肤电阻数据分别转换为对应的频谱图；将人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；将各个特征数组合并，得到一个总特征数组，并将总特征数组输入情感分析模型中，得到待分析者的各类型情感所占的比例。本发明专利技术能够提高情感分析的准确性。

Emotional Analysis Method and System Based on Multichannel Data

The invention provides an emotional analysis method and system based on multi-channel data, which relates to the field of emotional analysis technology. The method includes: acquiring facial expression pictures, voice data, infrared pulse data and skin resistance data in the process of viewing preset video; converting voice data, infrared pulse data and skin resistance data into corresponding spectrograms; converting face expression pictures, corresponding spectrograms of voice data, corresponding spectrograms of infrared pulse data and skin resistance data respectively; and converting face expression pictures, corresponding spectrograms of infrared pulse data to corresponding spectrograms and skin resistance. The spectrum diagrams corresponding to the data are input into the presupposed convolutional neural network model to get their respective feature arrays, in which each feature array includes the first presupposed number of feature data; each feature array is combined to get a total feature array, and the total feature array is input into the emotional analysis model to get the proportion of the various types of emotions of the analyst to be analyzed. \u3002 The invention can improve the accuracy of emotional analysis.

【技术实现步骤摘要】
基于多通道数据的情感分析方法和系统
本专利技术涉及情感分析
，具体涉及一种基于多通道数据的情感分析方法、系统、计算机设备、计算机可读存储介质和计算机程序。
技术介绍
在现有技术中，情感分析的方式有基于面部表情建立情感计算系统的方式，也有基于脉搏信号建立情感计算系统的方式，不论哪种方式，采用的数据都比较单一，使得情感分析的准确性较差。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种基于多通道数据的情感分析方法、系统、计算机设备、计算机可读存储介质和计算机程序，能够提高情感分析的准确性。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：第一方面，本专利技术提供一种基于多通道数据的情感分析方法，该方法包括：获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中本文档来自技高网...

【技术保护点】
1.一种基于多通道数据的情感分析方法，其特征在于，包括：获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；将各个特征数组合并，得到一个总特征数组，并将所述总特征数组输入情感分析模型中，得到所述待分析者的各类型情感所占的比例；其中，所述情感分析模型包括预先训练的情感分析函数、预设...

【技术特征摘要】
1.一种基于多通道数据的情感分析方法，其特征在于，包括：获取待分析者在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；将所述语音数据、所述红外脉搏数据和所述皮肤电阻数据分别转换为对应的频谱图；将所述人脸表情图片、所述语音数据对应的频谱图、所述红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；其中，每一个特征数组中包括第一预设数量的特征数据；将各个特征数组合并，得到一个总特征数组，并将所述总特征数组输入情感分析模型中，得到所述待分析者的各类型情感所占的比例；其中，所述情感分析模型包括预先训练的情感分析函数、预设的第一全连接层和预设的激活函数；所述情感分析函数用于根据将所述总特征数组输出第一情感数据，所述第一全连接层用于将所述第一情感数据转换为第二预设数量的第二情感数据，所述第二预设数量为情感类型的数量；所述激活函数用于根据所述第二预设数量的第二情感数据，确定所述待分析者的各类型情感所占的比例。2.如权利要求1所述的情感分析方法，其特征在于，所述情感分析函数的训练过程包括：分别对多个训练对象观看所述预设视频过程中所产生情感的类型进行标记；分别获取所述多个训练对象在观看预设视频过程中的人脸表情图片、语音数据、红外脉搏数据和皮肤电阻数据；将每一个训练对象的语音数据、红外脉搏数据和皮肤电阻数据分别转化为对应的频谱图；将每一个训练对象的人脸表情图片、语音数据对应的频谱图、红外脉搏数据对应的频谱图和所述皮肤电阻数据对应的频谱图分别输入预设的卷积神经网络模型中，得到各自对应的特征数组；将每一个训练对象对应的各个特征数据合并，得到该训练对象的总特征数组；将所述多个训练对象各自的总特征数组和对所述多个训练对象各自标记的情感类型进行情感分析函数训练，得到情感分析函数。3.如权利要求1所述的情感分析方法，其特征在于，所述卷积神经网络模型的结构包括依次连接的五个卷积单元以及与第五个卷积单元的输出端连接的第二全连接层；其中：每一个卷积单元包括一个卷积层和连接该卷积层输出端的下采样层；所述第二全连接层用于将第五个卷积单元的输出数据的数量转化为第一预设数量。4.根据权利要求3所述的情感分析方法，其特征在于，所述五个卷积单元中第一个卷积单元中的卷积层包括96个11*11的卷积核，所述第一个卷积单元中的下采样层的采样核为3*3，采样步长为2；和/或所述五个卷积单元中第二个卷积单元中的卷积层包括128个5*5的卷积核，所述第二个卷积单元中的下采样层的采样核为3*3，采样步长为1；和/或所述五个卷积单元中第三个卷积单元中的卷积层包括192个3...

【专利技术属性】
技术研发人员：孙晓，洪涛，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽,34