一种多数据融合的情感识别方法及系统技术方案

本发明专利技术公开了一种多数据融合的情感识别方法及系统，涉及情绪识别领域；其方法包括步骤1：采集环境参数并预处理；步骤2：基于环境参数进行分析，并根据其分析结果选择采集单元；步骤3：根据采集单元对应的参数进行采集并发送至处理单元；步骤4：处理单元对采集结果依次进行特征提取、分类与识别和权重分配后得到情绪识别结果；其系统包括环境参数采集单元、采集单元、处理单元；本发明专利技术解决了现有的情绪识别装置未考虑环境因素、伪装因素导致识别结果可靠性差的问题，提高了情绪识别的速度和精度。

【技术实现步骤摘要】
一种多数据融合的情感识别方法及系统
本专利技术涉及情感识别领域，尤其是一种多数据融合的情感识别方法及系统。
技术介绍
情感是人类交流中自然和社会化的一部分，那么人类在与计算机交流时就会自然而然的用到情感。情绪感知是通过获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建具有感知、识别和理解人类情感的能力，并针对用户的情感做出智能、灵敏、友好反应的个人计算系统，缩短人机之间的距离。情感识别是情感计算的重要组成部分，情感识别是通过观察人的表情、行为、生理信号特征来判断情感状态，对于实现自然和谐的人机交互的系统有着极大的推进作用。情感本身是一种非常复杂的心理和生理现象，各种情感的变化不仅表现在面部表情和言语信息，还体现在各种生理特征上；目前现有的人类情绪识别是语音、图像以及生理特征信息两两结合进行识别，将三者结合起来进行识别需要高度集成，从而提高精度，但在多数据处理的情况下，识别速度有所下降；另一方面，现有的语音和图像识别仅是采集后进行去噪等处理，没有考虑环境因素以及表情或者语言伪装因素导致处理效果差，例如光线灰暗、图像模糊、环境噪声大、伪装表情延时情绪等情况，最终导致识别结果精度差的问题；所以需要一种结合三者，并合理选择判断手段的方法来提高情绪识别的可靠性和准确性。
技术实现思路
本专利技术的目的在于：本专利技术提供了一种多数据融合的情感识别方法及系统，解决了现有的情绪识别装置未考虑环境因素、伪装因素导致识别结果可靠性差的问题。本专利技术采用的技术方案如下：一种多数据融合的情感识别方法，包括如下步骤：步骤1：采集环境参数并预处理；步骤2：根据预处理后的环境参数进行分析选择采集模式，并根据其采集对应的信息参数；步骤3：对采集的信息参数依次进行预处理、特征提取、分类与识别和权重分配后完成情绪识别。优选地，所述步骤1包括如下步骤：步骤1.1：利用噪声传感器检测环境噪声，利用光照传感器检测环境光线强度，将检测结果通过滤波电路进行预处理；步骤1.2：将预处理后的模拟信号进行A/D转换后送至处理单元。优选地，所述步骤2包括如下步骤：步骤2.1：基于步骤1.2处理单元判断是否处于光线灰暗且噪声大环境，若是，则进入语音脉搏图像模式后跳至步骤2.2；若否，则判断是否处于光线暗环境，若是，则进入语音脉搏模式后跳至步骤2.3；若否，则判断是否处于噪声大环境，若是，则进入图像脉搏模式后跳至步骤2.4，若否，则跳至步骤1.1。步骤2.2：启动摄像头采集目标图像、启动麦克风采集语音信号和启动智能手环采集脉搏信号后发送至处理单元；步骤2.3：启动摄像头采集目标图像和启动麦克风采集语音信号后发送至处理单元；步骤2.4：启动摄像头采集目标图像和启动智能手环采集脉搏信号后发送至处理单元。优选地，所述步骤3包括如下步骤：步骤3.1：基于采集的图像进行基础预处理和灰度预处理后采用Gabor小波变换进行表情特征提取，并将其进行降维处理后发送至情绪识别模型；步骤3.2：基于采集的语音信号依次进行采样量化、标准化、分帧和预加重后对语音段进行加窗分帧处理，利用自相关法或倒谱法或线性预测法提取语音的短时能量、基音频率、共振峰等韵律特征、音质特征和谱特征，并将特征结果发送至情绪识别模型；步骤3.3：基于采集的脉搏信号利用小波包变换方法进行预处理，并利用时域、频域分析法以及小波变换法提取时域特征、频域特征和小波特征后发送至情绪识别模型；步骤3.4：基于人工神经网络将训练集进行训练得到训练模型后，利用训练模型得到语音识别、图像识别和脉搏识别对应的训练结果后组合形成情绪识别模型，利用情绪识别模型将步骤3.1-3.3的特征数据进行分类和识别得到平静或者高兴或者悲伤或者愤怒或者害怕情绪结果。一种多数据融合的情感识别系统，包括环境参数采集单元，用于采集环境的光线强度和噪声强度并发送至处理单元；采集单元，用于采集脉搏信号、语音信号和图像信息并发送至处理单元；处理单元，用于对环境参数进行判断选择不同模式进行数据采集，且对采集的图像数据、语音信号以及脉搏信号依次进行预处理、分类和识别，得到情绪识别结果。优选地，所述环境参数采集单元包括光照传感器和噪声传感器，所述光照传感器和噪声传感器均与处理单元连接。优选地，所述采集单元包括语音采集单元，用于提供智能手环检测脉搏信号并发送至处理单元；脉搏采集单元，用于利用摄像头采集图像信息并发送至处理单元；图像采集单元，用于利用麦克风采集语音信号并发送至处理单元。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1.本专利技术通过检测环境参数后选择最佳的采集模式，加快识别速度的同时提高识别结果的可靠性；解决了现有的情绪识别装置未考虑环境因素、伪装因素导致识别结果可靠性差的问题，根据环境参数选择最佳采集方式，避免现有的采集方式多样但处理难度大，导致最终识别结果可靠性低的缺点，达到了提高情绪识别的速度和精度的效果；2.本专利技术在光线灰暗情况下选择采集语音和脉搏信号进行识别分析，避免现有采集图像和语音信号未考虑光线因素下着重提高后续处理精度，忽略影响因素最大的噪声来源导致处理器件较多，处理速度慢的缺点；提高了识别速度和识别结果的可靠性；3.本专利技术在噪声大的环境下避免采集语音信号后需要繁杂处理，简便采集脉搏信号与图像信号进行分析，处理分析速度快，提高识别速度和识别可靠性。附图说明本专利技术将通过例子并参照附图的方式说明，其中：图1是本专利技术的方法流程图；图2是本专利技术的系统框图；图3是本专利技术的语音情绪识别流程图；图4是本专利技术的图像情绪识别流程图；图5是本专利技术的脉搏信号情绪识别流程图；图6是本专利技术的BP网络结构示意图；图7是本专利技术的BP网络实现分类识别的算法流程图。具体实施方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。下面结合图1-7对本专利技术作详细说明。实施例1一种多数据融合的情感识别方法，包括如下步骤：步骤1：采集环境参数并预处理；步骤2：根据预处理后的环境参数进行分析选择采集模式，并根据其采集对应的信息参数；步骤3：对采集的信息参数依次进行预处理、特征提取、分类与识别和权重分配后完成情绪识别。一种多数据融合的情感识别系统，包括环境参数采集单元，用于采集环境的光线强度和噪声强度并发送至处理单元；采集单元，用于采集脉搏信号、语音信号和图像信息并发送至处理单元；处理单元，用于对环境参数进行判断选择不同模式进行数据采集，且对采集的图像数据、语音信号以及脉搏信号依次进行预处理、分类和识别，得到情绪识别结果。环境参数采集单元包括光照传感器和噪声传感器，光照传感器和噪声传感器均与处理单元连接；采集单元包括语音采集单元，用于提供智能手环检测脉搏信号并发送至处理单元；脉搏采集单元，用于利用摄像头采集图像信息并发送至处理单元；图像采集单元，用于利用麦克风采集语音信号并发送至处理单元。实施例2步骤1.1：利用噪声传感器检测环境噪声，利用光照传感器检测环境光线强度，将检测结果通过滤波电路进行预处理；步骤1.2：将预处理后的模拟信号进行A/D转换后送至处理单元。步骤2.1：基于步骤1.2处理单元判断是否处于光线灰暗且噪声大环境，若是，则进入语音脉搏图像模式后跳至步骤2.2；若否，则判断是否处于光线暗环本文档来自技高网...

【技术保护点】
1.一种多数据融合的情感识别方法，其特征在于：包括如下步骤：步骤1：采集环境参数并预处理；步骤2：根据预处理后的环境参数进行分析选择采集模式，并根据其采集对应的信息参数；步骤3：对采集的信息参数依次进行预处理、特征提取、分类与识别和权重分配后完成情绪识别。

【技术特征摘要】
1.一种多数据融合的情感识别方法，其特征在于：包括如下步骤：步骤1：采集环境参数并预处理；步骤2：根据预处理后的环境参数进行分析选择采集模式，并根据其采集对应的信息参数；步骤3：对采集的信息参数依次进行预处理、特征提取、分类与识别和权重分配后完成情绪识别。2.根据权利要求1所述的一种多数据融合的情感识别方法，其特征在于：所述步骤1包括如下步骤：步骤1.1：利用噪声传感器检测环境噪声，利用光照传感器检测环境光线强度，将检测结果通过滤波电路进行预处理；步骤1.2：将预处理后的模拟信号进行A/D转换后送至处理单元。3.根据权利要求1所述的一种多数据融合的情感识别方法，其特征在于：所述步骤2包括如下步骤：步骤2.1：基于步骤1.2处理单元判断是否处于光线灰暗且噪声大环境，若是，则进入语音脉搏图像模式后跳至步骤2.2；若否，则判断是否处于光线暗环境，若是，则进入语音脉搏模式后跳至步骤2.3；若否，则判断是否处于噪声大环境，若是，则进入图像脉搏模式后跳至步骤2.4，若否，则跳至步骤1.1。步骤2.2：启动摄像头采集目标图像、启动麦克风采集语音信号和启动智能手环采集脉搏信号后发送至处理单元；步骤2.3：启动摄像头采集目标图像和启动麦克风采集语音信号后发送至处理单元；步骤2.4：启动摄像头采集目标图像和启动智能手环采集脉搏信号后发送至处理单元。4.根据权利要求1所述的一种多数据融合的情感识别方法，其特征在于：所述步骤3包括如下步骤：步骤3.1：基于采集的图像进行基础预处理和灰度预处理后采用Gabor小波变换进行表情特征提取，并将其进行降维处理后发送至情绪识别模型；...

【专利技术属性】
技术研发人员：徐枫，陈建武，肖谋，
申请(专利权)人：北京易智能科技有限公司，
类型：发明
国别省市：北京,11