一种基于音视频的受训人员情绪评估系统技术方案

本发明专利技术涉及了一种基于音视频的受训人员情绪评估系统，该系统主要由本地数据训练中心和受训人员情绪监测中心组成，所述本地数据训练中心包括在模拟训练过程中采集受训人员的数据、对受训人员的情绪识别模型训练以及封装所述的情绪识别模型；所述受训人员情绪监测中心包括受训人员登录认证、受训人员情绪识别和受训人员情绪数据管理，本发明专利技术能够识别受训人员的情绪状态，对潜在的危险操作行为做出预警，帮助受训人员缓解异常情绪，降低异常情绪对训练带来的不良影响。对训练带来的不良影响。对训练带来的不良影响。

【技术实现步骤摘要】
一种基于音视频的受训人员情绪评估系统


[0001]本专利技术属于人工智能
，特别是涉及一种基于音视频的受训人员情绪评估系统。

技术介绍

[0002]情绪是人体相对复杂的生理反应，在军事训练中承担着较为重要的角色。积极的情绪可以提高训练效率，诸如愤怒、厌恶、害怕、悲伤、惊讶等消极情绪可能会影响训练人员的注意力，进而影响训练效果。语音作为人类沟通交流最有效的表达方式，在表达不同情绪的语音时，其语调、语速、基音频率都有很明显的区别。人的面部包含着丰富的特征信息，通过面部视频信息，较容易判断人员情绪状况。传统情绪识别方法基于手动特征提取和浅层学习，系统缺乏海量数据的训练，泛化能力不能满足实际的军事训练。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足之处，提供一种基于音视频的受训人员情绪评估系统，从而基于语音和人脸识别检测人员模拟训练的情绪状态。
[0004]本专利技术解决上述技术问题，通过采取以下技术方案实现：
[0005]一种基于音视频的受训人员情绪评估系统。该系统主要由本地数据训练中心和受训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音视频的受训人员情绪评估系统，其特征在于，包括：本地数据训练中心和受训人员情绪监测中心，所述本地数据训练中心包括在模拟训练过程中采集受训人员的数据的采集模块、对受训人员的情绪识别模型训练的训练模块以及封装所述的情绪识别模型的封装模块，所述采集模、训练模块及封装模块依次连接；所述受训人员情绪监测中心包括受训人员登录认证的登录模块、受训人员情绪识别的识别模块以及数据管理模块，所述登录模块、识别模块分别与所述数据管理模块通信连接。2.根据权利要求1所述基于音视频的受训人员情绪评估系统，其特征在于：所述的情绪监测中心其通过数据管理模块中的智能分析数据平台进行情绪识别，所述智能分析数据平台用于实时监控受训人员表情变化，当情绪模块内的预警平台监测到受训人员的识别值超出阈值时，预警平台会进行危险行为预警。3.权利要求1所述基于音视频的受训人员情绪评估系统，所述智能分析平台用于生成结果，所述结果包括其根据受训人员的在不同时段的情绪，结合当时的模拟训练路况、突发情况等生成报告，所述的报告会导入受训人员信息管理中心，为受训人员提供全方位的训练数据。4.权利要求1所述基于音视频的受训人员情绪评估系统，其特征在于，所述采集模块包括视频预处理模块，用于检测视频流中的一个或多个人脸图像，并且裁剪无关数据；将预处理后的图像传送至训练模块，将处理后的图像转化为二维矩阵送入到卷积神经网络进行特征提取，利用训练好的卷积神经网络对提取出的特征通过softmax激活函数进行分类，从而判别人员当前的情绪状态。5.权利要求1所述基于音视频的受训人员情绪评估系统，其特征在于，所述采集模块还包括音频预处理模块，其用于将语音数据进行预加重，端点检测，去除静音部分，把处理后的语音转化为声谱图，利用滚动窗口对其进行拆分。语音信号转化为图像信号送入CNN进行特征提取。将CNN的输出送入LSTM网络中以获取上下文的相关信息，通过全连接层预测语音中检测到的情绪。6.权利要求1所述基于音视频的受训人员情绪评估系统，其特征...

【专利技术属性】
技术研发人员：李传明，王增照，乔立波，焦庆玲，张丽，王为，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：