一种运行于树莓派的情绪感知方法技术

本发明专利技术公开了一种运行于树莓派的情绪感知方法，本发明专利技术以树莓派为嵌入式以及深度学习开发平台，能够采集用户的情绪状态并给出相应的数据分析。模型采用优化后的ResNet18‑SVM、A‑CRNN分类网络，针对于用户的情绪分析问题，我们以七种基本情绪为指标分别从图像和语音进行预测并给出相应的检测结果和数据分析，系统取得了理想效果。发明专利技术提出的情绪感知系统，降低了情绪检测的成本，并能够统计出一段时间内用户的情绪数据，可以在一定程度上解决公共心理健康资源稀缺等问题。

A method of emotion perception based on raspberry pie

【技术实现步骤摘要】
一种运行于树莓派的情绪感知方法
本专利技术涉及人工智能领域，涉及一种运行于树莓派的情绪感知方法。
技术介绍
于2018年发布的中国城镇居民心理健康白皮书显示，中国城镇居民有73.6％为心理亚健康，16.1％存在不同程度的心理问题，心理健康仅占10.3％。可见随着我国经济的发展，人们的物质需求已经日益满足，但是在这样日新月异、飞速发展的社会中，心理健康逐渐成为我国重要公共卫生问题。在深度学习算法的飞速发展的过程中,科学家们试图赋予计算机理解人类表情的能力,以实现更好的人工智能。深度学习在人脸识别，自然图像分类，物体检测中已经取得了不错的成绩。在情绪识别方面，不论是从图像识别还是从语音识别，深度学习都提供了全新的实现思路。国内外都有许多机构致力于情绪识别的研究，也都取得了不错的理论突破。但是这些研究大多都停留在理论上的算法研究，很少与实际相结合，并且多数研究只是对图像信息或语音信息单独进行识别或者分析并没有综合考虑二者的共同作用，使得最终结果的泛化能力不强。纵观国内表情识别市场，许多的表情识别产品或者相关心理疏导服务价格高昂，并且其本文档来自技高网...

【技术保护点】
1.一种运行于树莓派的情绪感知方法，其特征在于，该方法具体包括以下步骤：/n步骤1、数据预处理：；在图像输入方面，对摄像头捕捉的环境进行人脸检测并裁剪出人脸,再对裁剪后的人脸图片归一化，以实现后续的特征提取；在语音输入方面，对麦克风收集到的声音信息先做静音检测，经滤波器滤波加窗，以滤除环境中不必要的杂音；；/n对提取到的表情数据转化成灰度图，进一步采取灰度图归一化，使其像素的灰度值分布在0至255之间，避免图像对比度不足，还能加快网络的训练速度；由于在情绪识别中，最关键的问题是根据人脸的表情来提取特征，所以使用灰度归一化将原来的三维数据降到二维，进而能大大提升网络的训练速度；/n步骤2、数据增...

【技术特征摘要】
1.一种运行于树莓派的情绪感知方法，其特征在于，该方法具体包括以下步骤：
步骤1、数据预处理：；在图像输入方面，对摄像头捕捉的环境进行人脸检测并裁剪出人脸,再对裁剪后的人脸图片归一化，以实现后续的特征提取；在语音输入方面，对麦克风收集到的声音信息先做静音检测，经滤波器滤波加窗，以滤除环境中不必要的杂音；；
对提取到的表情数据转化成灰度图，进一步采取灰度图归一化，使其像素的灰度值分布在0至255之间，避免图像对比度不足，还能加快网络的训练速度；由于在情绪识别中，最关键的问题是根据人脸的表情来提取特征，所以使用灰度归一化将原来的三维数据降到二维，进而能大大提升网络的训练速度；
步骤2、数据增强：
对步骤1处理后图像进行仿射变换；
步骤3、对步骤1中提取到的环境人声，进行预加重、分频和加窗，进一步提取梅尔声谱图及其一阶、二阶差分图，组成三通道的图像数据送入神经网络中进行下一步的特征提取；
步骤4、网络模型优化：去掉18层的残差网络ResNet18最后的分类层并用支持向量机进行替代；在语音处理方面，在CRNN的基础上加入注意力机制，对提取到的声谱图进行进一步的特征提取；
步骤5、模型训练：在图像处理的神经网络中，先使用14种复合情绪进行训练，后使用迁移学习对7种基本的情绪进行微调；前者能够加强模型的鲁棒性与泛化能力，后者使用七种基本情绪微调使之能与适应语音模型的输出结果来支持进一步的分析；通过试验得到最佳的超参数，最后经过训练得到分类性能最佳的图像和语音模型；

【专利技术属性】
技术研发人员：黄崇君，金子皓，孙玲玲，吕岱霖，阮智祥，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33