情绪识别方法、计算机可读存储介质和计算机设备技术

本申请适用于图像技术领域，提供了一种情绪识别方法、计算机可读存储介质和计算机设备，包括：获取预设时间内在车辆内拍摄的视频信息和录取的音频信息；通过拍摄的视频信息提取司机和乘客的人脸图像；将人脸图像和音频信息输入到深度算法模型，输出司机和/或乘客是否出现过激情绪的判断结果；所述深度算法模型是将多个预先在车辆内拍摄的视频信息和录取的音频信息作为原始数据进行训练得到司机和/或乘客是否出现过激情绪的情绪识别模型。结合图像和声音信息进行实时情绪判断，不需要人力监督。监督。监督。

【技术实现步骤摘要】
情绪识别方法、计算机可读存储介质和计算机设备


[0001]本申请属于图像
，尤其涉及一种情绪识别方法、计算机可读存储介质和计算机设备。

技术介绍

[0002]随着网约车的普及，司机和乘客的矛盾也成为关注问题，订单中经常出现司机与乘客之间发生争吵、打斗等情况，严重威胁司机与乘客的生命安全。大部分网约车内都安装有监控设备，只具备拍摄功能，但只靠视频图像难以判断司机和/或乘客的情绪状况，司机与乘客之间的关系难以判断，不能及时排查出危险。

技术实现思路

[0003]本专利技术的目的在于提供一种情绪识别方法、计算机可读存储介质及计算机设备，旨在解决只靠视频图像难以判断司机和/或乘客的情绪状况的问题。
[0004]第一方面，本申请提供了一种情绪识别方法，包括：
[0005]获取预设时间内在车辆内拍摄的视频信息和录取的音频信息；
[0006]通过拍摄的视频信息提取司机和乘客的人脸图像；
[0007]将人脸图像和音频信息输入到深度算法模型，输出司机和/或乘客是否出现过激情绪的判断结果；所述深度算法模型是将多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，包括：获取预设时间内在车辆内拍摄的视频信息和录取的音频信息；通过拍摄的视频信息提取司机和乘客的人脸图像；将人脸图像和音频信息输入到深度算法模型，输出司机和/或乘客是否出现过激情绪的判断结果；所述深度算法模型是将多个预先在车辆内拍摄的视频信息和录取的音频信息作为原始数据进行训练得到司机和/或乘客是否出现过激情绪的情绪识别模型。2.如权利要求1所述的情绪识别方法，其特征在于，所述将人脸图像和音频信息输入到深度算法模型，输出司机和/或乘客是否出现过激情绪的判断结果具体包括：利用神经卷积网络模型对视频信息内的多张人脸图像进行特征提取，得到多张提取后的特征图；将多张特征图进行融合，得到融合后的特征图；将融合后的特征图利用全连接转化为一维向量；利用声学特征提取算法对音频信息进行特征提取，得到音频向量；利用多层一维卷积对音频向量进行特征提取，由插值法缩放到与融合后的特征图相同向量维度后相加融合，得到音视频融合向量；通过多层感知机对音视频融合向量进行特征处理和分类判断，输出司机和/或乘客是否出现过激情绪的判断结果。3.如权利要求2所述的情绪识别方法，其特征在于，所述神经卷积网络模型为resnet模型。4.如权利要求2所述的情绪识别方法，...

【专利技术属性】
技术研发人员：范文洋，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：