【技术实现步骤摘要】
情绪识别方法及装置、存储介质、终端
[0001]本专利技术涉及计算机视觉
，尤其涉及一种情绪识别的方法及装置、存储介质、终端。
技术介绍
[0002]在情绪识别任务上，视觉信息必不可少，情绪识别有助于在智能监控、心理咨询等多个场景中更有效地提高工作人员的效率和精准度。现有技术中，通常是对单张图像中人物的情绪进行识别，缺乏能够准确高效地识别视频中人物等对象的情绪的方法。
[0003]因此，亟需一种情绪识别方法，能够准确高效地识别出视频中人物等对象的情绪。
技术实现思路
[0004]本专利技术解决的技术问题是提供一种情绪识别方法，能够准确高效地识别出视频中人物等对象的情绪。
[0005]为解决上述技术问题，本专利技术实施例提供一种情绪识别方法，所述方法包括：获取待处理视频，所述待处理视频包括至少一个对象的影像；确定所述待处理视频中每个对象的连续图像子序列，其中，每个对象的连续图像子序列包括连续的多帧图像且每帧图像包含该对象的影像；对于每个对象的连续图像子序列，根据其中每帧图像中对象区域的像素...
【技术保护点】
【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取待处理视频，所述待处理视频包括至少一个对象的影像；确定所述待处理视频中每个对象的连续图像子序列，其中，每个对象的连续图像子序列包括连续的多帧图像且每帧图像包含该对象的影像；对于每个对象的连续图像子序列，根据其中每帧图像中对象区域的像素值，构建该对象的对象像素信息矩阵，所述对象区域为包含所述对象的区域；将每个对象的对象像素信息矩阵输入至第一特征提取模型，以得到该对象的第一特征信息，其中，所述第一特征提取模型是采用第一训练数据对第一预设模型进行训练得到的，所述第一训练数据包括：样本视频中样本对象的对象像素信息矩阵和预先标注的样本对象的情绪类别；至少根据每个对象的第一特征信息，确定该对象在所述待处理视频中的情绪类别。2.根据权利要求1所述的情绪识别方法，其特征在于，所述第一预设模型为Swin Transformer模型。3.根据权利要求1所述的情绪识别方法，其特征在于，确定所述待处理视频中每个对象的连续图像子序列包括：如果所述待处理视频中任意一个对象的连续图像子序列有多个，则选取包含图像数量最多的连续图像子序列。4.根据权利要求1所述的情绪识别方法，其特征在于，对于每个对象的连续图像子序列，根据其中每帧图像中对象区域的像素值，构建该对象的对象像素信息矩阵包括：对于每个对象的连续图像子序列，根据其中每帧图像中对象区域的像素值，确定该对象的第一像素信息矩阵，其中，所述第一像素信息矩阵为二维矩阵，所述第一像素信息矩阵中至少一部分行向量或列向量与所述连续图像子序列中的图像一一对应，所述至少一部分行向量或列向量的元素是根据与其对应的图像中所述对象区域的像素值得到的；对每个对象的第一像素信息矩阵进行复制，以得到该对象的对象像素信息矩阵，其中，所述对象像素信息矩阵为三维矩阵，所述对象像素信息矩阵包括多个第一像素信息矩阵。5.根据权利要求4所述的情绪识别方法，其特征在于，对于每个对象的连续图像子序列，根据其中每帧图像中对象区域的像素值，确定该对象的第一像素信息矩阵包括：对于每个对象的连续图像子序列，根据其中每帧图像中对象区域的像素值，确定该对象的多个第一初始像素矩阵，其中，所述第一初始像素矩阵和所述连续图像子序列中每帧图像一一对应，所述第一初始像素矩阵为多维矩阵；对每个对象的多个第一初始像素矩阵进行拉伸，以得到该对象的多个第一中间像素矩阵，其中，所述第一中间像素矩阵为一维矩阵；按照每个对象的连续图像子序列中多帧图像的顺序，将该对象的多个第一中间像素矩阵进行组合，以得到该对象的第一像素信息矩阵。6.根据权利要求1所述的情绪识别方法，其特征在于，至少根据每个对象的第一特征信息，确定该对象在所述待处理视频中的情绪类别之前，所述方法还包括：至少根据每个对象的连续图像子序列中每帧图像的像素值，构建该对象的场景内容信息矩阵；将每个对象的场景内容信息矩阵输入至第二特征提取模型，以得到该对象的第二特征
信息，其中，所述第二特征提取模型是采用第二训练数据对第二预设模型训练得到的，...
【专利技术属性】
技术研发人员：王晓梅，
申请(专利权)人：华院计算技术上海股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。