本申请提供的视频中的对象情绪识别方法、装置、电子设备及存储介质，所述方法包括：从视频中获取目标对象的至少一帧面部图像，将面部图像输入预先训练好的情绪特征提取模型，从而得到与面部图像对应的包含多维情绪特征值的情绪向量，根据至少一帧面部图像对应的情绪向量确定目标对象情绪的情绪。本方案对目标对象的面部图像从多个维度进行特征提取，从而得到多维的情绪向量，采用多维的情绪向量确定出的情绪可以更细致的表示目标对象的情绪，使得解读出的情绪更加准确和细致。读出的情绪更加准确和细致。读出的情绪更加准确和细致。
【技术实现步骤摘要】
视频中的对象情绪识别方法、装置、电子设备及存储介质
[0001]本申请涉及情绪识别领域，具体涉及一种视频中的对象情绪识别方法、装置、电子设备及存储介质。
技术介绍
[0002]影视作品通常通过镜头语言讲故事，人物情绪是故事重要的叙事内容。通过对视频中的人物情绪进行识别，可以对人物的情绪表达能力进行分析，进而有助于了解人物的表演技术。
[0003]目前在识别人物情绪时，通常是利用人脸识别技术识别视频图像中人物的表情，基于表情确定人物的情绪，此种方式只能对“笑”、“哭”、“高兴”、“生气”、“难过”等几种简单的情绪进行识别，并不足以充分表现人物的情感特征，细致性低。
技术实现思路
[0004]为了解决现有技术中人物情绪识别细致性低的技术问题，本申请提供了一种视频中的对象情绪识别方法、装置、电子设备及存储介质。
[0005]第一方面，本申请提供了一种视频中的对象情绪识别方法，包括：
[0006]从视频中获取目标对象的至少一帧面部图像；
[0007]将所述面部图像输入预先训练好的情绪特征提取模型，以使所述情绪特征提取模型提取所述面部图像多个维度的情绪特征值；
[0008]根据所述面部图像多个维度的情绪特征值，生成所述面部图像的情绪向量；
[0009]根据至少一帧所述面部图像的情绪向量确定所述目标对象的情绪。
[0010]作为一种可能的实现方式，所述根据至少一帧所述面部图像的情绪向量确定所述目标对象的情绪，包括：
[0011]从至少一帧所述面部图像的情绪向量中确定目标情绪向量；
[0012]将所述目标情绪向量输入预设的情绪解读模型，得到与所述目标情绪向量对应的用于表示所述目标对象情绪的情绪解读信息，所述情绪解读模型中包括多个情绪向量对应的多个情绪解读信息。
[0013]作为一种可能的实现方式，所述从至少一帧所述面部图像的情绪向量中确定目标情绪向量，包括：
[0014]若从所述视频中获取到了目标对象的一帧面部图像，则确定该面部图像的情绪向量为目标情绪向量；
[0015]若从所述视频中获取到了目标对象的多帧面部图像，则按照多帧所述面部图像的播放时刻由先到后的顺序，生成关于情绪向量的时间序列，所述时间序列中包括多帧所述面部图像的情绪向量；
[0016]将所述时间序列对应的时间区间划分为多个候选时间区间；
[0017]针对每个所述候选时间区间，确定所述候选时间区间包含的各情绪向量的密度；
[0018]从多个所述候选时间区间中，选取包含的各情绪向量的密度符合预设要求的候选时间区间作为目标时间区间；
[0019]确定所述目标时间区间内密度最高的情绪向量为目标情绪向量。
[0020]作为一种可能的实现方式，所述确定所述候选时间区间包含的各情绪向量的密度，包括：
[0021]计算所述候选时间区间包含的各情绪向量之间的编辑距离；
[0022]针对所述候选时间区间内的每一情绪向量，将所述候选时间区间内与所述情绪向量之间的编辑距离小于预设距离阈值的其它情绪向量，作为所述情绪向量的相似向量；
[0023]针对所述候选时间区间内的每一情绪向量，根据所述情绪向量以及所述情绪向量的相似向量，确定所述情绪向量的密度。
[0024]作为一种可能的实现方式，所述根据所述情绪向量以及所述情绪向量的相似向量，确定所述情绪向量的密度，包括：
[0025]对所述情绪向量在所述候选时间区间内出现的频次以及所述相似向量在所述候选时间区间内出现的频次进行加权求和，得到和值；
[0026]利用所述和值除以所述候选时间区间的时间跨度，得到所述情绪向量的密度。
[0027]作为一种可能的实现方式，所述从多个所述候选时间区间中，选取包含的各情绪向量的密度符合预设要求的候选时间区间作为目标时间区间，包括：
[0028]针对每个所述候选时间区间，按照预设的密度等级划分规则确定所述候选时间区间包含的各情绪向量的密度所属的密度等级；
[0029]针对每个情绪向量，将所述情绪向量的密度与该密度所属密度等级对应的密度阈值进行比较；
[0030]若所述候选时间区间包含的各情绪向量的密度均大于对应的密度阈值，则确定所述候选时间区间符合预设要求，并将所述候选时间区间作为目标时间区间。
[0031]作为一种可能的实现方式，所述情绪特征提取模型包括多个图像回归模型，所述图像回归模型以面部图像为输入，以情绪特征值为输出，不同的图像回归模型输出的情绪特征值的维度不同。
[0032]作为一种可能的实现方式，所述根据所述面部图像多个维度的情绪特征值，生成所述面部图像的情绪向量，包括：
[0033]对所述面部图像多个维度的情绪特征值分别进行离散化；
[0034]将离散化后的多个维度的所述情绪特征值组成所述面部图像的情绪向量。
[0035]第二方面，本申请实施例还提供了一种视频中的对象情绪识别装置，包括：
[0036]获取模块，用于从视频中获取目标对象的至少一帧面部图像；
[0037]特征提取模块，用于将所述面部图像输入预先训练好的情绪特征提取模型，以使所述情绪特征值提取模型提取所述面部图像多个维度的情绪特征值；
[0038]向量生成模块，用于根据多个维度的所述情绪特征值生成所述面部图像的情绪向量；
[0039]情绪确定模块，用于根据至少一帧所述面部图像的情绪向量确定所述目标对象的情绪。
[0040]第三方面，本专利技术实施例还提供一种计算机设备，包括：处理器和存储器，所述处
理器用于执行所述存储器中存储的视频中的对象情绪识别方法程序，以实现第一方面所述的视频中的对象情绪识别方法。
[0041]第四方面，本专利技术实施例还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面所述的视频中的对象情绪识别方法。
[0042]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
[0043]本申请实施例提供的一种视频中的对象情绪识别方法，从视频中获取目标对象的至少一帧面部图像，将面部图像输入预先训练好的情绪特征提取模型，从而得到与面部图像对应的包含多维情绪特征值的情绪向量，根据至少一帧面部图像对应的情绪向量确定目标对象情绪的情绪。本方案对目标对象的面部图像从多个维度进行特征提取，从而得到多维的情绪向量，采用多维的情绪向量确定出的情绪可以更细致的表示目标对象的情绪，使得解读出的情绪更加准确和细致。
[0044]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0045]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0046]图1是根据一示例性实施例示出的一种视频中的对象情绪识别方法的流程图；
[0047]图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频中的对象情绪识别方法，其特征在于，包括：从视频中获取目标对象的至少一帧面部图像；将所述面部图像输入预先训练好的情绪特征提取模型，以使所述情绪特征提取模型提取所述面部图像多个维度的情绪特征值；根据所述面部图像多个维度的情绪特征值，生成所述面部图像的情绪向量；根据至少一帧所述面部图像的情绪向量确定所述目标对象的情绪。2.根据权利要求1所述的方法，其特征在于，所述根据至少一帧所述面部图像的情绪向量确定所述目标对象的情绪，包括：从至少一帧所述面部图像的情绪向量中确定目标情绪向量；将所述目标情绪向量输入预设的情绪解读模型，得到与所述目标情绪向量对应的用于表示所述目标对象情绪的情绪解读信息，所述情绪解读模型中包括多个情绪向量对应的多个情绪解读信息。3.根据权利要求2所述的方法，其特征在于，所述从至少一帧所述面部图像的情绪向量中确定目标情绪向量，包括：若从所述视频中获取到了目标对象的一帧面部图像，则确定该面部图像的情绪向量为目标情绪向量；若从所述视频中获取到了目标对象的多帧面部图像，则按照多帧所述面部图像的播放时刻由先到后的顺序，生成关于情绪向量的时间序列，所述时间序列中包括多帧所述面部图像的情绪向量；将所述时间序列对应的时间区间划分为多个候选时间区间；针对每个所述候选时间区间，确定所述候选时间区间包含的各情绪向量的密度；从多个所述候选时间区间中，选取包含的各情绪向量的密度符合预设要求的候选时间区间作为目标时间区间；确定所述目标时间区间内密度最高的情绪向量为目标情绪向量。4.根据权利要求3所述的方法，其特征在于，所述确定所述候选时间区间包含的各情绪向量的密度，包括：计算所述候选时间区间包含的各情绪向量之间的编辑距离；针对所述候选时间区间内的每一情绪向量，将所述候选时间区间内与所述情绪向量之间的编辑距离小于预设距离阈值的其它情绪向量，作为所述情绪向量的相似向量；针对所述候选时间区间内的每一情绪向量，根据所述情绪向量以及所述情绪向量的相似向量，确定所述情绪向量的密度。5.根据权利要求4所述的方法，其特征在于，所述根据所述情绪向量以及所述情绪向量的相似向量，确定所述情绪向量的密度，包括：对所述情绪向量在所述候选时间区间内出现的频次以及所述相似向...
【专利技术属性】
技术研发人员：金超逸，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。