一种基于视频的情感识别方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于视频的情感识别方法及装置。该方法包括：确定待识别视频的初始特征数据；将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。本发明专利技术实施例通过在情感识别模型中加入物体关系识别模型，解决了视频情感识别效果不佳的问题，为视频情感识别提供了更全面的识别框架。

【技术实现步骤摘要】
一种基于视频的情感识别方法及装置
本专利技术实施例涉及情感识别
，尤其涉及一种基于视频的情感识别方法及装置。
技术介绍
随着移动设备和互联网的快速发展，视频内容理解成为了日益增长的需求。许多研究者针对视频动作识别、检测等任务进行了大量的研究。然而，视频内情感的表达是视频理解中重要的环节，直观来说，则是将视频根据内容分为不同的情感类别，如开心、吃惊或悲伤等。视频的情感识别在实际生产中有很多应用，例如，广告推荐系统可以通过匹配广告与视频中的情感来避免推荐不恰当的广告。早期针对情感识别的研究集中在文本情感识别和图像情感识别，研究者通过文本、颜色、纹理、形状等底层特征帮助情感识别。之后，研究者针对视频情感的研究大多集中在电影领域，类似的底层特征在电影视频的情感分析中也起到了很大的作用。近年来，神经网络在越来越多的计算机视觉领域取得了较好的效果，如图像分类、物体检测等。一些研究者也将神经网络运用到了情感识别中，实现了相比底层特征更好的识别效果。然而，由于手机、相机等视频捕捉设备的发展，视频分享网站上越来越多的出现了用户生成视频。相比电影视频，用户生成视频没有经过专业编辑，内容更多样，但视频质量往往较差。因此，仅通过神经网络学习的视觉信息对于高维的情感识别仍是不够的，分类识别效果往往不佳。
技术实现思路
本专利技术实施例提供了一种基于视频的情感识别方法及装置，为视频情感识别提供了更全面的识别框架，以提高视频情感识别的准确率。第一方面，本专利技术实施例提供了一种基于视频的情感识别方法，该方法包括：确定待识别视频的初始特征数据；将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。第二方面，本专利技术实施例还提供了一种基于视频的情感识别装置，该装置包括：初始特征数据确定模块，用于确定待识别视频初始特征数据；情感识别结果输出模块，用于将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。第三方面，本专利技术实施例还提供了一种设备，该设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所涉及的任一所述的基于视频的情感识别方法。第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述所涉及的任一所述的基于视频的情感识别方法。本专利技术实施例通过在情感识别模型中加入物体关系识别模型，解决了视频情感识别效果不佳的问题，为视频情感识别提供了更全面的识别框架，提高了视频情感识别的准确率。附图说明图1是本专利技术实施例一提供的一种基于视频的情感识别方法的流程图。图2是本专利技术实施例一提供的一种物体关系识别模型的示意图。图3是本专利技术实施例二提供的一种基于视频的情感识别方法的流程图。图4是本专利技术实施例三提供的一种基于视频的情感识别方法的流程图。图5是本专利技术实施例三提供的一种基于视频的情感识别方法的具体实例的流程图。图6是本专利技术实施例四提供的一种基于视频的情感识别装置的示意图。图7是本专利技术实施例五提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的一种基于视频的情感识别方法的流程图，本实施例可适用于对视频进行情感分类的情况，该方法可以由基于视频的情感识别装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可以配置于终端设备中。具体包括如下步骤：S110、确定待识别视频的初始特征数据；其中，初始特征数据可用于对待识别视频进行情感分类，以实现对待识别视频的情感识别。在一个实施例中，可选的，对待识别视频进行预处理得到初始特征数据。在一个实施例中，可选的，初始特征数据包括RGB图像数据、光流图像数据、音频数据和文本数据中的至少一项。其中，RGB图像数据包括由红色、绿色和蓝色按照不同的比例混合得到的图像数据。在一个实施例中，当待识别视频中的视频帧图像的色彩模型不包括RGB模型时，初始特征数据包括与视频帧图像的色彩模型对应的图像数据。其中，示例性的，图像数据可以是CMYK图像数据，也可以是灰度图像数据。在另一个实施例中，当待识别视频中的视频帧图像的色彩模型不包括RGB模型时，将视频帧图像的色彩模型转换为RGB色彩模型得到RGB图像数据。本实施例以图像数据为RGB图像数据进行举例说明。在一个实施例中，对待识别视频进行关键帧提取得到至少一个RGB图像数据。其中，关键帧是在视频帧中具有代表性的帧图像。其中，示例性的，关键帧处理方法包括但不限于压缩域关键帧提取方法、基于颜色特征的关键提取方法和基于距离阈值聚类的关键帧提取。这样设置的好处在于，可以减少待识别视频中视频帧间存在的荣誉信息，减少后续的计算量和计算机处理信息的数据量。其中，光流是空间运动物体在观察成像平面上的像素运动的表现特征。其中，示例性的，得到光流图像数据的预处理方法包括但不限于基于区域方法、基于相位的方法、基于频域的方法和基于梯度的方法中至少一种。其中，音频数据包括在音频范围内的声波数据，其中，音频范围包括20HZ～20kHz。文本数据包括待识别视频中例如字幕等文本数据，还可以包括待识别视频中视频帧图像中的文本数据，例如，视频帧图像包括公交站牌，公交站牌上的文字也可作为预处理得到的文本数据。S120、将初始特征数据输入到预先训练完成的情感识别模型中，得到与待识别视频对应的情感识别结果。其中，情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，物体关系识别模型用于识别待识别视频中的物体关系，特征提取模型用于提取初始特征数据的至少一种视频特征，情感分类模型用于基于物体关系和视频特征确定待识别视频的情感识别结果。在一个实施例中，可选的，将RGB图像数据输入到物体关系识别模型中，得到输出的物体关系特征；将初始特征数据输入到本文档来自技高网...

【技术保护点】
1.一种基于视频的情感识别方法，其特征在于，包括：/n确定待识别视频的初始特征数据；/n将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；/n其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。/n

【技术特征摘要】
1.一种基于视频的情感识别方法，其特征在于，包括：
确定待识别视频的初始特征数据；
将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；
其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。


2.根据权利要求1所述的方法，其特征在于，所述初始特征数据包括RGB图像数据、光流图像数据、音频数据和文本数据中的至少一项；
其中，所述将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果，包括：
将所述RGB图像数据输入到所述物体关系识别模型中，得到输出的物体关系特征；
将所述初始特征数据输入到所述特征提取模型中，得到输出的与各初始特征数据对应的视频特征；
将所述物体关系特征和所述视频特征输入到所述情感分类模型中，得到输出的情感识别结果。


3.根据权利要求2所述的方法，其特征在于，所述物体关系识别模型用于：
提取所述RGB图像数据中的视觉特征、位置特征和语义特征；
将所述视觉特征、位置特征和语义特征进行融合得到融合特征，并基于所述融合特征得到所述RGB图像数据中的物体关系特征。


4.根据权利要求3所述的方法，其特征在于，所述物体关系识别模型还用于：
针对每种物体关系特征，构建与所述物体关系特征对应的注意力图，并根据能量函数计算得到与所述注意力图对应的激活程度；
基于各所述激活程度，得到超过预设阈值的激活程度对应的物体关系特征。


5.根据权利要求4所述的方法，其特征在于，所述根据能量函数计算得到与所述注意力图对应的激活程度，包括：
根据能量函数和滑动窗口，计算所述注意力图在至少一个窗口区域内的激活程度；
将所述各窗口区域内的满足预设激活条件的激活程度作为与所述注意力图对应的激活程度，其中，所述预设激活条件包括最大激活程度...

【专利技术属性】
技术研发人员：徐宝函，
申请(专利权)人：上海极链网络科技有限公司，
类型：发明
国别省市：上海;31