一种视频情感片段的识别方法及装置制造方法及图纸

本发明专利技术公开了一种视频情感片段的识别方法，包括：确定待分析视频中各个情感弹幕的弹幕情感标签；对所述待分析视频进行分割，得到各个待分析视频片段；依据每一个待分析视频片段中的各个弹幕情感标签，计算各个待分析视频片段的片段情感向量和情感熵；依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段。上述的识别方法中，将待分析视频分割成多个待分析视频片段，计算各个待分析视频片段的片段情感向量和情感熵；依据弹幕得到的所述片段的片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段，缩短了情感片段的识别周期，避免了由于人工标识情感标签标注时间长，导致情感片段识别周期长的问题。

【技术实现步骤摘要】
一种视频情感片段的识别方法及装置
本专利技术涉及人工智能
，尤其涉及一种视频情感片段的识别方法及装置。
技术介绍
随着多媒体技术的发展，多媒体视频的数据量爆发增长，吸引了大量用户，人们倾向于看视频来缓解压力和无聊，看视频已成为满足人们情感需求的一种新方式，而视频巨大的规模和用户有限的时间之间存在矛盾，观众有时只想看视频的部分情感片段，而非整个视频。因此有必要对视频进行与时间同步的情感标签(五类情感：喜、惊、不喜、悲、惧)，识别视频中的情感片段，更好地满足观众的个性化情感需求。该工作的首要挑战是视频缺乏时序情感标签，目前主要通过人工对视频中的每一帧标注情感标签，基于标注的情感标签对情感片段进行识别，由于人工标注情感标签标注时间长，导致情感片段识别周期长。
技术实现思路
有鉴于此，本专利技术提供了一种视频情感片段的识别方法及装置，用以解决现有技术中目前主要通过人工对视频中的每一帧标注情感标签，基于标注的情感标签对情感片段进行识别，由于人工标注情感标签标注时间长，导致情感片段识别周期长的问题，具体方案如下：一种视频情感片段的识别方法，包括：确定待分析视频中各个情感弹幕的弹幕情感标签；对所述待分析视频进行分割，得到各个待分析视频片段；依据每一个待分析视频片段中的各个弹幕情感标签，计算各个待分析视频片段的片段情感向量和情感熵；依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段。上述的方法，可选的，确定待分析视频中各个情感弹幕的弹幕情感标签，包括：获取所述待分析视频的各个弹幕；对所述各个弹幕进行筛选，得到各个情感弹幕；依据预设的神经网络模型确定每个情感弹幕的弹幕情感标签。上述的方法，可选的，依据预设的神经网络模型确定每个情感弹幕的弹幕情感标签，包括：确定每个情感弹幕的目标语义表示，其中，所述目标语义表示由对应情感弹幕的细粒度语义表示和粗粒度语义表示进行拼接得到；确定每个情感弹幕产生时刻的场景图像数据的视觉向量表征；将所述目标语义表示和所述视觉向量表征传递给所述预设的神经网络模型，得到对应情感弹幕的弹幕情感标签。上述的方法，可选的，对所述待分析视频进行分割，得到各个待分析视频片段，包括：确定所述待分析视频中各个帧的视觉语义；依次比较相邻帧的视觉语义，判断所述相邻帧的视觉语义的差异度是否大于预设的差异度阈值；若是，将所述相邻帧作为切分点进行切分，得到各个待分析视频片段。上述的方法，可选的，还包括：获取所述相邻帧弹幕语义；依据所述弹幕语义，对所述切分点进行修正。上述的方法，可选的，依据所述片段情感向量和所述情感熵，识别所述各个待分析视频片段中的情感片段，包括：判断所述情感熵是否小于预设的情感熵阈值；若是，判定当前待分析视频片段包含一种情感，或；若否，判断当前片段情感向量中的最大分量与次大分量的比值是否大于预设的比例阈值；若是，判定所述当前待分析视频片段包含一种情感，或，若否，判定所述当前待分析视频判断包含两种情感。7、一种视频情感片段的识别装置，其特征在于，包括：确定模块，用于确定待分析视频中各个情感弹幕的弹幕情感标签；分割模块，用于对所述待分析视频进行分割，得到各个待分析视频片段；计算模块，用于依据每一个待分析视频片段中的各个弹幕情感标签，计算各个待分析视频片段的片段情感向量和情感熵；识别模块，用于依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段。上述的装置，可选的，所述确定模块包括：获取单元，用于获取所述待分析视频的各个弹幕；筛选单元，用于对所述各个弹幕进行筛选，得到各个情感弹幕；标签确定单元，用于依据预设的神经网络模型确定每个情感弹幕的弹幕情感标签。上述的装置，可选的，所述分割模块包括：语义确定单元，用于确定所述待分析视频中各个帧的视觉语义；第一判断单元，用于依次比较相邻帧的视觉语义，判断所述相邻帧的视觉语义的差异度是否大于预设的差异度阈值；切分单元，用于若是，将所述相邻帧作为切分点进行切分，得到各个待分析视频片段。上述的装置，可选的，所述识别模块包括：第二判断单元，用于判断所述情感熵是否小于预设的情感熵阈值；第一判定单元，用于若是，判定当前待分析视频片段包含一种情感，或；第三判断单元，用于若否，判断当前片段情感向量中的最大分量与次大分量的比值是否大于预设的比例阈值；第二判定单元，用于若是，判定所述当前待分析视频片段包含一种情感，或，若否，判定所述当前待分析视频判断包含两种情感。与现有技术相比，本专利技术包括以下优点：本专利技术公开了一种视频情感片段的识别方法，包括：确定待分析视频中各个情感弹幕的弹幕情感标签；对所述待分析视频进行分割，得到各个待分析视频片段；依据每一个待分析视频片段中的各个弹幕情感标签，计算各个待分析视频片段的片段情感向量和情感熵；依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段。上述的识别方法中，将待分析视频分割成多个待分析视频片段，计算各个待分析视频片段的片段情感向量和情感熵；依据弹幕得到的所述片段的片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段，缩短了情感片段的识别周期，避免了由于人工标识情感标签标注时间长，导致情感片段识别周期长的问题。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例公开的一种视频情感片段的识别方法流程图；图2为本申请实施例公开的一种视频情感片段的识别装置结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本专利技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本专利技术的精神或范围的情况下，在其它实施例中实现。因此，本专利技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。本专利技术公开了一种视频情感片段的识别方法及装置，应用于对视频中的情感片段进行识别的过程，其中，所述情感片段包括：喜、惊、不喜、悲、惧五类情感，现有本文档来自技高网...

【技术保护点】
1.一种视频情感片段的识别方法，其特征在于，包括：/n确定待分析视频中各个情感弹幕的弹幕情感标签；/n对所述待分析视频进行分割，得到各个待分析视频片段；/n依据每一个待分析视频片段中的各个弹幕情感标签，计算各个待分析视频片段的片段情感向量和情感熵；/n依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段。/n

【技术特征摘要】
1.一种视频情感片段的识别方法，其特征在于，包括：
确定待分析视频中各个情感弹幕的弹幕情感标签；
对所述待分析视频进行分割，得到各个待分析视频片段；
依据每一个待分析视频片段中的各个弹幕情感标签，计算各个待分析视频片段的片段情感向量和情感熵；
依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段。


2.根据权利要求1所述的方法，其特征在于，确定待分析视频中各个情感弹幕的弹幕情感标签，包括：
获取所述待分析视频的各个弹幕；
对所述各个弹幕进行筛选，得到各个情感弹幕；
依据预设的神经网络模型确定每个情感弹幕的弹幕情感标签。


3.根据权利要求2所述的方法，其特征在于，依据预设的神经网络模型确定每个情感弹幕的弹幕情感标签，包括：
确定每个情感弹幕的目标语义表示，其中，所述目标语义表示由对应情感弹幕的细粒度语义表示和粗粒度语义表示进行拼接得到；
确定每个情感弹幕产生时刻的场景图像数据的视觉向量表征；
将所述目标语义表示和所述视觉向量表征传递给所述预设的弹幕情感识别神经网络模型，得到对应情感弹幕的情感标签。


4.根据权利要求1所述的方法，其特征在于，对所述待分析视频进行分割，得到各个待分析视频片段，包括：
确定所述待分析视频中各个帧的视觉语义；
依次比较相邻帧的视觉语义，判断所述相邻帧的视觉语义的差异度是否大于预设的差异度阈值；
若是，将所述相邻帧作为切分点进行切分，得到各个待分析视频片段。


5.根据权利要求4所述的方法，其特征在于，还包括：
获取所述相邻帧弹幕语义；
依据所述弹幕语义对所述切分点进行修正。


6.根据权利要求1所述的方法，其特征在于，依据所述片段情感向量和所述情感熵识别所述各个待分析视频片段中的情感片段，包括：
判断所述情感熵是否小于预设的情感熵阈值；
若是，判...

【专利技术属性】
技术研发人员：陈恩红，徐童，曹卫，张琨，吕广弈，何明，武晗，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34