一种视频情感定位方法及系统技术方案

本发明专利技术公开一种视频情感定位方法及系统，属于计算机技术领域，该视频情感定位方法通过提取待处理视频的候选片段，并利用第一神经网络模型提取候选片段每帧的特征表示，再通过第二神经网络模型进行情感分类、边界回归、情感排序及完整性分类，最后过滤不符合要求的候选片段并输出待处理视频的情感定位片段，能实现快速准确地定位视频中体现整个视频情感的片段，且定位的片段边界清楚、完整。

A Video Emotion Location Method and System

【技术实现步骤摘要】
一种视频情感定位方法及系统
本专利技术涉及计算机
，特别涉及一种视频情感定位方法及系统。
技术介绍
随着互联网和移动设备的发展，针对视频内容的识别近年来越来越受到科研工作者的重视。视频分类、检测已经有了很多研究，然而视频情感分析由于视频内容复杂而存在很多困难。早期针对情感内容的研究主要集中在图像情感识别，除了整体的图像特征，纹理、位置、人脸等特征在图像情感识别任务中也起到了一定的效果。在视频领域，早期的工作主要针对电影进行了情感分析，底层的视觉与音频特征结合在一些电影标准数据集上取得了良好的效果。近年来，卷积神经网络受到了越来越多的关注，并在图像分类、检测等任务上取得了较好的效果。一些研究者将神经网络应用于情感分析中，利用神经网络结合迁移学习的方法，在情感识别任务中展示了相比底层视觉特征更好的效果。然而现实中，视频一般是非专业拍摄且缺乏质量控制，且情感的表达在视频中一般是较为稀疏的，即并不是视频的所有帧都有情感的体现，很多视频包含了背景、人物等中立的片段。现有的分类算法都只是在整体视频层面上对情感进行分类，并没有关注具体哪些片段有情感的表达。有研究者将针对整个视频的算法应用于每帧的情感分析，然而由于用户生成的情感视频数据量较小，分类器训练比较困难，仅仅针对每帧分类效果并不理想。
技术实现思路
为解决上述技术问题，本专利技术提供了一种视频情感定位方法及系统，通过该方法，能快速准确地定位视频中体现了整个视频情感的片段。本专利技术实施例提供的技术方案如下：第一方面，提供了一种视频情感定位方法，所述方法至少包括如下步骤：将待处理视频进行片段定位，提取出若干个候选片段；通过预先训练好的第一神经网络模型，提取所述候选片段每帧的特征表示；基于所述候选片段每帧的特征表示，通过预先训练好的第二神经网络模型，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类；基于所述第二神经网络模型的输出结果，过滤不符合要求的候选片段；输出所述待处理视频的情感定位片段。在一些实施例中，所述第二神经网络模型为金字塔网络模型，基于所述候选片段每帧的特征表示，通过预先训练好的金字塔网络模型，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类时，至少包括如下子步骤：将所述候选片段分成开始阶段、中间阶段及结束阶段；分别获取所述候选片段中开始阶段、中间阶段及结束阶段的特征表示，为第一特征表示、第二特征表示及第三特征表示；将所述第一特征表示、第二特征表示及第三特征表示连接形成所述候选片段的全局特征表示；通过所述全局特征表示，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类。在一些实施例中，所述通过所述候选片段的全局特征表示，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类，具体包括如下子步骤：根据所述全局特征表示，将各维度情感数据进行对比，将情感数据最高的维度作为所述候选片段的情感类别；根据所述全局特征表示，调整片段的中间点及片段长度，进行视频边界回归；根据所述全局特征表示，将任意两个所述候选片段进行一一对比，获取所述候选片段的情感排序；根据所述全局特征表示，验证所述候选片段是否完整，并根据验证结果将所述候选片段分为完整候选片段与不完整候选片段两类。在一些实施例中，所述过滤不符合要求的候选片段，至少包括如下子步骤：过滤情感分类结果与待处理视频整体情感类型不相符的候选片段；过滤不完整的候选片段；过滤情感排序在设定排序阈值之外的候选片段。在一些实施例中，所述预先训练好的第一神经网络模型为：TemporalSegmentNetwork(TSN)或I3D中的一种。另一方面，提供了一种视频情感定位系统，所述系统至少包括：预处理模块：用于将待处理视频进行片段定位，提取出若干个候选片段；特征提取模块：用于通过预先训练好的第一神经网络模型，提取所述候选片段每帧的特征表示；分类排序模块：用于基于所述候选片段每帧的特征表示，通过预先训练好的第二神经网络模型，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类；过滤模块：用于基于所述第二神经网络模型的输出结果，过滤不符合要求的候选片段；输出模块：用于输出所述待处理视频的情感定位片段。在一些实施例中，所述第二神经网络模型为金字塔网络模型，所述分类排序模块至少包括如下子模块：阶段拆分子模块：用于将所述候选片段分成开始阶段、中间阶段及结束阶段；阶段特征获取子模块：用于分别获取所述候选片段中开始阶段、中间阶段及结束阶段的特征表示，为第一特征表示、第二特征表示及第三特征表示；全局特征获取子模块：用于将所述第一特征表示、第二特征表示及第三特征表示连接形成所述候选片段的全局特征表示；处理子模块：用于通过所述全局特征表示，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类。在一些实施例中，所述处理子模块至少包括如下单元：情感分类单元，用于根据所述全局特征表示，将各维度情感数据进行对比，将情感数据最高的维度作为所述候选片段的情感类别；边界回归单元：用于根据所述全局特征表示，调整片段的中间点及片段长度，进行视频边界回归；情感排序单元：用于根据所述全局特征表示，将任意两个所述候选片段进行一一对比，获取所述候选片段的情感排序；完整性分类单元：用于根据所述全局特征表示，验证所述候选片段是否完整，并根据验证结果将所述候选片段分为完整候选片段与不完整候选片段两类。在一些实施例中，所述过滤模块至少包括如下子模块：第一过滤子模块：用于过滤情感分类结果与待处理视频整体情感类型不相符的候选片段；第一过滤子模块：用于过滤不完整的候选片段；第一过滤子模块：用于过滤情感排序在设定排序阈值之外的候选片段。在一些实施例中，所述预先训练好的第一神经网络模型为：TemporalSegmentNetwork(TSN)或I3D中的一种。本专利技术相比现有技术而言的有益效果在于：本专利技术提供一种视频情感定位方法，相对于现有技术中对视频片段进行的整体视频层面上进行情感分类，或者将整体视频的算法应用于每一帧进行情感分析而带来分类模型训练困难、分类效果不理想的情况，通过提取待处理视频的候选片段，并利用第一神经网络模型提取候选片段每帧的特征表示，再通过第二神经网络模型进行情感分类、边界回归、情感排序及完整性分类，最后过滤不符合要求的候选片段并输出待处理视频的情感定位片段，能实现快速准确地定位视频中体现整个视频情感的片段，且定位的片段边界清楚、完整。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一中的视频情感定位方法的流程图；图2是本专利技术实施例二中的视频情感定位系统的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一本实施例提供一种视频情感定位方法，本文档来自技高网...

【技术保护点】
1.一种视频情感定位方法，其特征在于，所述方法至少包括如下步骤：将待处理视频进行片段定位，提取出若干个候选片段；通过预先训练好的第一神经网络模型，提取所述候选片段每帧的特征表示；基于所述候选片段每帧的特征表示，通过预先训练好的第二神经网络模型，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类；基于所述第二神经网络模型的输出结果，过滤不符合要求的候选片段；输出所述待处理视频的情感定位片段。

【技术特征摘要】
1.一种视频情感定位方法，其特征在于，所述方法至少包括如下步骤：将待处理视频进行片段定位，提取出若干个候选片段；通过预先训练好的第一神经网络模型，提取所述候选片段每帧的特征表示；基于所述候选片段每帧的特征表示，通过预先训练好的第二神经网络模型，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类；基于所述第二神经网络模型的输出结果，过滤不符合要求的候选片段；输出所述待处理视频的情感定位片段。2.根据权利要求1所述的一种视频情感定位方法，其特征在于，所述第二神经网络模型为金字塔网络模型，基于所述候选片段每帧的特征表示，通过预先训练好的金字塔网络模型，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类时，至少包括如下子步骤：将所述候选片段分成开始阶段、中间阶段及结束阶段；分别获取所述候选片段中开始阶段、中间阶段及结束阶段的特征表示，为第一特征表示、第二特征表示及第三特征表示；将所述第一特征表示、第二特征表示及第三特征表示连接形成所述候选片段的全局特征表示；通过所述全局特征表示，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类。3.根据权利要求2所述的一种视频情感定位方法，其特征在于，所述通过所述候选片段的全局特征表示，对所述候选片段进行情感分类、边界回归、情感排序及完整性分类，具体包括如下子步骤：根据所述全局特征表示，将各维度情感数据进行对比，将情感数据最高的维度作为所述候选片段的情感类别；根据所述全局特征表示，调整所述候选片段的中间点及长度，进行候选片段的边界回归；根据所述全局特征表示，将任意两个所述候选片段进行一一对比，获取所述候选片段的情感排序；根据所述全局特征表示，验证所述候选片段是否完整，并根据验证结果将所述候选片段分为完整候选片段与不完整候选片段两类。4.根据权利要求1或2所述的一种视频情感定位方法，其特征在于，所述过滤不符合要求的候选片段，至少包括如下子步骤：过滤情感分类结果与待处理视频整体情感类型不相符的候选片段；过滤不完整的候选片段；过滤情感排序在设定排序阈值之外的候选片段。5.根据权利要求1所述的一种视频情感定位方法，其特征在于，所述预先训练好的第一神经网络模型为：TemporalSegmentNetwork(TSN)或I3D中的一种。6.一种视频情感定位系统，其特征在于...

【专利技术属性】
技术研发人员：徐宝函，郑莹斌，叶浩，王恒，孙谷飞，
申请(专利权)人：众安信息技术服务有限公司，
类型：发明
国别省市：广东,44