【技术实现步骤摘要】
【国外来华专利技术】通过稀疏时间池化网络的弱监督动作定位优先权要求本申请基于并要求于2017年11月14日提交的美国临时申请62/586,078的权益，其通过引用并入本文。
本公开总体上涉及视频动作检测和定位。更具体地，本公开涉及未修剪的视频的弱监督时间动作定位模型。
技术介绍
视频中的动作识别是高级别视频理解的关键问题之一，包括事件检测、视频摘要和视频中的视觉问题解答。在过去的十年中，许多研究人员一直在广泛地研究该问题。动作识别中的主要挑战是缺乏合适的视频表示方法。与卷积神经网络(CNN)在与图像有关的许多视觉识别问题中几乎立竿见影的成功相反，由于存在许多问题，包括数据固有的复杂结构、大文件大小以及缺乏对时间信息建模的知识，将深度神经网络应用于视频数据并不是一件容易的事。因此，基于来自深度学习的表示的技术并没有比依靠手工制作的视觉特征的方法更好。结果，许多现有算法试图通过结合手工制作和学习/训练的特征来实现最先进的性能。另一个问题是，大多数现有技术都将修剪的视频用于视频级文本分类，或者需要对动作间隔进行注释以进行时间定位。由于未修剪的视频通常包含大量与视频级类别标签直接相关的不相关帧，因此，视频表示学习和动作分类可能无法从原始视频中提取必要的信息。另一方面，对大规模数据集进行动作定位的注释非常昂贵且耗时，因此，更需要开发一种在运行时无需此类时间注释的有竞争力的算法。
技术实现思路
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实践来获知。
【技术保护点】
1.一种计算机实现的方法，用于在视频中在时间上定位目标动作，包括：/n将视频输入到包括一个或多个弱监督时间动作定位模型的机器学习模型中；/n通过所述一个或多个弱监督时间动作定位模型分析所述视频以确定一个或多个加权的时间类别激活图；每个时间类别激活图包括时域中的一维特定于类别的激活图；以及/n至少部分地基于所述一个或多个加权的时间类别激活图确定目标动作在所述视频中的时间位置。/n
【技术特征摘要】
【国外来华专利技术】20171114 US 62/586,0781.一种计算机实现的方法，用于在视频中在时间上定位目标动作，包括：
将视频输入到包括一个或多个弱监督时间动作定位模型的机器学习模型中；
通过所述一个或多个弱监督时间动作定位模型分析所述视频以确定一个或多个加权的时间类别激活图；每个时间类别激活图包括时域中的一维特定于类别的激活图；以及
至少部分地基于所述一个或多个加权的时间类别激活图确定目标动作在所述视频中的时间位置。
2.如权利要求1所述的计算机实现的方法，其中所述机器学习模型包括稀疏时间池化网络，所述稀疏时间池化网络包括第一弱监督时间动作定位模型和第二弱监督时间动作定位模型。
3.如权利要求1或2所述的计算机实现的方法，其中所述视频包括RGB串流。
4.如权利要求2所述计算机实现的方法，还包括：
至少部分地基于所述视频生成光流串流；以及
其中所述视频输入到包括一个或多个弱监督时间动作定位模型的所述机器学习模型中包括：
将所述视频输入到所述第一弱监督时间动作定位模型中，以及；
将所述光流串流输入到所述第二弱监督时间动作定位模型中。
5.如权利要求4所述的计算机实现的方法，其中通过所述一个或多个弱监督时间动作定位模型来分析所述视频以确定所述一个或多个加权的时间类别激活图包括；
通过所述第一弱监督时间动作定位模型分析所述视频以确定第一加权的时间类别激活图，所述第一加权的时间类别激活图包括所述时域中的第一一维特定于类别的激活图；以及
通过所述第二弱监督时间动作定位模型分析所述光流串流以确定第二加权的时间类别激活图，所述第二加权的时间类别激活图包括所述时域中的第二一维特定于类别的激活图。
6.如权利要求5所述的计算机实现的方法，其中至少部分地基于所述一个或多个加权的时间类别激活图确定所述目标动作在所述视频中的所述时间位置包括：
至少部分地基于所述第一加权的时间类别激活图和所述第二加权的时间类别激活图确定所述目标动作在所述视频中的所述时间位置。
7.如权利要求6所述的计算机实现的方法，其中至少部分地基于所述一个或多个加权的时间类别激活图确定所述目标动作在所述视频中的所述时间位置包括：
为所述视频和所述光流串流中的每一个生成一个或多个特定于类别的时间建议，每个特定于类别的时间建议包括从所述视频或所述光流串流提取的一维连接的分量。
8.如权利要求7所述的计算机实现的方法，其中为所述视频和所述光流串流中的每一个生成所述一个或多个特定于类别的时间建议包括：对所述第一加权的时间类别激活图进行阈值化以将所述视频分割成一个或多个特定于类别的建议的第一集合，并对所述第二加权的时间类别激活图进行阈值化以将所述光流串流分割成一个或多个特定于类别的时间建议的第二集合。
9.如权利要求7-8中任一项所述的计算机实现的方法，其中生成所述一个或多个特定于类别的时间建议包括对所述第一加权的时间类别激活图和所述第二加权的时间类别激活图中的一个或多个进行线性内插。
10.如权利要求7-9中任一项所述的计算机实现的方法，至少部分地基于所述第一加权的时间类别激活图和所述第二加权的时间类别激活图确定所述目标动作在所述视频中的所述时间位置包括：
选择来自视频或所述光流串流中的任一个的特定的时间间隔的第一特定于类别的时间建议；以及
确定是否存在来自所述视频或所述光流串流中的另一个的对应的时间间隔的第二特定于类别的时间建议。
11.如权利要求10所述的计算机实现的方法，其中当不存在来自所述视频或所述光流串流中的另一个的对应的时间间隔的第二特定于类别的时间建议时，至少部分地基于所述第一加权的时间类别激活图和所述第二加权的时间类别激活图确定所述目标动作在所述视频中的所述时间位置包括，至少部分地基于所述第一特定于类别的时间建议来检测所述特定的时间间隔处的所述目标动作。
12.如权利要求10所述的计算机实现的方法，其中当存在来自所述视频或所述光流串流中的另一个的对应的时间间隔的第二特定于类别的时间建议时，至少部分地基于所述第一加权的时间类别激活图和所述第二加权的时间类别激活图确定所述目标动作在所述视频中的所述时间位置包括，比较所述第一特定于类别的时间建议和所述第二特定于类别的时间建议。
13.如权利要求12所述的计算机实现的方法，其中通过所述稀疏时间池化网络比较所述第一特定于类别的时间建议和所述第二特定于类别的时间建议包括，至少部分地基于相应的特定于类别的时间建议内的所有一维连接的分量的加权平均时间类别激活图，确定所述第一特定于类别的时间建议和所述第二特定于类别的时间建议中的每一个的所述目标动作的相应的得分。
14.如权利要求13所述的计算机实现的方法，其中至少部分地基于相应的得分确定所述目标动作在所述视频中的所述时间位置。
15.如权利要求13-14中任一项所述的计算机实现的方法，其中至少部分地基于模态参数确定所述目标动作的相应的得分以控制所述第一加权的时间类别激活图和所述第二加权的时间类别激活图的幅度。
16.如权利要求1-15中任一项所述的计算机实现的方法，其中通过所述稀疏时间池化网络至少部分地基于所述一个或多个加权的时间类别激活图确定所述目标动作在所述视频中的所述时间位置包括，在目标类别的多个特定于类别的时间建议之间执行非极大值抑制，以移除重叠的检测。
17.如权利要求1-16中任一项所述的计算机实现的方法，还包括
至少部分地基于视频级分类得分确定所述视频的一个或多个相关的目标动作分类标签。
18.如权利要求1-17中任一项所述的计算机实现的方法，其中已经使用...
【专利技术属性】
技术研发人员：刘汀，G普拉萨德，PX阮，B韩，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。