时序动作提名生成方法和相关产品技术

本申请实施例公开了一种时序动作提名生成方法和相关产品，该方法包括：提名生成装置利用第一局部全局编码器对原始特征序列做局部全局依赖关系提取处理，得到目标特征序列；所述目标特征序列利用多个特征向量之间的局部依赖关系和全局依赖关系得到，所述多个特征向量包含于所述原始特征序列；所述提名生成装置利用所述目标特征序列，生成目标时序动作提名；通过提取出局部的依赖关系和全局的依赖关系，能够提高生成时序动作提名的质量。能够提高生成时序动作提名的质量。能够提高生成时序动作提名的质量。

【技术实现步骤摘要】
时序动作提名生成方法和相关产品


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种时序动作提名生成方法和相关产品。

技术介绍

[0002]时序对象检测技术是视频行为理解领域一个重要且极具挑战性的课题。时序对象检测技术在很多领域都起到重要作用，比如视频推荐，安防监控以及智能家居等等。
[0003]时序对象检测任务旨在从未修剪的长视频中定位到对象出现的具体时间和类别。此类问题的一大难点是如何提高生成的时序对象提名的质量。高质量的时序对象提名应该具备两个关键属性：(1)生成的提名应该尽可能地覆盖真实的对象标注；(2)提名的质量应该能够被全面且准确地评估，为每一个提名生成一个置信度分数用于后续检索。当前，采用的时序提名生成方法通常存在生成提名的边界不够准确以及置信度分数的质量欠佳的问题。

技术实现思路

[0004]本申请实施例公开了一种时序动作提名生成方法和相关产品，能够提高生成时序动作提名的质量。
[0005]第一方面，本申请实施例提供了一种时序动作提名生成方法，该方法包括：提名生成装置利用第一局部全局编码器对原始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序动作提名生成方法，其特征在于，包括：提名生成装置利用第一局部全局编码器对原始特征序列做局部全局依赖关系提取处理，得到目标特征序列；所述目标特征序列利用多个特征向量之间的局部依赖关系和全局依赖关系得到，所述多个特征向量包含于所述原始特征序列；所述提名生成装置利用所述目标特征序列，生成目标时序动作提名。2.根据权利要求1所述的方法，其特征在于，所述目标特征序列包括利用第一特征向量和第二特征向量得到的特征向量，所述第一特征向量利用第一特征序列中的第一向量、第二特征序列中的w个向量以及第三特征序列中的w个向量得到，所述第二特征向量利用所述第一特征序列中的第二向量、所述第二特征序列中的d个向量以及所述第三特征序列中的d个向量得到，第一特征序列、所述第二特征序列以及所述第三特征序列由对所述原始特征序列做不同的线性变换得到，所述所述w和所述d均为大于1的整数，所述w小于所述d。3.根据权利要求2所述的方法，其特征在于，所述第二特征序列中的w个向量以及所述第三特征序列中的w个向量均与所述第一向量相关联，所述第二特征序列中的d个向量以及所述第三特征序列中的d个向量均与所述第二向量相关联。4.根据权利要求3所述的方法，其特征在于，所述第一向量为所述第一特征序列中对应于第一通道至第二通道的向量，所述第二向量为所述第一特征序列中对应于第三通道至第四通道的向量，所述第一通道和所述第三通道不同，或者所述第二通道和所述第四通道不同。5.根据权利要求2至4任一项所述的方法，其特征在于，所述提名生成装置利用第一局部全局编码器对原始特征序列做局部全局依赖关系提取处理，得到目标特征序列包括；获得所述第一特征向量和所述第二特征向量；对多个特征向量进行拼接处理，得到第一矩阵；所述多个特征向量包含所述第一特征向量和所述第二特征向量；利用所述第一矩阵和第二矩阵处理得到目标组特征向量；所述第二矩阵为所述第一局部全局编码器中的参数矩阵，所述目标组特征向量包含于所述目标特征序列。6.根据权利要求5所述的方法，其特征在于，所述获得所述第一特征向量包括：利用所述第一向量和w个第三向量处理得到第一依赖关系向量；所述第一向量为所述第一特征序列中对应于第一片段的向量，所述w个第三向量为所述第二特征序列中对应于第二片段至第三片段的向量，所述第一片段、所述第二片段以及所述第三片段包含于目标视频流；所述第一片段包含于所述第二片段至所述第三片段，所述原始特征序列为利用所述目标视频流做特征提取得到；利用所述第一依赖关系向量和w个第四向量处理得到所述第一特征向量；所述w个第四向量为所述第三特征序列中对应于所述第二片段至所述第三片段的向量。7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一特征序列利用训练得到的第一参数对所述原始特征序列做第一线性变换得到；所述第二特征序列利用训练得到的第二参数对所述原始特征序列做第二线性变换得到；
所述第三特征序列利用训练得到的第三参数对所述原始特征序列做第三线性变换得到；所述第一特征序列、所述第二特征序列以及所述第三特征序列中的任意两个不同。8.根据权利要求1至7任一项所述的方法，其特征在于，所述提名生成装置利用所述目标特征序列，生成目标时序动作提名包括：所述提名生成装置利用所述原始特征序列，生成候选时序动作提名；所述提名生成装置将所述候选时序动作提名和所述目标特征序列输入至所述第一互补时序边界回归器做第一提名优化处理，得到第一时序动作提名；所述提名生成装置将所述第一时序动作提名和所述目标特征序列输入至所述第二互补时序边界回归器做第二提名优化处理，得到所述目标时序动作提名。9.根据权利要求8所述的方法，其特征在于，所述提名生成装置将所述候选时序动作提名和所述目标特征序列输入至第一互补时序边界回归器做第一提名优化处理，得到第一时序动作提名包括：所述第一互补时序边界回归器基于所述候选时序动作提名，从所述目标特征序列中提取出第一局部特征、第一中心特征以及第二局部特征；所述第一局部特征对应于所述候选时序动作提名的起始边界，所述第二局部特征对应于所述候选时序动作提名的结束边界，所述第一中心特征对应于所述候选时序动作提名的中心；所述第一互补时序边界回归器利用所述第一局部特征和所述第二局部特征做第一边界回归处理，得到第一起始边界、第一结束边界；所述第一互补时序边界回归器利用所述第一局部特征、所述第二局部特征以及所述第一中心特征做第二边界回归处理，得到第二起始边界、第二结束边界以及置信度分数；所述第一互补时序边界回归器利用所述第一起始边界、所述第一结束边界、所述第二起始边界、所述第二结束边界以及所述置信度分数做边界融合处理，得到所述第一时序动作提名。10.根据权利要求9所述的方法，其特征在于，所述第一互补时序边界回归器利用所述第一局部特征和所述第二局...

【专利技术属性】
技术研发人员：卿志武，苏海昇，
申请(专利权)人：上海商汤科技开发有限公司，
类型：发明
国别省市：