提名的获取方法、网络的训练方法、装置、存储介质及设备制造方法及图纸

本申请公开一种时序动作提名的获取方法、精细化网络的训练方法、智时序动作提名的获取装置、精细化网络的训练装置、计算机可读存储介质及计算机设备，可应用于社会化网络服务、视频分析等场景。该时序动作提名的获取方法包括：从目标视频中采集初始提名序列及初始特征序列，初始提名序列用于表征包含目标对象的视频片段，初始特征序列是根据初始提名序列提取的抽象信息的集合；对初始特征序列做池化处理，以获取感兴趣特征序列，感兴趣特征序列用于表征维度相同的多个初始特征；将感兴特征序列输入精细化网络以获取提名位置偏差，精细化网络满足预设的监督条件；及根据提名位置偏差及初始提名序列，获取时序动作提名。获取时序动作提名。获取时序动作提名。

【技术实现步骤摘要】
提名的获取方法、网络的训练方法、装置、存储介质及设备


[0001]本申请涉及机器学习领域，具体涉及一种时序动作提名的获取方法、精细化网络的训练方法、智时序动作提名的获取装置、精细化网络的训练装置、计算机可读存储介质及计算机设备。

技术介绍

[0002]在目前视频精彩片段识别项目中，需要精准的定位出对应片段的位置。目前的片段识 别技术往往仅能够确定对应片段在视频中的粗略位置，难以准确地定位到片段的开始位置 和结束位置。

技术实现思路

[0003]本申请实施例提供一种时序动作提名的获取方法、精细化网络的训练方法、智时序动作提名的获取装置、精细化网络的训练装置、计算机可读存储介质及计算机设备，可以获取开始和结束位置准确的时序动作提名。
[0004]一方面，提供一种时序动作提名的获取方法，所述方法包括：从目标视频中采集初始提名序列及初始特征序列，所述初始提名序列用于表征包含目标对象的视频片段，所述初始特征序列是根据所述初始提名序列提取的抽象信息的集合；对所述初始特征序列做池化处理，以获取感兴趣特征序列，所述感兴趣特征序列用于表征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序动作提名的获取方法，其特征在于，包括：从目标视频中采集初始提名序列及初始特征序列，所述初始提名序列用于表征包含目标对象的视频片段，所述初始特征序列是根据所述初始提名序列提取的抽象信息的集合；对所述初始特征序列做池化处理，以获取感兴趣特征序列，所述感兴趣特征序列用于表征维度相同的多个初始特征；将所述感兴特征序列输入精细化网络以获取提名位置偏差，所述精细化网络满足预设的监督条件；及根据所述提名位置偏差及所述初始提名序列，获取时序动作提名。2.根据权利要求1所述的时序动作提名的获取方法，其特征在于，所述从目标视频中采集初始提名序列，包括：从所述目标视频中采集多个初始片段；将多个所述初始片段输入特征提取网络以获取多个编码特征；根据多个所述编码特征获取所述初始特征序列；根据所述初始特征序列获取边界概率序列及置信度分数矩阵；及根据所述边界概率序列及所述置信度分数矩阵获取所述初始提名序列。3.根据权利要求1所述的时序动作提名的获取方法，其特征在于，所述特征提取网络包括时间信息网络和空间信息网络组成的双流网络。4.根据权利要求1所述的时序动作提名的获取方法，其特征在于，所述根据所述提名位置偏差及所述初始提名序列，获取时序动作提名，包括：根据所述提名位置偏差对所述初始提名序列中各个初始提名的初始开始位置和初始结束位置进行修正，以获取各个所述初始提名对应的精细化开始位置和精细化结束位置；及根据所述初始提名及所述初始提名对应的所述精细化开始位置和所述精细化结束位置生成所述时序动作提名。5.一种精细化网络的训练方法，其特征在于，包括：从样本视频中采集样本提名序列及样本特征序列，所述样本提名序列用于表征包含样本对象的视频片段，所述样本特征序列是根据所述样本提名序列提取的抽象信息的集合，所述样本视频包含真实提名，所述真实提名包括已知的真实开始位置和真实结束位置；对所述样本提名序列进行采样以获取采样提名序列，所述采样提名序列包括第一预设数量的正样本和第二预设数量的负样本；根据所述样本特征序列获取所述采样提名序列对应的采样特征序列，所述采样特征序列是所述采样提名序列的抽象信息的集合；对所述采样特征序列做池化处理，以获取训练特征序列，所述训练特征序列用于表征维度相同的多个采样特征；将所述训练特征序列输入所述精细化网络以确定监督损失函数的损失值；及在所述损失值满足预设的监督条件的情况下完成所述精细化网络的训练。6.根据权利要求5所述的训练方法，其特征在于，所述从样本视频中采集样本提名序列及样本特征序列，包括：从所述样本视频中采集多个样本片段；
将多个所述样本片段输入特征提取网络以获取多个第一特征；根据多个所述第一特征获取所述样本特征序列；根据所述样本特征序列获取样本概率序列及样本分数矩阵；及根据所述样本概率序列及所述样本分数矩阵，获取所述样本提名序列。7.根据权利要求5所述的训练方法，其特征在于，所述对所述样本提名序列进行采样以获取采样提名序列，包括：获取所述样本提名序列中的每个样本提名与所述真实提名之间的第一交并比；将多个所述第一交并比中，大于第一预设比值的所述第一交并比对应的样本提名确定为所述正样本，小于第二预设比值的所述第一交并比对应的样本提名确定为所述负样本，以获取第一预设数量的所述正样本和第二预设数量的所述负样本；及根据第一预设数量的所述正样本和第二预设数量的所述负样本生成所述采样提名序列。8.根据权利要求5所述的训练方法，其特征在于，所述根据所述样本特征序列获取所述采样提名序列对应的采样特征序列，包括：将所述样本特征序列输入至少两层时序卷积进行处理，得到融合特征序列，所述融合特征序列表征在时间尺度抽象后的所述样本特征序列；在所述融合特征序列中确定每个所述采样提名对应的融合特征；及根据与所述采样提名对应的多个所述融合特征生成所述采样特征序列。9.根据权利要求5所述的训练方法，其特征在于，所述损失值包括回归损失及前景分类损失，所述将所述训练特征序列输入所述精细化网络以确定监督损失函数的损失值，包括：将所述...

【专利技术属性】
技术研发人员：杨善明，刘泽宇，顾晓光，付立波，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：