【技术实现步骤摘要】
基于全局感知与提名关系挖掘的时序动作定位方法
[0001]本专利技术涉及视频识别
，具体而言，涉及基于全局感知与提名关系挖掘的时序动作定位方法。
技术介绍
[0002]时序动作定位是一种对一段未剪辑的长视频识别出感兴趣动作的类别和动作发生开始时间及结束时间。在综艺娱乐视频、电影电视和体育视频中，时序动作定位可用于实现精彩片段剪辑或生成视频封面。在车站、广场等监控场景中，时序动作定位可以用来检测摔倒、打架或者人群聚集等异常行为。
[0003]在时序动作定位中，检测的动作存在时间跨度差异大、背景构成复杂、不同动作间差异小、动作边界模糊等多种复杂情况。在先技术无法准确的对其进行精确定位和动作分类。
[0004]有鉴于此，申请人在研究了现有的技术后特提出本申请。
技术实现思路
[0005]本专利技术提供了一种基于全局感知与提名关系挖掘的时序动作定位方法，以改善现有技术无法准确的对视频进行时序动作定位的问题。
[0006]本专利技术实施例提供了一种基于全局感知与提名关系挖掘的时序动作定位方...
【技术保护点】
【技术特征摘要】
1.基于全局感知与提名关系挖掘的时序动作定位方法，其特征在于，包含：获取待识别视频；根据所述待识别视频，提取视觉特征；将所述视觉特征输入预先训练好的时序提名生成网络模型，获取时序提名；将所述时序提名输入预先训练好的时序提名分类网络模型，获取定位结果；所述定位结果包括动作类别和动作起止时间；所述时序提名生成网络模型，用于：根据所述视觉特征，获取抽象语义特征；根据所述抽象语义特征，以视频单元特征为节点，以视频单元特征之间的关系为边进行图建模，获取输出特征流；根据所述输出特征流，以边界特征为节点，以动作特征为边，构建特征关系图，并对特征关系图进行更新，获取新的边特征和节点特征，然后根据新的边特征和新的节点特征，获取所述时序提名；所述时序提名分类网络模型，用于：根据所述时序提名，获取提名特征；根据所述提名特征，以提名特征为结点，以提名之间的关系为边，构建提名关系图；根据所述提名关系图，获取所述定位结果。2.根据权利要求1所述的基于全局感知与提名关系挖掘的时序动作定位方法，其特征在于，根据所述视觉特征，获取抽象语义特征，具体包括：根据所述视觉特征，通过卷积，获取抽象语义特征；根据所述抽象语义特征，以视频单元特征为节点，以视频单元特征之间的关系为边进行图建模，获取输出特征流，具体包括：根据所述抽象语义特征，通过时序图卷积，构建静态边特征流；根据所述抽象语义特征，通过自注意力模块和图卷积，构建动态边特征流；根据所述抽象语义特征、所述静态边特征流和所述动态边特征流，进行融合构建特征图，获取所述输出特征流；根据所述输出特征流，以边界特征为节点，以动作特征为边，构建特征关系图，并对特征关系图进行更新，获取新的边特征和节点特征，然后根据新的边特征和新的节点特征，获取所述时序提名，具体包括：根据所述输出特征流，分别通过三个一维卷积操作，获取动作开始特征F
s
、结束特征F
e
和动作特征F
a
；根据所述动作开始特征F
s
、结束特征F
e
和动作特征F
a
，以动作开始特征F
s
和结束特征F
e
为节点，以动作特征F
a
为边，构建特征关系图；根据所述特征关系图，进行更新，获取新的边特征和节点特征；根据所述新的边特征和节点特征，获取所述时序提名。3.根据权利要求2所述的基于全局感知与提名关系挖掘的时序动作定位方法，其特征在于，根据所述抽象语义特征，通过时序图卷积，构建静态边特征流，具体包括：根据所述抽象语义特征，分别通过32个分支路径提取静态特征流；其中，每个分支路径包括1个图卷积操作和两个卷积操作；
将32个所述静态特征流以加和的方式融合，构建所述静态边特征流；根据所述抽象语义特征，通过自注意力模块和图卷积，构建动态边特征流，具体包括：根据所述抽象语...
【专利技术属性】
技术研发人员：杜吉祥，田煜晨，张洪博，翟传敏，雷庆，陈雁，
申请(专利权)人：华侨大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。