当前位置: 首页 > 专利查询>福州大学专利>正文

一种基于多层次细化的U-Transformer动作分割方法技术

技术编号:41111559 阅读:24 留言:0更新日期:2024-04-25 14:03
本发明专利技术提出一种基于多层次细化的U‑Transformer动作分割方法,用于分割视频动作,包括以下步骤;步骤S1:对输入视频进行通过BRP网络提取视频特征;步骤S2:首先将提取的视频特征输入U‑Transformer编码器进行编码,通过邻域注意力对视频短期信息与长期信息进行聚合,而后通过解码器对编码特征突出特征表示;步骤S3:通过分类、平滑、circle三种损失对动作分割效果进行评估优化;步骤S4:调整U‑Transformer结构中感受野重复步骤S2、S3逐步动作分割细化分割效果;步骤S5:根据特征生成视频动作分割序列;本发明专利技术能够有效地对视频动作进行分割。

【技术实现步骤摘要】

本专利技术涉及模式识别与计算机视觉,尤其是一种基于多层次细化的u-transformer动作分割方法。


技术介绍

1、随着科技的发展,动作检测是近些年来的热点研究问题,在无人驾驶、安全监控、交通运输、人机交互系统等领域,动作分割的应用越来越广泛。现有的大多数最先进的动作检测方法采用transformer架构,tansformer能够有效地替代卷积神经网络应用于动作分割任务中。而transformer在动作分割的应用仍存在许多问题,一方面,transformer对输入数据的结构归纳偏置较少,因此需要大量的数据进行训练,而相比于其他领域数据集规模,动作分割数据集规模较小。另一方面,transformer中的自注意力层难以直接处理过长的未剪辑的样本视频序列。现主流的方法基于transformer通过局部连通性和预定义的层次表示模式,或者通过局部、全局注意力替换来解决这两个问题,但这样很难挖掘相邻行为的上下文关系或者不能捕获长期时序信息。因此,如何有效地利用transformer进行建模仍然是一个悬而未决的问题。针对上述情况,我们提出一种基于多层次细化的u-tra本文档来自技高网...

【技术保护点】

1.一种基于多层次细化的U-Transformer动作分割方法,用于分割视频动作,其特征在于:包括以下步骤;

2.根据权利要求1所述的一种基于多层次细化的U-Transformer动作分割方法,其特征在于:步骤S1包括以下步骤;

3.根据权利要求2所述的一种基于多层次细化的U-Transformer动作分割方法,其特征在于:步骤S2具体包括以下步骤:

4.根据权利要求1所述的一种基于多层次细化的U-Transformer动作分割方法,其特征在于:步骤S3包括以下步骤;

5.根据权利要求1所述的一种基于多层次细化的U-Transformer动...

【技术特征摘要】

1.一种基于多层次细化的u-transformer动作分割方法,用于分割视频动作,其特征在于:包括以下步骤;

2.根据权利要求1所述的一种基于多层次细化的u-transformer动作分割方法,其特征在于:步骤s1包括以下步骤;

3.根据权利要求2所述的一种基于多层次细化的u-transformer动作分割方法,其特征在于:步骤s2具体包括以下步骤:

...

【专利技术属性】
技术研发人员:柯逍缪欣
申请(专利权)人:福州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1