基于特征增强重组样本学习的交互动作识别方法及系统技术方案

本发明专利技术公开了基于特征增强重组样本学习的交互动作识别方法及系统，包括：识别过程中，采集一张待识别图像，通过特征提取网络和Transformer编码器提取全局特征，通过两个Transformer解码器分别提取得到人‑物特征和交互动作特征，生成人‑物交互预测；训练过程中，选取一对包含语义相似的物体类别的待识别图像，选取其与正确标签最匹配的预测对应的人‑物特征和交互动作特征，通过交互动作解码器融合为重组交互动作特征，并生成重组人‑物交互预测，将原始样本的人‑物交互正确标签重组为重组样本的正确标签，计算原始样本和重组样本的损失函数值，加权求和得到本批样本的损失函数值。本发明专利技术增强了重组交互动作特征的表征能力与可泛化性，促进了人‑物交互视觉特征的学习，提升了识别准确性，尤其对于样本数量极少的人‑物交互类别。

【技术实现步骤摘要】

本专利技术涉及人-物交互动作识别，具体为基于特征增强重组样本学习的交互动作识别方法及系统。

技术介绍

1、人-物交互动作识别是动作识别领域的一项关键子任务，需要检测出图像中存在交互的人和物体，并识别这些人与物体之间的交互动作类别。人-物交互动作识别是深化视觉场景理解的重要核心技术，在图像视频检索、安防监控、无人驾驶等多个领域具有广泛的应用前景。

2、早期基于卷积神经网络(cnn)的方法分两个阶段进行人-物交互动作识别：首先使用预训练的目标检测网络对图像中的人和物进行检测，并逐一配对为候选人-物对；然后根据候选人-物对的视觉特征，结合例如空间关系、人体姿势、语言先验等信息对交互动作类别进行预测。随着transformer架构在计算机视觉领域带来巨大变革，近期人-物交互动作识别研究提出了多种基于transformer的一阶段方法，实现端到端的人-物交互动作识别。

3、人-物交互动作识别存在严重的长尾分布问题，即不同类别的样本数量很不均衡，训练得到的模型更容易识别出样本充足的交互类别，对于样本稀少的类别的识别精度则大大降低。针对此问题，一本文档来自技高网...

【技术保护点】

1.基于特征增强重组样本学习的交互动作识别方法，其特征在于，包括：

2.如权利要求1所述的基于特征增强重组样本学习的交互动作识别方法，其特征在于：所述通过特征提取网络和Transformer编码器提取全局特征包括，特征提取网络初步提取待识别图像的视觉特征图X，并展平至维度为(H×W)×C；

3.如权利要求2所述的基于特征增强重组样本学习的交互动作识别方法，其特征在于：所述根据人-物特征和交互动作特征生成人-物交互预测包括，人-物特征Rp通过一组前馈神经网络生成人-物预测

4.如权利要求3所述的基于特征增强重组样本学习的交互动作识别方法，其特征在于：所述...

【技术特征摘要】

1.基于特征增强重组样本学习的交互动作识别方法，其特征在于，包括：

2.如权利要求1所述的基于特征增强重组样本学习的交互动作识别方法，其特征在于：所述通过特征提取网络和transformer编码器提取全局特征包括，特征提取网络初步提取待识别图像的视觉特征图x，并展平至维度为(h×w)×c；

3.如权利要求2所述的基于特征增强重组样本学习的交互动作识别方法，其特征在于：所述根据人-物特征和交互动作特征生成人-物交互预测包括，人-物特征rp通过一组前馈神经网络生成人-物预测

4.如权利要求3所述的基于特征增强重组样本学习的交互动作识别方法，其特征在于：所述根据人-物特征和交互动作特征生成人-物交互预测还包括，通过正确标签对人-物交互预测进行训练，单次训练过程包括以下步骤：

5.如权利要求4所述的基于特征...

【专利技术属性】
技术研发人员：梁爽，庄子鲲，谢驰，闫书玮，朱宏明，
申请(专利权)人：同济大学，
类型：发明
国别省市：