人-物交互检测的方法、设备、介质及程序产品技术

本发明专利技术提供了一种人‑物交互检测的方法、设备、介质及程序产品，该方法包括：S1，使用神经网络从图像中提取图像的特征表示；S2，计算图像的绝对位置编码；S3，获得图像的位置敏感特征图；S4，从位置敏感特征图中提取图像的深层特征；S5，使用DETR模型提取图像中不同目标的特征；S6，确定不同目标的特征之间的关联向量；S7，获得目标i的动态关联编码DRE<subgt;i</subgt;；S8，使用动态关联编码DRE<subgt;i</subgt;对图像中的目标进行分类，获得目标的类别和对应的边界框；S9，使用所获得的类别和对应的边界框实现人与物体之间的交互检测。利用上述技术方案，可增加空间信息的保留和对细节特征的利用，并提高人‑物交互检测的精确性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，特别是涉及一种人-物交互检测的方法、设备、介质及程序产品。

技术介绍

1、人-物交互(hoi,human object interaction)即人-物体交互检测是近年来计算机视觉领域的新兴研究方向。人-物交互检测的主要目的是定位人体和物体，并识别出人体和物体之间的交互关系。hoi检测旨在利用人体、物体以及人-物对的特征将人与物体之间的交互进行关联，从而实现对图像或视频中的动作分类。

2、目前，传统的人-物交互检测方法在交互检测的精确性和鲁棒性上表现不佳，尤其是在空间信息的保留和细节特征的利用方面存在明显的缺点，这些问题限制了交互检测技术在复杂场景下的应用。

技术实现思路

1、本专利技术的实施例提供了一种人-物交互检测的方法、设备、介质及程序产品，以增加空间信息的保留和对细节特征的利用，提高人-物交互检测的精确性和鲁棒性。

2、为了实现上述目的，一方面，提供一种人-物交互检测的方法，包括：

3、s1，使用深层卷积神经网络从输入的图像中提取所述图本文档来自技高网...

【技术保护点】

1.一种人-物交互检测的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述步骤S8之后还包括：

3.根据权利要求2所述的方法，其特征在于，所述增强动态关联编码包括：

4.根据权利要求3所述的方法，其特征在于，还包括：使用类内多样化损失函数来优化类别内特征分别，其中，所述类内多样化损失函数为：

5.根据权利要求1所述的方法，其特征在于，通过正弦和余弦函数的不同频率组合来计算所述绝对位置编码，其中：

6.根据权利要求1所述的方法，其特征在于，通过逐元素相加所述特征表示以及所述绝对位置编码来融合所述特征表示和所...

【技术特征摘要】

1.一种人-物交互检测的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在所述步骤s8之后还包括：

3.根据权利要求2所述的方法，其特征在于，所述增强动态关联编码包括：

4.根据权利要求3所述的方法，其特征在于，还包括：使用类内多样化损失函数来优化类别内特征分别，其中，所述类内多样化损失函数为：

5.根据权利要求1所述的方法，其特征在于，通过正弦和余弦函数的不同频率组合来计算所述绝对位置编码，其中：

6.根据权利要求1所述的方法，其特征在于，通过逐元素相加所述特征表示以及所述绝对位置编码来融合所...

【专利技术属性】
技术研发人员：王宗跃，刘昭亮，曾炳辉，苏锦河，蔡国榕，
申请(专利权)人：集美大学，
类型：发明
国别省市：