一种基于对比学习与图卷积神经网络的人物交互检测方法、系统、设备及介质技术方案

技术编号:42220273 阅读:18 留言:0更新日期:2024-07-30 19:00
一种基于对比学习与图卷积神经网络的人物交互检测方法、系统、设备及介质,方法为:构建深度神经网络;对深度神经网络进行初始化;数据集与通过目标检测器对其预测出的实例的框信息及其类别进行合并,生成新的图像集合,所述新的图像集合包括新的训练集和测试集;使用新的训练集,训练初始化后的深度神经网络;将新的测试集输入到训练完成的深度神经网络中,进行分类预测,得到测试集的测试准确率;系统、设备及介质用于实现该方法;本发明专利技术通过利用对比学习获取相似实例构造邻接矩阵,将所有实例作为图结构上的节点,将交互行为分类任务转换成图结构上的边分类任务,具有提升交互行为预测性能,简化任务难度的特点。

【技术实现步骤摘要】

本专利技术属于人物交互检测,特别涉及一种基于对比学习与图卷积神经网络的人物交互检测方法、系统、设备及介质


技术介绍

1、人物交互(human object interaction,hoi)检测旨在解决人和物的交互关系问题,通过研究人物交互检测可以更好地理解人与世界的互动方式,使机器具备像人类一样观察和理解周围环境并做出快速决断的机制,可以促进视频监控,服务型机器人等技术的发展。不同于常见的目标检测、动作识别等任务,人物交互检测需要更高层次的视觉理解。hoi检测旨在定位成对的人和对象实例并识别它们之间的交互,通常以<人类、对象、交互>三元组的形式产生hoi预测。

2、申请号为【202211512924.0】的专利申请中公开了一种基于二分图结构的人物交互检测方法,该方法融合多个模态的特征,通过姿态估计提取图片中人的关键点输入到关键点特征处理网络模块进行姿态信息的获取;接着将提取到的视觉特征和空间特征进行融合输入到推理网络中得到分类逻辑输出以及通过关键点特征处理网络得到分类逻辑输出,最后将两者的逻辑输出进行融合得到最后的分类结果

3、本文档来自技高网...

【技术保护点】

1.一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,所述步骤1具体包括:

3.根据权利要求1所述的一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,所述步骤2的具体方法为:

4.根据权利要求1所述的一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,所述步骤3中的人物交互检测图像数据集包括训练集和测试集,对于训练集和测试集中的所有实例,均包含标注好的框信息以及其对应的分类标签,将人物交互检测图像数据集中训练集...

【技术特征摘要】

1.一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,所述步骤1具体包括:

3.根据权利要求1所述的一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,所述步骤2的具体方法为:

4.根据权利要求1所述的一种基于对比学习与图卷积神经网络的人物交互检测方法,其特征在于,所述步骤3中的人物交互检测图像数据集包括训练集和测试集,对于训练集和测试集中的所有实例,均包含标注好的框信息以及其对应的分类标签,将人物交互检测图像数据集中训练集和测试集中的图像,经过目标检测器预测出实例的框信息及其类别,将测出的实例框及其类别与数据集合并生成新的训练集与测试集。

5.根据权利要求1或2或3或4所...

【专利技术属性】
技术研发人员:武泽海盛立杰苗启广
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1