System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 交互关系检测方法、装置、计算机设备及存储介质制造方法及图纸_技高网

交互关系检测方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:40538930 阅读:9 留言:0更新日期:2024-03-05 18:53
本申请公开了交互关系检测方法、装置、计算机设备及存储介质。该方法包括:对待检测图像进行编码处理,得到待检测图像对应的序列表示;对序列表示进行解码处理,得到待检测图像对应的多个对象实例表示和多个交互表示;对多个交互表示分别进行对象实例识别,得到每个交互表示对应的目标向量,并根据目标向量和多个对象实例表示,从多个对象实例表示和多个交互表示得到目标对象实例表示和目标交互表示;根据目标对象实例表示和目标交互表示,得到待检测图像的交互检测结果。采用该方法可以提高检测的效率和准确性。

【技术实现步骤摘要】

本申请涉及三元组检测,尤其涉及一种交互关系检测方法、装置、计算机设备及存储介质


技术介绍

1、识别图像中人物和其他对象实例的交互,是实现场景理解的重要步骤。比如,在实际应用中,可以通过理解图像中人物交互关系使得机器无需人物指令自行理解人物需求并切换相应不同功能。在进行人物交互识别时,主要分为两个任务:定位人与物体和确定人与物体之间的交互动作,比如人吃面包、人手持遥控器。

2、现有的人物交互关系的识别,是先检测出图像中的行人和物体,然后将人与物体单独进行后去的处理,进而实现检测识别。该方式不仅耗时成本高,而且检测识别的效率和准确性也不高。尽管目前也有算法提出通过启发式的简单匹配取代先前的冗余计算方法,但仍然存在上述问题。


技术实现思路

1、本申请实施例提供了一种交互关系检测方法、装置、计算机设备及存储介质,提高交互关系的检测和识别的效率和准确性。

2、第一方面,本申请实施例提供了一种交互关系检测方法,其包括:

3、对待检测图像进行编码处理,得到所述待检测图像对应的序列表示;

4、对所述序列表示进行解码处理,得到所述待检测图像对应的多个对象实例表示和多个交互表示;

5、对所述多个交互表示分别进行对象实例识别,得到每个交互表示对应的目标向量,并根据所述目标向量和所述多个对象实例表示,从多个对象实例表示和多个交互表示得到目标对象实例表示和目标交互表示;

6、根据所述目标对象实例表示和所述目标交互表示,得到所述待检测图像的交互检测结果。

7、第二方面,本申请实施例提供了一种交互关系检测装置,其包括:

8、特征提取模块,用于对待检测图像进行编码处理,得到所述待检测图像对应的序列表示;

9、解码处理模块,用于对所述序列表示进行解码处理,得到所述待检测图像对应的多个对象实例表示和多个交互表示;

10、计算对比模块,用于对所述多个交互表示分别进行对象实例识别,得到每个交互表示对应的目标向量,并根据所述目标向量和所述多个对象实例表示,从多个对象实例表示和多个交互表示得到目标对象实例表示和目标交互表示;

11、信息确定模块,用于根据所述目标对象实例表示和所述目标交互表示,得到所述待检测图像的交互检测结果。

12、第三方面,本申请实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的交互关系检测方法。

13、第四方面,本申请实施例还提供了一种存储介质,其中所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的交互关系检测方法。

14、本申请实施例提供了一种交互关系检测方法、装置、计算机设备及存储介质,在进行交互关系的检测时,首先对待检测图像进行特征识别,并基于transformer的编码器对图像特征进行语义特征编码,得到待检测图像的序列表示,然后基于并行解码器对对象实例表示和交互表示进行获取,接着对交互表示基于前馈神经网络进行处理得到对象实例向量,包括人向量和物向量,最后通过所得到的对象实例向量在对象实例表示中进行匹配,以得到待检测图像所对应的目标对象实例表示和目标交互表示,实现对待检测图像的三元组信息的获取。实现了在进行图像的三元组信息的获取时,通过各对象之间的关联处理,能够深度的对图像语义进行识别,提高了检测获取的效率,同时信息的交互处理也更好的提高交互关系的准确性。

本文档来自技高网...

【技术保护点】

1.一种交互关系检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对待检测图像进行编码处理,得到所述待检测图像对应的序列表示,包括:

3.根据权利要求2所述的方法,其特征在于,所述对待检测图像进行特征识别,得到所述待检测图像对应的图像特征,包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述图像特征进行编码处理,得到所述待检测图像对应的序列表示,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述序列表示进行解码处理,得到所述待检测图像对应的多个对象实例表示和多个交互表示,包括:

6.根据权利要求1所述的方法,其特征在于,所述对所述多个交互表示分别进行对象实例识别,得到每个交互表示对应的目标向量,并根据所述目标向量和所述多个对象实例表示,从多个对象实例表示和多个交互表示得到目标对象实例表示和目标交互表示,包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述第一相似度和所述第二相似度,在所述多个对象实例表示中得到目标对象实例表示以及目标交互表示,包括:

8.根据权利要求1至7中任一项所述的方法,其特征在于,所述根据所述目标对象实例表示和所述目标交互表示,得到所述待检测图像的交互检测结果,包括:

9.一种交互关系检测装置,其特征在于,所述装置包括:

10.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的交互关系检测方法的步骤。

11.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至8任一项所述的交互关系检测方法的步骤。

...

【技术特征摘要】

1.一种交互关系检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对待检测图像进行编码处理,得到所述待检测图像对应的序列表示,包括:

3.根据权利要求2所述的方法,其特征在于,所述对待检测图像进行特征识别,得到所述待检测图像对应的图像特征,包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述图像特征进行编码处理,得到所述待检测图像对应的序列表示,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述序列表示进行解码处理,得到所述待检测图像对应的多个对象实例表示和多个交互表示,包括:

6.根据权利要求1所述的方法,其特征在于,所述对所述多个交互表示分别进行对象实例识别,得到每个交互表示对应的目标向量,并根据所述目标向量和所述多个对象实例表示,从多个对象实例表示和多个交互表示得到目标对象实例表示...

【专利技术属性】
技术研发人员:綦晨晓霰心培
申请(专利权)人:TCL科技集团股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1