一种三元交互动作检测方法、系统、设备及介质技术方案

技术编号:41206812 阅读:27 留言:0更新日期:2024-05-07 22:33
本发明专利技术涉及一种三元交互动作检测方法、系统、设备及介质,方法包括:获取待测三元关系交互动作图像;确定待测三元关系交互动作图像的降维特征图;为降维特征图上每个预设区域添加位置信息,确定全局信息图;利用预设的多头注意力机制,将全局信息图和预设的查询规则进行融合,确定预测交互动作信息;将预测交互动作信息转换为三元检测框信息和交互动作类别。解决了现有技术无法对三元交互动作信息进行完整的描述,不仅降低了预测出的该交互动作信息的区域范围的准确性,还降低了该交互动作信息对应的交互动作类别的准确性的问题。

【技术实现步骤摘要】

所属的技术人员知道,本专利技术可以实现为系统、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“模块”或“系统”。此外,在一些实施例中,本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽本文档来自技高网...

【技术保护点】

1.一种三元交互动作检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述待测三元交互动作图像的降维特征图,包括:

3.根据权利要求2所述的方法,其特征在于,对所述语义特征图进行降维,获得降维特征图,包括:

4.根据权利要求1所述的方法,其特征在于,所述为所述降维特征图上每个预设区域添加位置信息,确定全局信息图,包括:

5.根据权利要求4所述的方法,其特征在于,所述利用预设的多头注意力机制,将所述全局信息图和预设的查询规则进行融合,确定预测交互动作信息,包括:

6.根据权利要求1所述的方法,其特征在...

【技术特征摘要】

1.一种三元交互动作检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述待测三元交互动作图像的降维特征图,包括:

3.根据权利要求2所述的方法,其特征在于,对所述语义特征图进行降维,获得降维特征图,包括:

4.根据权利要求1所述的方法,其特征在于,所述为所述降维特征图上每个预设区域添加位置信息,确定全局信息图,包括:

5.根据权利要求4所述的方法,其特征在于,所述利用预设的多头注意力机制,将所述全局信息图和预设的查询规则进行融合,确定预测交互动作信息,包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述预测交互动作信息转换为三元...

【专利技术属性】
技术研发人员:高芳裙张彦铎吴云韬卢涛唐盼王砾伟李圳
申请(专利权)人:武汉工程大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1