一种递进式人物交互识别方法及系统技术方案

本发明专利技术涉及一种递进式人物交互识别方法及系统，包括：获取待识别的单张图像；将图像输入人体关键点识别模型，获得身体各部位关键点坐标，根据预先确定的具体应用场景确定相关关键点坐标，相关关键点坐标属于某一个或者多个身体部位；将相关关键点坐标输入预先训练好的姿态相似性模型，输出预测姿态；根据相关关键点坐标计算待识别物体区域，根据待识别物体区域截取图像，识别截取图像中每个物体的物体包围框、物体类型及相应的交互动作；根据预测姿态、交互动作，计算每个交互动作的得分，选择最高分的交互动作为最终的识别结果。与现有技术相比，本发明专利技术使用关键点来协助判断交互动作，速度和准确率都有提升，能够实现精细动作的有效识别。效识别。效识别。

【技术实现步骤摘要】
一种递进式人物交互识别方法及系统


[0001]本专利技术涉及计算机视觉
，尤其是涉及一种递进式人物交互识别方法及系统。

技术介绍

[0002]人物交互(HOI)识别的目的是理解场景中人物关系，包括人和物的定位识别，以及交互的判别。人物交互识别对于关系学习，场景理解和动作理解都具有重要的意义。人物交互最早来源于动作理解，相关人员发现人周边的被人交互的物体对于人的动作识别能够提供很强的判别信息。传统的针对人物交互的工作主要通过手工特征，通常比较繁琐。近年来，随着深度学习的发展以及相关人物交互识别大数据集的出现，研究人员对于人物交互识别的兴趣逐渐加强。
[0003]目前，识别人物交互动作时，通常有两类方法：一、使用一个模型同时输出三个分支，分别用于检测人体、物体、以及两者交互的部分；二、使用两个模型进行检测识别，先检测人体、物体，再识别交互部分。训练这类模型需要的标注数据需要包括人体框、物体框和交互框，样本数量需要达成数十万张。
[0004]上述现有方法在识别日常活动中的大动作时，即使有较多分类(最多是200个类别)，由于大动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种递进式人物交互识别方法，其特征在于，该方法包括：获取待识别的单张图像；将待识别的单张图像输入人体关键点识别模型，获得身体各部位关键点坐标，根据预先确定的具体应用场景从所述的身体各部位关键点坐标中确定相关关键点坐标，所述的相关关键点坐标属于某一个或者多个身体部位；将所述的相关关键点坐标输入预先训练好的姿态相似性模型，输出预测姿态；根据所述的相关关键点坐标计算待识别物体区域，根据待识别物体区域截取图像，识别截取图像中每个物体的物体包围框、物体类型及相应的交互动作；根据所述的预测姿态、交互动作，计算每个交互动作的得分，选择最高分的交互动作为最终的识别结果。2.根据权利要求1所述的一种递进式人物交互识别方法，其特征在于，所述的姿态相似性模型的训练过程包括：获取训练用的图像作为初始训练数据；使用预先训练的人体关键点识别模型识别图像中的身体各部位关键点坐标；使用标注工具标注图像中的人体姿态；根据预先确定的应用场景从身体各部位关键点坐标中确定相关关键点坐标，将<相关关键点坐标、人体姿态>数据对作为训练数据，训练姿态相似性模型。3.根据权利要求1所述的一种递进式人物交互识别方法，其特征在于，所述的根据待识别物体区域截取图像，识别截取图像中的每个物体的物体包围框、物体类型及相应的交互动作，包括：将待识别物体区域截取图像输入到预先训练好的物体及交互动作识别模型，输出每个物体的物体包围框、物体类型及相应的交互动作。4.根据权利要求3所述的一种递进式人物交互识别方法，其特征在于，所述的物体及交互动作识别模型的训练过程包括：获取训练用的图像作为初始训练数据；利用预先训练的人体关键点识别模型和预先训练的物体识别模型识别初始训练数据中的人体关键点及每个物体的物体包围框、物体类型；利用预先确定的具体应用场景选择相关关键点坐标和相关物体类型，作为初始标注数据；将初始标注数据送入标注工具进行交互动作标注，得到训练数据；使用训练数据训练物体及交互动作识别模型。5.一种递进式人物交互识别系统，其特征在于，该系统包括：获取模块(1)，用于获取待识别的单张图像；确定模块(2)，用于将待识别的单张图像输入人体关键点识别模型，获得身体各部位关键点坐标，根据预先确定的具体应用场景从所述的身体各部位关键点坐标中确定相关关键点坐标，所述的相关关键点坐标属于某一个或者多个身体部位；姿态预测模块(3)，用于所述的相关关键点坐标输入预先训练好的姿态相似性模型，输出预测姿态；物体识别及交互动作模块(4)，用于根据所述的相关关键点坐标计算待识别物体区域，
根据待识别物体区域截取图像，识别截取图像中每个物体的物体包围框、物体类型及相应的交互动作；计算模块(5)，用于根据所述的预测姿态、交互动作，计算每个交互动作的得分，选择最高分的交互动作为最终的识别结果。6.根据权利要求5所述的一种递进式人物交互识别系统，其特征在于，所述的姿态预测模块(3)包括：姿态相似性模型训练单元，用于获取训练用的图像作为初始训练数据；使用预先训练的人体关键点识别模型识别图像中的身体各部位关键点坐标；使用标注工具标注图像中的人体姿态；根据预先确定的应用场景从身体各部位关键点坐标中确定相关关键点坐标，将<相关关键点坐标、人体姿态>数据对作为训练数据，训练姿态相似性模型；姿态预测单元，用于将确定的相关关键点坐标输入预先训练好的姿态相似性模型，输出预测姿态。7.根据权利要求5所述的一种递进式人物交互识别系统，其特征在于，所述的物体识别及交互动作模块(4)包括：物体识别与交互动作训练单元，用于获取训练用的图像作为初始训练数据；利用预先训练的人体关键点识别模型和预先训练的物体识别模型识别初始训练数据中的人体关键点及每个物体的物体包围框、物体类型；利用预先确定的具体应用场景选择相关关键点坐标和相关物体类型，作为初始标注数据；将初始标注数据送入标注工具进行交互动作标注，得到训练数据；使用训练数据训练物体及交互动作识别模型；物体识别与交互动作预测单元，用于将待识别物体区域截取图像输入到训练好的物体及交互动作识别模型，输出物体及相应的交互动作。8.一种递进式人物交互识别方法，其特征在于，该方法包括：获取待识别的视频；将各视频帧输入到人体关键点识别模型，获取各视频帧的身体各部位关键点坐标，根据预先确定的具体应用场景从身体各部位关键点坐标确定相关关键点坐标，所述相关关键点坐标属于某一个或者多个身体部位；将各视频帧及其前面N
‑
1帧组成视频帧序列，前面不足N
‑
1帧的视频帧前面插入空帧补够N
‑

【专利技术属性】
技术研发人员：宋钰涛，许剑青，李虎，曾毅峰，李文清，唐琦松，林平，吴鑫，靳志业，陶俊鑫，
申请(专利权)人：上海艺赛旗软件股份有限公司，
类型：发明
国别省市：