一种基于人物属性和上下文的社会关系识别方法技术

本发明专利技术属于计算机视觉的技术领域，具体涉及一种基于人物属性和上下文的社会关系识别方法，包括如下步骤：步骤一、分别训练不同属性的CNN模型提取出不同属性表达，再拼接不同属性表达作为输入，训练SVM模型识别关系；步骤二、输入评估数据得到不同关系的得分，然后，将物体区域图像特征和人物区域图像特征分别初始化知识图中物体节点以及关系节点；步骤三、采用attention机制去掉对关系识别无意义的背景物体，得到得分后，与属性模型的得分进行融合，得到最终的识别结果。本发明专利技术将人物属性与上下文背景相结合做社会关系识别，有助于提高了识别结果的准确率。

【技术实现步骤摘要】
一种基于人物属性和上下文的社会关系识别方法
本专利技术属于计算机视觉的
，具体涉及一种基于人物属性和上下文的社会关系识别方法。
技术介绍
社会关系，是人类个体间组成的关系，是社会结构的基础。当我们看一张图像时，便会很自然地联想图中人物间的关系，这能为人物性格以及可能将采取的行为提供线索。在计算机视觉领域，社会关系信息也大有用处，可被用于提高其他任务准确率，如人物轨迹预测、多目标跟踪等。现如今，科研工作者已在目标检测、场景解析等场景理解方面的任务取得了相当的进步，而对于社会关系理解这一在图像理解领域与场景理解同等重要的任务上所投注的关注还不够多。在社会关系理解这一领域，已有科研工作者提出的一些解决方案。主要分为以下四类。第一类侧重于识别亲缘关系，如夫妻、亲子、兄弟姐妹等；第二类侧重于识别活动中的人物关系，但此关系定义是基于身份的而非活动中直接的角色，例如上下级而非主人宾客；第三类侧重于社会中某个文化群体，例如洛丽塔、正太等，将外貌特征相近的归为一类；第四类基于是基于人物姿势表情来分类。由以上研究方案，不难发现社会关系的划分定义是十分本文档来自技高网...

【技术保护点】
1.一种基于人物属性和上下文的社会关系识别方法，其特征在于，包括如下步骤：/n步骤一、分别训练不同属性的CNN模型提取出不同属性表达，再拼接不同属性表达作为输入，训练SVM模型识别关系；/n步骤二、输入评估数据得到不同关系的得分，然后，将物体区域图像特征和人物区域图像特征分别初始化知识图中物体节点以及关系节点；/n步骤三、采用attention机制去掉对关系识别无意义的背景物体，得到得分后，与属性模型的得分进行融合，得到最终的识别结果。/n

【技术特征摘要】
1.一种基于人物属性和上下文的社会关系识别方法，其特征在于，包括如下步骤：
步骤一、分别训练不同属性的CNN模型提取出不同属性表达，再拼接不同属性表达作为输入，训练SVM模型识别关系；
步骤二、输入评估数据得到不同关系的得分，然后，将物体区域图像特征和人物区域图像特征分别初始化知识图中物体节点以及关系节点；
步骤三、采用attention机制去掉对关系识别无意义的背景物体，得到得分后，与属性模型的得分进行融合，得到最终的识别结果。


2.如权利要求1所述的一种基于人物属性和上下文的社会关系识别方法，其特征在于，所述步骤一包括：
将两个人物的头部区域或身体区域分别输入到Caffet卷积网络提取特征，再将所得两个人的特征拼接起来作为输入到三层全连接网络；
最后一层输出为该属性特征表达得到所有属性表达后，将其输入到SVM分类器中，最终得到在所有社会关系上的评分。


3.如权利要求1所述的一种基于人物属性和上下文的社会关系识别方法，其特征在于，所述步骤一中，所述CNN模型为双流CNN模型。


4.如权利要求2所述的一种基于人物属性和...

【专利技术属性】
技术研发人员：黄梦园，胡清华，朱鹏飞，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12