一种基于高阶图神经网络的社交关系识别方法技术

本发明专利技术提出了一种基于高阶图神经网络的社交关系识别方法，主要涉及深度学习领域中先提取相关特征以构建图结构，再利用高阶图神经网络进行图推理，最后由分类器进行社交关系分类的问题。该方法包括：通过四个预训练模型和一个全连接层分别提取两张人脸、人物对联合区域、场景以及人物对空间位置特征；然后将提取的特征作为结点构建全连接的无向图送入图神经网络进行图推理；最后，利用8个二分类器结合图推理结果进行社交关系分类。本发明专利技术利用预训练模型和一个全连接层充分提取各层次特征，并通过高阶图神经网络有效推理隐藏在各层次特征之间的社交关系信息，提升了分类器的效果，达到了较高准确率的社交关系识别。达到了较高准确率的社交关系识别。达到了较高准确率的社交关系识别。

【技术实现步骤摘要】
一种基于高阶图神经网络的社交关系识别方法


[0001]本专利技术涉及深度学习领域中的社交关系识别问题，尤其是涉及一种基于高阶图神经网络的社交关系识别方法。

技术介绍

[0002]在计算机视觉领域中，社交关系是理解图像中人的行为等的重要线索，而基于图像的社交关系识别是理解人们日常互动交流的一种关键方法。现有的研究大多通过提取人脸、身体以及整张图像的相关特征来进行社交关系识别，取得了较高的准确率。另外，图神经网络作为一种全新的网络，能够模拟人的思维对图进行推理，为社交关系识别提供了新的工具和方法。目前，社交关系识别在社交机器人、社交媒体、城市公共空间等相关应用中发挥着重要作用。
[0003]社交关系识别作为计算机视觉领域的重要研究内容，受到了国内外研究者的广泛关注。相关研究方法基本局限于利用提取的相关特征直接拼接融合进行社交关系分类，忽略了特征之间的相关性，无法挖掘其中的社交关系信息。而图神经网络，尤其是高阶图神经网络正好能胜任这一任务，完成对特征之间的相关性推理。因此，本专利通过预训练模型和一个全连接层分别提取图像中人物对的两张人脸特征、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高阶图神经网络的社交关系识别方法，其特征在于：a.通过不同的预训练模型有针对性地提取图中不同层次的特征，包括人物对的两张人脸的特征、人物对联合区域的特征以及整张图片的场景特征；b.通过构建8个二分类器实现8分类的功能，对推理结果进行有效利用，以准确划分主导(dominant)、竞争(competitive)、信任(trusting)、温暖(warm)、友善(friendly)、亲密(involved)、坦诚(demonstrative)、鼓励(assured)等8类社交关系；c.利用预训练模型提取的特征和计算得到的空间位置特征作为结点构建无向图，通过高阶图神经网络模拟人的思维对图进行推理；该方法主要包括以下步骤：(1)数据处理与增强：对作为输入的人物对的两张人脸、人物对联合区域以及整张图片统一裁剪为224
×
224的图像，并做随机修改亮度、对比度、随机仿射变换以及归一化等数据增强处理，其中对整张图片额外做随机水平翻转处理；另外，将人物对的两张人脸分别的空间位置和面积信息归一化后作为一路输入；(2)预训练模型选择：在VGGFACE2、ImageNet、Places365数据集上训练得到的预训练模型分别作为人物对的两张人脸、人物对联合区域以及整张图片的特征提取网络，并删除各网络最后的全连接层；(3)模型构建：模型由三部分构成，第一部分由4个预训练的RESNET模型和1个全连接层构成，分别提取两张人脸特征、人物对联合区域特征...

【专利技术属性】
技术研发人员：卿粼波，高建军，李林东，吴晓红，陈洪刚，
申请(专利权)人：四川大学，
类型：发明
国别省市：