一种社交关系识别方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及图像关系识别技术领域，提供一种社交关系识别方法、装置、电子设备及存储介质，方法包括：获取待识别图像；提取所述待识别图像第一目标人员的第一人体关键点信息，所述第二目标人员的第二人体关键点信息；根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。本申请能够提高社交关系识别的准确率。

【技术实现步骤摘要】
一种社交关系识别方法、装置、电子设备及存储介质
本专利技术涉及图像关系识别
，尤其涉及一种社交关系识别方法、装置、电子设备及存储介质。
技术介绍
社交关系(Socialrelation，SR)是人类社会的基础，所以掌握整个社会的社交关系无论对于国家治理还是科学研究而言都是极为重要的。现有的方法主要是基于一些独立的特征模块来进行分类，比如脸部表情、人与物体的关系、肢体关系和背景信息等等，这些技术是与数据集挂钩的。在PIPA和PISC数据集中，背景信息常用于判断关系类型，但是在监控场景下，从数据上来看背景信息反而不是很重要，重要的是肢体之间的交互。现有技术考虑到通过肢体数据进行表示，将两个人的关键点作为图数据来考虑，并应用图卷积模型来对关键点图数据来进行建模。但是，这对关键点进行建模，对于关系类型的表达却不是最优图。且关键点作为图数据是固定的，所以每一层的图卷积都是用的同一个图数据，不利于每一层学习不同的语意信息，对社会关系识别时准确率影响较大。可见，现有技术中，存在社会关系识别准确率低的问题。专利
技术实现思路
本专本文档来自技高网...

【技术保护点】
1.一种社交关系识别方法，其特征在于，包括以下步骤：/n获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；/n对所述待识别图像进行关键点信息提取，提取所述第一目标人员的第一人体关键点信息，提取所述第二目标人员的第二人体关键点信息，所述第一人体关键点信息与所述第二人体关键点信息为人体关节关键点信息；/n根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；/n通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；/n将所述关键点交互特征与所...

【技术特征摘要】
1.一种社交关系识别方法，其特征在于，包括以下步骤：
获取待识别图像，所述待识别图像包括第一目标人员与第二目标人员；
对所述待识别图像进行关键点信息提取，提取所述第一目标人员的第一人体关键点信息，提取所述第二目标人员的第二人体关键点信息，所述第一人体关键点信息与所述第二人体关键点信息为人体关节关键点信息；
根据所述第一人体关键点信息与所述第二人体关键点信息，分别构建所述第一目标人员与所述第二目标人员之间的关键点图数据和骨架图数据；
通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征；
将所述关键点交互特征与所述骨架交互特征进行融合并分类，得到所述第一目标人员与所述第二目标人员的社交关系。


2.如权利要求1所述的一种社交关系识别方法，其特征在于，所述根据所述第一人体关键点信息与所述第二人体关键点信息，构建所述第一目标人员与所述第二目标人员之间的关键点图数据，包括：
计算第一人体关键点信息与第二人体关键点信息的特征矩阵，将所述特征矩阵作为所述第一目标人员与所述第二目标人员之间的所述关键点图数据。


3.如权利要求2所述的一种社交关系识别方法，其特征在于，所述根据所述第一人体关键点信息与所述第二人体关键点信息，构建所述第一目标人员与所述第二目标人员之间的骨架图数据，包括：
根据所述第一人体关键点信息与所述第二人体关键点信息，确定所述第一目标人员的骨架以及所述第二目标人员的骨架；
将所述第一目标人员的骨架两端的中心点作为第一骨架点，得到所述第一目标人员的第一骨架点信息，以及将所述第二目标人员的骨架两端的中心点作为第二骨架点，得到所述第二目标人员的第二骨架点信息；
计算所述第一人体骨架点信息与所述第二人体骨架点信息的特征矩阵，将所述特征矩阵作为所述第一目标人员与所述第二目标人员之间的所述骨架图数据。


4.如权利要求3所述的一种社交关系识别方法，其特征在于，预设的所述第一图卷积模型与所述第二图卷积模型基于自适应图卷积网络构建得到，所述自适应图卷积网络包括全局邻接矩阵、个体邻接矩阵以及参数矩阵。


5.如权利要求4所述的一种社交关系识别方法，其特征在于，所述参数矩阵包括第一参数矩阵与第二参数矩阵，所述通过预设的第一图卷积模型，提取所述关键点图数据的关键点交互特征，以及通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征，包括：
对所述关键点图数据进行卷积操作，使得所述关键点图数据中的多个关键点的特征映射到同一个第一特征空间；
在所述第一特征空间中，遍历计算任意两个关键点的相似度，并对计算得到的所有关键点的相似度进行归一化后得到第一个体邻接矩阵；
根据所述关键点图数据、第一全局邻接矩阵、所述第一个体邻接矩阵以及所述第一参数矩阵，计算得到所述关键点图数据的关键点交互特征；
所述通过预设的第二图卷积模型，提取所述骨架图数据的骨架交互特征，包括：
对所述骨架图数据进行卷积操作，使得不同骨架点的特征映射到同一个第二特征空间；
在所述第二特...

【专利技术属性】
技术研发人员：余意，邢玲，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：广东;44