一种视频中的社交关系识别方法和装置制造方法及图纸

本申请涉及一种视频中的社交关系识别方法和装置，所述方法包括：通过对视频进行角色聚类，得到每个角色的视频片段合集；根据不同角色之间重合的视频片段，对全部角色的视频片段合集进行重整，得到社交片段合集，其中，所述社交片段合集中的每个社交片段包含至少两个角色；将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系，其中，所述角色对包括两个角色。本申请能够提高社交关系识别效果。系识别效果。系识别效果。

【技术实现步骤摘要】
一种视频中的社交关系识别方法和装置


[0001]本申请涉及视频
，尤其涉及一种视频中的社交关系识别方法和装置。

技术介绍

[0002]影视剧场景下的社交关系理解是利用技术手段和方法对视频画面进行分析，从而挖掘出高级语义信息，帮助人们快速地理解多媒体信息中的社交关系。社交关系指人与人之间的关系，比如父子、上下级、夫妻等。识别出画面中人物之间的社会关系有助于促进视频内容理解、知识图谱构建等丰富的商业服务的应用。
[0003]现有社交关系识别的技术主要由两大方向，一类是基于图像进行识别，要求图像中包含待识别的人物，通过对人物和画面特征进行识别从而判断人物之间的关系，常见于用户自己上传的相册照片中或合影，而影视剧视频画面是一直运动的，相关人物画面在同一时刻很少同时出现，即使在同一画面另一个人物也做了虚化处理，也无法捕捉到有用信息；
[0004]还有一类是基于视频进行识别，现有技术针对一个视频片段只能输出一种关系，但实际影视剧中一个片段经常会出现多种关系，比如夫妻，亲子等，导致最终社交关系识别效果不好。

技术实现思路

[0005]为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种视频中的社交关系识别方法和装置。
[0006]第一方面，本申请提供了一种视频中的社交关系识别方法，所述方法包括：
[0007]通过对视频进行角色聚类，得到每个角色的视频片段合集；
[0008]根据不同角色之间重合的视频片段，对全部角色的视频片段合集进行重整，得到社交片段合集，其中，所述社交片段合集中的每个社交片段包含至少两个角色；
[0009]将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系，其中，所述角色对包括两个角色。
[0010]可选地，将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系包括：
[0011]确定所述社交片段合集中的角色；
[0012]从所述视频中，查找所述社交片段合集中每个角色的角色图像，其中，所述角色图像是通过人物检测框得到的；
[0013]将所述角色图像和所述社交片段合集输入所述目标识别模型；
[0014]通过所述目标识别模型对所述社交片段合集的特征和所述角色图像的特征进行分析，得到所述社交片段合集中角色对之间的社交关系。
[0015]可选地，所述通过对视频进行角色聚类，得到每个角色的视频片段合集包括：
[0016]通过角色聚类方法，将所述视频中同一人物在同一场景下的视频帧进行聚类，得
到多个聚类中心的视频帧合集，其中，每个聚类中心指示一个人物；
[0017]将视频帧合集按照包含的视频帧数量由大到小进行排序；
[0018]选取前n个视频帧合集作为主要角色的视频片段合集。
[0019]可选地，将视频帧合集按照包含的视频帧数量由大到小进行排序之前，所述方法还包括：
[0020]将每两个视频帧合集中的聚类中心进行相似度计算；
[0021]若相似度小于预设阈值，则确定所述两个视频帧合集中的聚类中心为同一个人物；
[0022]将所述两个视频帧合合集并为一个视频帧合集。
[0023]可选地，选取前n个视频帧合集作为主要角色的视频片段合集包括：
[0024]从排序的多个视频帧合集中，选取前n个视频帧合集；
[0025]删除所述前n个视频帧合集中不符合预设要求的目标视频帧合集，其中，所述目标视频帧合集中的人物模糊或背影遮挡；
[0026]按照所述排序选取视频帧合集，以补齐n个视频帧合集；
[0027]将补齐后的n个视频帧合集作为主要角色的视频片段合集。
[0028]可选地，根据不同角色之间重合的视频片段，对全部角色的视频片段合集进行重整，得到社交片段合集包括：
[0029]确定视频片段合集中每个视频片段的起始时刻和结束时刻；
[0030]根据所述起始时刻和所述结束时刻，若角色的视频片段之间有交集，则将有交集的至少两个视频片段合并为一个社交片段，其中，所述社交片段中包含至少两个角色；
[0031]将全部社交片段构成视频片段合集。
[0032]可选地，将所述社交片段合集输入目标识别模型之前，所述方法还包括：
[0033]将视频样本和社交关系标签输入初始识别模型，其中，所述视频样本的每个社交片段样本中包括至少两个角色；
[0034]通过所述初始识别模型对所述社交片段进行分析，输出社交关系结果；
[0035]若所述社交关系结果和所述社交关系标签之间的交叉熵损失函数大于损失阈值，则将梯度反传给神经网络参数；
[0036]当迭代多次至交叉熵损失函数不大于损失阈值时，得到所述目标识别模型。
[0037]可选地，所述社交片段合集中的特征，包括画面特征、文字特征和语音特征。
[0038]第二方面，提供了一种视频中的社交关系识别装置，所述装置包括：
[0039]聚类模块，用于通过对视频进行角色聚类，得到每个角色的视频片段合集；
[0040]重整模块，用于根据不同角色之间重合的视频片段，对全部角色的视频片段合集进行重整，得到社交片段合集，其中，所述社交片段合集中的每个社交片段包含至少两个角色；
[0041]识别模块，用于将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系，其中，所述角色对包括两个角色。
[0042]第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0043]存储器，用于存放计算机程序；
[0044]处理器，用于执行存储器上所存放的程序时，实现任一所述的视频中的社交关系识别方法步骤。
[0045]第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的视频中的社交关系识别方法步骤。
[0046]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
[0047]本申请实施例提供的该方法，服务器获取每个角色的视频片段合集，根据重合的视频片段，确定包含至少两个角色的社交片段，从而得到社交片段合集。服务器通过目标识别模型对社交片段合集进行分析，得到每两个角色之间的社交关系。本申请通过对至少包含两个角色的社交片段进行分析，可以得到视频中的全部社交关系，提高社交关系识别效果。
附图说明
[0048]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0049]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频中的社交关系识别方法，其特征在于，所述方法包括：通过对视频进行角色聚类，得到每个角色的视频片段合集；根据不同角色之间重合的视频片段，对全部角色的视频片段合集进行重整，得到社交片段合集，其中，所述社交片段合集中的每个社交片段包含至少两个角色；将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系，其中，所述角色对包括两个角色。2.根据权利要求1所述的方法，其特征在于，将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系包括：确定所述社交片段合集中的角色；从所述视频中，查找所述社交片段合集中每个角色的角色图像，其中，所述角色图像是通过人物检测框得到的；将所述角色图像和所述社交片段合集输入所述目标识别模型；通过所述目标识别模型对所述社交片段合集的特征和所述角色图像的特征进行分析，得到所述社交片段合集中角色对之间的社交关系。3.根据权利要求1所述的方法，其特征在于，所述通过对视频进行角色聚类，得到每个角色的视频片段合集包括：通过角色聚类方法，将所述视频中同一人物在同一场景下的视频帧进行聚类，得到多个聚类中心的视频帧合集，其中，每个聚类中心指示一个人物；将视频帧合集按照包含的视频帧数量由大到小进行排序；选取前n个视频帧合集作为主要角色的视频片段合集。4.根据权利要求3所述的方法，其特征在于，将视频帧合集按照包含的视频帧数量由大到小进行排序之前，所述方法还包括：将每两个视频帧合集中的聚类中心进行相似度计算；若相似度小于预设阈值，则确定所述两个视频帧合集中的聚类中心为同一个人物；将所述两个视频帧合合集并为一个视频帧合集。5.根据权利要求3所述的方法，其特征在于，选取前n个视频帧合集作为主要角色的视频片段合集包括：从排序的多个视频帧合集中，选取前n个视频帧合集；删除所述前n个视频帧合集中不符合预设要求的目标视频帧合集，其中，所述目标视频帧合集中的人物模糊或背影遮挡；按照所述排序选取视频帧合集，以补齐n个视频帧合集；将补齐后的n个视频帧合集作为主要角色的视频片段...

【专利技术属性】
技术研发人员：毕泊，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：