视频中互动关系的识别方法、装置、设备及介质制造方法及图纸

本申请涉及一种视频中互动关系的识别方法、装置、设备及介质，其中，该方法包括：对视频数据进行抽帧处理，得到包括目标人物与物品的目标图片序列；根据目标图片序列生成关系拓扑图；将关系拓扑图输入至预设识别模型，以使预设识别模型对关系拓扑图进行识别，输出目标人物与物品的互动关系。通过对视频中图片的特征和相对位置建立关系拓扑图，并输入预设识别模型中进行识别，得到互动关系的识别结果，解决了无法对视频场景下的人与物品的互动关系进行准确识别的技术问题。行准确识别的技术问题。行准确识别的技术问题。

【技术实现步骤摘要】
视频中互动关系的识别方法、装置、设备及介质


[0001]本申请涉及智能分析
，尤其涉及一种视频中互动关系的识别方法、装置、设备及介质。

技术介绍

[0002]影视剧场景下识别角色和物体之间的互动关系有助于对视频内容进行理解，具体是利用技术手段和方法对视频画面进行分析，从而挖掘出高级语义信息，帮助自动生成标签信息下游任务。互动关系是人与物之间的关系，比如人“看”书、人“骑”车等，识别出画面中人物之间的互动关系有助于促进视频内容理解、动作行为识别及图像描述等丰富的商业服务的应用。
[0003]目前，相关技术中，互动关系识别的技术主要是基于静态的图像进行识别的，首先需要检测画面中的物体类型，然后预测相关物品之间的互动关系，但是视频场景下人和物品在短时间也是一直在变化的，也就无法对视频场景下的人与物品的互动关系进行准确识别。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请提供了一种视频中互动关系的识别方法、装置、设备及介质，以解决上述“无法对视频场景下的人与物品的互动关系进行准确识别”的技术问题。
[0006]根据本申请实施例的一个方面，本申请提供了一种视频中互动关系的识别方法，包括：对视频数据进行抽帧处理，得到包括目标人物与物品的目标图片序列；根据目标图片序列生成关系拓扑图；将关系拓扑图输入至预设识别模型，以使预设识别模型对关系拓扑图进行识别，输出目标人物与物品的互动关系。
[0007]可选地，对视频数据进行抽帧处理，得到包括目标人物与物品的目标图片序列包括：每间隔预设时长抽取一帧图片，得到初始图片序列；检测初始图片序列中是否包括目标人物以及物品；滤除初始图片序列中的不包括目标人物以及物品的图片，得到目标图片序列。
[0008]可选地，根据目标图片序列生成关系拓扑图包括：获取目标图片序列中的多个目标图片；为各个目标图片生成框图标签，其中，框图标签包括目标人物的人物标签或者物品的物品标签，每个目标图片的框图标签不同；裁剪出目标图片中与目标人物对应的目标人物框图特征以及与物品对应的目标物品框图特征；利用目标人物框图特征与各个目标物品框图特征确定目标人物与各个物品的拓扑图权重；根据拓扑图权重生成目标人物的关系拓扑图。
[0009]可选地，为各个目标图片生成框图标签包括：获取与目标图片对应的时间戳，并识别目标图片，以得到目标人物的人物名称以及物品的物品名称；将时间戳与人物名称进行拼接，得到人物标签，以及将时间戳与物品名称进行拼接，得到物品标签；将人物标签与物
品标签确定为目标图片的框图标签。
[0010]可选地，裁剪出目标图片中与目标人物对应的目标人物框图特征以及与物品对应的目标物品框图特征包括：检测目标人物的人物坐标以及物品的物品坐标；利用人物坐标确定目标人物的人物轮廓，以及利用物品坐标确定物品的物品轮廓；将人物轮廓所在的最小矩形作为初始人物框图，以及将物品轮廓所在的最小矩形作为初始物品框图；对初始人物框图进行特征提取，得到目标人物框图特征，以及对初始物品框图进行特征提取，得到目标物品框图特征。
[0011]可选地，利用目标人物框图特征与各个目标物品框图特征确定目标人物与各个物品的拓扑图权重包括：确定目标人物框图特征与目标物品框图特征的交集区域，以及确定目标人物框图特征与目标物品框图特征的并集区域；将交集区域与并集区域的比值确定为目标人物与物品的拓扑图权重。
[0012]可选地，根据拓扑图权重生成目标人物的关系拓扑图包括：为视频数据初始化一个邻接矩阵；将人物标签作为邻接矩阵的父节点，并将多个物品标签作为邻接矩阵的子节点；将目标人物与各个物品的拓扑图权重作为父节点与各个子节点的边权重，以得到关系拓扑图。
[0013]根据本申请实施例的另一方面，本申请提供了一种视频中互动关系的识别装置，包括：抽帧模块，用于对视频数据进行抽帧处理，得到包括目标人物与物品的目标图片序列；生成模块，用于根据目标图片序列中的多个目标图片生成与目标人物及物品的互动关系对应的关系拓扑图；识别模块，用于将关系拓扑图输入至预设识别模型，以使预设识别模型对关系拓扑图进行识别，输出目标人物与物品的互动关系。
[0014]根据本申请实施例的另一方面，本申请提供了一种电子设备，包括存储器、处理器、通信接口及通信总线，存储器中存储有可在处理器上运行的计算机程序，存储器、处理器通过通信总线和通信接口进行通信，处理器执行计算机程序时实现上述方法的步骤。
[0015]根据本申请实施例的另一方面，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述的方法。
[0016]本申请实施例提供的上述技术方案与相关技术相比具有如下优点：
[0017]本申请提供一种视频中互动关系的识别方法，包括：对视频数据进行抽帧处理，得到包括目标人物与物品的目标图片序列；根据目标图片序列生成关系拓扑图；将关系拓扑图输入至预设识别模型，以使预设识别模型对关系拓扑图进行识别，输出目标人物与物品的互动关系。通过对视频中图片的特征和相对位置建立关系拓扑图，并输入预设识别模型中进行识别，得到互动关系的识别结果，解决了无法对视频场景下的人与物品的互动关系进行准确识别的技术问题。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0019]为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为根据本申请实施例提供的一种可选的方法硬件环境示意图；
[0021]图2为根据本申请实施例提供的一种可选的视频中互动关系的识别方法流程图；
[0022]图3为根据本申请实施例提供的一种可选的目标图片；
[0023]图4为根据本申请实施例提供的另一种可选的目标图片；
[0024]图5为根据本申请实施例提供的一种可选的视频中互动关系的识别装置框图；
[0025]图6为本申请实施例提供的一种可选的电子设备结构示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
[0028]相关技术中，互动关系识别的技术主要是基于静态的图像进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频中互动关系的识别方法，其特征在于，包括：对视频数据进行抽帧处理，得到包括目标人物与物品的目标图片序列；根据所述目标图片序列生成关系拓扑图；将所述关系拓扑图输入至预设识别模型，以使所述预设识别模型对所述关系拓扑图进行识别，输出所述目标人物与所述物品的互动关系。2.根据权利要求1所述的方法，其特征在于，所述对视频数据进行抽帧处理，得到包括目标人物与物品的目标图片序列包括：每间隔预设时长抽取一帧图片，得到初始图片序列；检测所述初始图片序列中是否包括所述目标人物以及所述物品；滤除所述初始图片序列中的不包括所述目标人物以及所述物品的所述图片，得到所述目标图片序列。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标图片序列生成关系拓扑图包括：获取所述目标图片序列中的多个目标图片；为各个所述目标图片生成框图标签，其中，所述框图标签包括所述目标人物的人物标签或者所述物品的物品标签，每个所述目标图片的所述框图标签不同；裁剪出所述目标图片中与所述目标人物对应的目标人物框图特征以及与所述物品对应的目标物品框图特征；利用所述目标人物框图特征与各个所述目标物品框图特征确定所述目标人物与各个所述物品的拓扑图权重；根据所述拓扑图权重生成所述目标人物的所述关系拓扑图。4.根据权利要求3所述的方法，其特征在于，所述为各个所述目标图片生成框图标签包括：获取与所述目标图片对应的时间戳，并识别所述目标图片，以得到所述目标人物的人物名称以及所述物品的物品名称；将所述时间戳与所述人物名称进行拼接，得到所述人物标签，以及将所述时间戳与所述物品名称进行拼接，得到所述物品标签；将所述人物标签与所述物品标签确定为所述目标图片的所述框图标签。5.根据权利要求3所述的方法，其特征在于，所述裁剪出所述目标图片中与所述目标人物对应的目标人物框图特征以及与所述物品对应的目标物品框图特征包括：检测所述目标人物的人物坐标以及所述物品的物品坐标；利用所述人物坐标确定所述目标人物的人物轮...

【专利技术属性】
技术研发人员：毕泊，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：