视频语义表示方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种视频语义表示方法、装置、电子设备和存储介质，其中方法包括：获取待表示视频的视频文本信息和多个视频帧；分别利用视频语义表示模型的文本编码器和图片编码器对视频文本信息和多个视频帧进行语义提取，得到视频文本信息的语义向量和多个视频帧的帧语义向量；利用视频语义表示模型的多模态融合器，对文本语义向量和多个视频帧的帧语义向量进行多模态融合，得到待表示视频的视频语义表示；其中，视频语义表示模型是基于样本视频的样本文本信息和多个样本视频帧进行自监督学习得到的，视频语义表示模型的图片编码器和文本编码器是基于样本图片以及样本图片的描述文本预先进行联合训练得到的。本发明专利技术提高了视频语义表示的精确性。频语义表示的精确性。频语义表示的精确性。

【技术实现步骤摘要】
视频语义表示方法、装置、电子设备和存储介质


[0001]本专利技术涉及视频处理
，尤其涉及一种视频语义表示方法、装置、电子设备和存储介质。

技术介绍

[0002]随着网络技术的发展，视频作为一种信息载体，丰富了人们的娱乐、学习等日常生活。相关技术中，需要生成视频的表示来区分不同的视频，比如视频检索应用场景下，可基于视频表示从视频库中检索视频，或是在视频推荐应用场景下，根据用户历史观看的视频的视频表示从视频库中检索相关的视频。
[0003]目前，通常的视频语义表示方法通常是基于样本视频和样本视频的标签进行有监督训练得到视频表示模型后，利用视频表示模型提取得到的。然而，目前业务场景中大量用户上传的视频没有经过人工标注相关标签数据，无法直接用来进行有监督训练以生成有意义的视频语义表示。此外，虽然视频由视频帧序列组合而成，且现有的部分无监督方式的图像语义表示模型或是图文多模态融合模型可以提取图像语义或将图像的语义和文本语义相融合，但由于视频的数据分布与图像之间存在差别，且视频的视频帧之间存在大量相关联的语义信息，而单纯的图像语义表示模型或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频语义表示方法，其特征在于，包括：获取待表示视频的视频文本信息和多个视频帧；分别利用视频语义表示模型的文本编码器和图片编码器对所述视频文本信息和所述多个视频帧进行语义提取，得到所述视频文本信息的文本语义向量和所述多个视频帧的帧语义向量；利用所述视频语义表示模型的多模态融合器，对所述文本语义向量和所述多个视频帧的帧语义向量进行多模态融合，得到所述待表示视频的视频语义表示；其中，所述视频语义表示模型是基于样本视频的样本文本信息和多个样本视频帧进行自监督学习得到的，所述视频语义表示模型的图片编码器和文本编码器是基于样本图片以及所述样本图片的描述文本预先进行联合训练得到的。2.根据权利要求1所述的视频语义表示方法，其特征在于，所述利用所述视频语义表示模型的多模态融合器，对所述文本语义向量和所述多个视频帧的帧语义向量进行多模态融合，得到所述待表示视频的视频语义表示，具体包括：对所述多个视频帧的帧语义向量进行语义融合，得到帧融合向量；对所述文本语义向量和所述帧融合向量进行多模态融合，得到所述待表示视频的视频语义表示。3.根据权利要求2所述的视频语义表示方法，其特征在于，所述对所述文本语义向量和所述帧融合向量进行多模态融合，得到所述待表示视频的视频语义表示，具体包括：基于所述文本语义向量的自相关性，以及所述文本语义向量和所述帧融合向量之间的互相关性，提取所述文本语义向量的文本关键语义向量以及所述帧融合向量的帧关键语义向量；将所述文本关键语义向量和所述帧关键语义向量进行语义融合，得到所述待表示视频的视频语义表示。4.根据权利要求3所述的视频语义表示方法，其特征在于，所述基于所述文本语义向量的自相关性，以及所述文本语义向量和所述帧融合向量之间的互相关性，提取所述文本语义向量的文本关键语义向量以及所述帧融合向量的帧关键语义向量，具体包括：基于所述多模态融合器的自注意力交互层，对所述文本语义向量进行自注意力变换，得到所述文本语义向量的文本关键语义向量；基于所述多模态融合器的交叉注意力交互层，对所述文本关键语义向量和所述帧融合向量进行交叉注意力变换，得到所述帧融合向量的帧关键语义向量。5.根据权利要求1所...

【专利技术属性】
技术研发人员：张恒庆，孟凡飞，李飞阳，薛娇，
申请(专利权)人：智者四海北京技术有限公司，
类型：发明
国别省市：