一种视频处理方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术提供一种视频处理方法、装置、电子设备及可读存储介质，该方法包括：获取视频数据的多模态数据特征；确定数据特征中每个模态数据特征的权重；根据每个模态数据特征的权重，对多模态数据特征进行加权融合处理，获得视频向量；根据视频向量获取用户行为向量；根据候选视频与用户行为向量的相似度，确定目标推荐视频。本申请通过获取视频数据的多模态数据特征，根据多模态数据特征的权重对多模态数据特征加权融合处理，获得视频向量；所述视频向量考虑了不同模态数据特征对视频准确表示的影响程度，针对不同模态信息在不同视频中对视频表示的贡献度不同的情况，对多模态数据特征进行加权融合，能够使根据用户行为向量确定的推荐结果更准确。的推荐结果更准确。的推荐结果更准确。

【技术实现步骤摘要】
一种视频处理方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及视频处理领域，特别是指一种视频处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着互联网的普及，网络视频平台的快速发展，多媒体内容不断丰富，视频数量逐步膨胀，用户需要花费大量的精力从庞大的内容中查找自己感兴趣的视频。为了帮助用户快速从海量信息数据中，获取其所需的信息，视频推荐系统应运而生。为提升用户满意度，提高推荐结果的准确率已成为推荐系统当前的研究热点，而视频的正确表示已成为其中的关键性因素。
[0003]在互联网数字家庭电视视频推荐中，目前大多数推荐算法中视频的表示都是基于用户喜好、用户行为序列训练生成的，忽视了视频本身的信息对视频表示的影响，导致视频表示以及视频推荐内容的准确性较差。

技术实现思路

[0004]本专利技术的目的是提供一种视频处理方法、装置、电子设备及可读存储介质，用以解决现有技术中视频推荐内容准确性较差的问题。
[0005]为达到上述目的，本专利技术的实施例提供一种视频处理方法，包括：
[0006]获取视频数据的多模态数据特征；
[0007]确定所述数据特征中每个模态数据特征的权重；
[0008]根据每个模态数据特征的权重，对所述多模态数据特征进行加权融合处理，获得视频向量；
[0009]根据所述视频向量获取用户行为向量；
[0010]根据候选视频与所述用户行为向量的相似度，确定目标推荐视频。
[0011]可选的，所述多模态数据特征包括：候选视频的图像特征、音频特征、文本特征以及统计特征。
[0012]可选的，所述获取视频数据的多模态数据特征，包括：
[0013]获取多模态视频数据；所述多模态视频数据包括：图像模态数据、音频模态数据以及文本数据；
[0014]分别提取所述多模态视频数据中每个模态视频数据的数据特征。
[0015]可选的，所述确定所述数据特征中每个模态数据特征的权重，包括：
[0016]获取用户观看视频的行为序列；
[0017]基于所述行为序列构建用户观看视频的视频关系；
[0018]根据所述视频关系，通过转移概率生成视频序列；
[0019]根据所述视频序列，确定所述数据特征中每个模态数据特征的权重。
[0020]可选的，所述根据所述视频序列，确定所述数据特征中每个模态数据特征的权重，
包括：
[0021]利用所述视频序列进行模型训练，得到多模态数据特征向量，所述多模态数据特征向量包括：图像特征向量、音频特征向量、文本特征向量以及统计特征向量；
[0022]生成所述多模态数据特征向量中每个特征向量的初始权重值；
[0023]利用所述初始权重值，对所述多模态数据特征向量进行加权平均操作，获得第一向量结果；
[0024]根据所述第一向量结果进行梯度反向传播，获得所述数据特征中每个模态数据特征的权重。
[0025]可选的，所述根据每个模态数据特征的权重，对所述多模态数据特征进行加权融合处理，获得视频向量的公式为：
[0026][0027]其中，H
v
表示所述视频序列中的视频v的视频向量，表示所述视频序列中的视频v的模态j的数据特征向量，表示所述视频序列中的视频v的模态j的数据特征向量的权重，其中，j＝1,
…
,n，n表示数据特征的模态的数量。
[0028]可选的，所述根据所述视频向量获取用户行为向量，包括：
[0029]根据用户观看的视频序列对应的所有视频向量，获得所述用户行为向量；其中，所述用户行为向量的公式为：
[0030][0031]其中，U表示所述用户行为向量，H
i
为用户观看的视频序列中视频i对应的视频向量，i＝1,
…
,m，m表示视频向量的数量。
[0032]可选的，所述根据候选视频与所述用户行为向量的相似度，确定目标推荐视频，包括：
[0033]确定与所述用户行为向量的相似度最大的候选视频，为所述目标推荐视频。
[0034]为达到上述目的，本专利技术的实施例提供一种视频处理装置，包括：
[0035]第一获取模块，用于获取视频数据的多模态数据特征；
[0036]第一确定模块，用于确定所述数据特征中每个模态数据特征的权重；
[0037]第一处理模块，用于根据每个模态数据特征的权重，对所述多模态数据特征进行加权融合处理，获得视频向量；
[0038]第二获取模块，用于根据所述视频向量获取用户行为向量；
[0039]第二确定模块，用于根据候选视频与所述用户行为向量的相似度，确定目标推荐视频。
[0040]可选的，所述多模态数据特征包括：候选视频的图像特征、音频特征、文本特征以及统计特征。
[0041]可选的，所述第一获取模块包括：
[0042]第一获取单元，用于获取多模态视频数据；所述多模态视频数据包括：图像模态数据、音频模态数据以及文本数据；
[0043]第一提取单元，用于分别提取所述多模态视频数据中每个模态视频数据的数据特征。
[0044]可选的，所述第一确定模块，包括：
[0045]第二获取单元，用于获取用户观看视频的行为序列；
[0046]第一处理单元，用于基于所述行为序列构建用户观看视频的视频关系；
[0047]第一生成单元，用于根据所述视频关系，通过转移概率生成视频序列；
[0048]第一确定单元，用于根据所述视频序列，确定所述数据特征中每个模态数据特征的权重。
[0049]可选的，所述第一确定单元包括：
[0050]第一处理子单元，用于利用所述视频序列进行模型训练，得到多模态数据特征向量，所述多模态数据特征向量包括：图像特征向量、音频特征向量、文本特征向量以及统计特征向量；
[0051]生成子单元，用于生成所述多模态数据特征向量中每个特征向量的初始权重值；
[0052]第二处理子单元，用于利用所述初始权重值，对所述多模态数据特征向量进行加权平均操作，获得第一向量结果；
[0053]第三处理子单元，用于根据所述第一向量结果进行梯度反向传播，获得所述数据特征中每个模态数据特征的权重。
[0054]可选的，根据每个模态数据特征的权重，对所述多模态数据特征进行加权融合处理，获得视频向量的公式为：
[0055][0056]其中，H
v
表示所述视频序列中的视频v的视频向量，表示所述视频序列中的视频v的模态j的数据特征向量，表示所述视频序列中的视频v的模态j的数据特征向量的权重，其中，j＝1,
…
,n，n表示数据特征的模态的数量。
[0057]可选的，所述第二获取模块具体用于：根据用户观看的视频序列对应的所有视频向量，获得所述用户行为向量；
[0058]其中，所述用户行为向量的公式为：
[0059本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取视频数据的多模态数据特征；确定所述数据特征中每个模态数据特征的权重；根据每个模态数据特征的权重，对所述多模态数据特征进行加权融合处理，获得视频向量；根据所述视频向量获取用户行为向量；根据候选视频与所述用户行为向量的相似度，确定目标推荐视频。2.根据权利要求1所述的方法，其特征在于，所述多模态数据特征包括：候选视频的图像特征、音频特征、文本特征以及统计特征。3.根据权利要求2所述的方法，其特征在于，所述获取视频数据的多模态数据特征，包括：获取多模态视频数据；所述多模态视频数据包括：图像模态数据、音频模态数据以及文本数据；分别提取所述多模态视频数据中每个模态视频数据的数据特征。4.根据权利要求1所述的方法，其特征在于，所述确定所述数据特征中每个模态数据特征的权重，包括：获取用户观看视频的行为序列；基于所述行为序列构建用户观看视频的视频关系；根据所述视频关系，通过转移概率生成视频序列；根据所述视频序列，确定所述数据特征中每个模态数据特征的权重。5.根据权利要求4所述的方法，其特征在于，所述根据所述视频序列，确定所述数据特征中每个模态数据特征的权重，包括：利用所述视频序列进行模型训练，得到多模态数据特征向量，所述多模态数据特征向量包括：图像特征向量、音频特征向量、文本特征向量以及统计特征向量；生成所述多模态数据特征向量中每个特征向量的初始权重值；利用所述初始权重值，对所述多模态数据特征向量进行加权平均操作，获得第一向量结果；根据所述第一向量结果进行梯度反向传播，获得所述数据特征中每个模态数据特征的权重。6.根据权利要求4所述的方法，其特征在于，所述根据每个模态数据特征的权重，对所述多模态数据特征进行加权融合处理，获得视频向量的公式为：其中，H
v
表示所述视频序列中的视频v的视频向量，表示所述视频序列中的视频v的模态j的数据特征向量，表示所述视频序列中的视频v的模态j的数据特征向量的权重，其中，j＝1,
…
...

【专利技术属性】
技术研发人员：张聪，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：