【技术实现步骤摘要】
视频和文本的处理方法和装置、存储介质及电子设备
[0001]本申请涉及计算机
，具体而言，涉及一种视频和文本的处理方法和装置、存储介质及电子设备。
技术介绍
[0002]相关技术中，通常利用视频与文本的相似度评估来确定与文本匹配的目标视频、或者与视频匹配的目标文本，例如，将上述视频与本文的相似度，来实现视频检索或者标题审核等。
[0003]常见的视频与文本的相似度评估方法包括两种：第一种方法主要通过对比文件与参考文本(如视频标签)的相似程度，将跨模态相似度评估转化为文本相似度评估；第二种方法主要利用深度学习模型对视频特征和文本特征进行匹配并计算相似度。
[0004]对于上述第一种方法，其有效性依赖于参考文本的质量，而高质量的参考文本通常需要进行繁重的人力标注；对于上述第二种方法，由于视频和文本语义的丰富性，通常需要进行视频帧和单词之间的细粒度匹配来计算总体相似度，但视频帧语单词的语义粒度并不相同(例如，一帧视频可能对应多个单词，而一个单词可能对应多帧视频)。
[0005]也就是说，上述两种方法本质上都是使用视频描述数据集训练的视频文本相似度评估模型，然后将视频帧与文本之间的细粒度匹配得到的视频文本对作为训练样本，并对视频文本相似度评估模型进行训练，将模型输出的语义相似度作为相似度评估结果。然而，由于视频帧与单词的语义粒度不同，很难对视频帧和单词正确地进行匹配，无法确保训练样本的质量，导致了模型输出的语义相似度的准确率较低，从而造成了视频和文本的处理过程中出现的准确性较低的技术问题。
【技术保护点】
【技术特征摘要】
1.一种视频和文本的处理方法，其特征在于，包括：利用目标视频的原始视频特征对目标文本的原始文本特征进行重构，得到重构文本特征，其中，所述原始文本特征包括N1个词向量，所述原始视频特征包括N2个视频帧向量，所述N1个词向量包括所述目标文本中的N1个词语的词向量，所述N2个视频帧向量包括所述目标视频中的N2个视频帧的视频帧向量，所述重构文本特征包括N1个重构词向量，所述N1个重构词向量包括所述N1个词语的重构词向量，N1为大于或等于1的正整数，N2为大于或等于1的正整数；利用所述原始文本特征对所述原始视频特征进行重构，得到重构视频特征，其中，所述重构视频特征包括N2个重构视频帧向量，所述N2个重构视频帧向量包括所述N2个视频帧的重构视频帧向量；根据所述N1个词向量、所述N1个重构词向量、所述N2个视频帧向量以及所述N2个重构视频帧向量，确定所述目标文本与所述目标视频之间的语义相似度。2.根据权利要求1所述的方法，其特征在于，所述利用目标视频的原始视频特征对目标文本的原始文本特征进行重构，得到重构文本特征，包括：根据维度为N1×
N2的第一相关性矩阵、维度为N2×
M的所述原始视频特征以及维度为M
×
M的第一参数矩阵，确定维度为N1×
M的所述重构文本特征，其中，所述第一相关性矩阵是根据维度为N1×
M的所述原始文本特征确定得到的矩阵，所述第一相关性矩阵用于表示所述N1个词语中的每个词语分别与所述N2个视频帧之间的相关度，所述N1个词语中的每个词语的词向量是维度为1
×
M的向量，所述N2个视频帧中的每个视频帧的视频帧向量是维度为1
×
M的向量，所述第一参数矩阵是预先确定的参数矩阵，M为大于或等于2的正整数。3.根据权利要求2所述的方法，其特征在于，所述根据维度为N1×
N2的第一相关性矩阵、维度为N2×
M的所述原始视频特征以及维度为M
×
M的第一参数矩阵，确定维度为N1×
M的所述重构文本特征，包括：将维度为N1×
N2的所述第一相关性矩阵、维度为N2×
M的所述原始视频特征以及维度为M
×
M的所述第一参数矩阵相乘，得到维度为N1×
M的所述重构文本特征。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据维度为N1×
M的所述原始文本特征、维度为M
×
M的第二参数矩阵、维度为N2×
M的所述原始视频特征、维度为M
×
M的第三参数矩阵，确定维度为N1×
N2的所述第一相关性矩阵，其中，所述第二参数矩阵和所述第三参数矩阵是预先确定的参数矩阵，M为大于或等于2的正整数。5.根据权利要求4所述的方法，其特征在于，所述根据维度为N1×
M的所述原始文本特征、维度为M
×
M的第二参数矩阵、维度为N2×
M的所述原始视频特征、维度为M
×
M的第三参数矩阵，确定维度为N1×
N2的第一相关性矩阵，包括：将维度为N1×
M的所述原始文本特征与维度为M
×
M的所述第二参数矩阵相乘，得到维度为N1×
M的第一加权矩阵；将维度为M
×
M的所述第三参数矩阵与维度为M
×
N2的第一转置矩阵相乘，得到维度为M
×
N2的第二加权矩阵，其中，维度为M
×
N2的第一转置矩阵是对维度为N2×
M的所述原始视频特征进行转置所得到的矩阵；将维度为N1×
M的所述第一加权矩阵与维度为M
×
N2的所述第二加权矩阵相乘，得到维
度为N1×
N2的相关性矩阵；对维度为N1×
N2的所述相关性矩阵进行归一化处理，得到维度为N1×
N2的所述第一相关性矩阵。6.根据权利要求1所述的方法，其特征在于，所述利用所述原始文本特征对所述原始视频特征进行重构，得到重构视频特征，包括：根据维度为N2×
N1的第二相关性矩阵、维度为N1×
M的所述原始文本特征和维度为M
×
M的第四参数矩阵，确定维度为N2×
M的所述重构视频特征，其中，所述第二相关性矩阵是根据维度为N2×
M的所述原始视频特征确定得到的矩阵，所述第二相关性矩阵用于表示所述N2个视频帧中的每个视频帧分别与所述N1个词语之间的相关度，所述N1个词语中的每个词语的词向量是维度为1
×
M的向量，所述N2个视频帧中的每个视频帧的视频帧向量是维度为1
×
M的向量，所述第四参数矩阵是预先确定的参数矩阵，M为大于或等于2的正整数。7.根据权利要求6所述的方法，其特征在于，所述根据维度为N2×
N1的第二相关性矩阵、维度为N1×
M的原始文本特征和维度为M
×
M的第四参数矩阵，确定维度为N2×
M的所述重构视频特征，包括：将维度为N2×
N1的所述第二相关性矩阵、维度为N1×
M的所述原始文本特征以及维度为M
×
M的所述第四参数矩阵相乘，得到维度为N2×
M的所述重构视频特征。8.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据维度为N2×
M的所述原始视频特征、维度为M
×
M的第五参数矩阵、维度为N1×
M的所述原始文本特征、维度为M
×
M的第六参数矩阵，确定维度为N2×
N1的所述第二相关性矩...
【专利技术属性】
技术研发人员：陈禹昕，祁仲昂，张子琦，蒲俊福，单瀛，原春锋，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。