一种视频的信息处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请实施例公开了一种视频的信息处理方法、装置、计算机设备和存储介质；本申请实施例可以获取视频信息处理模型和视频样本的内容描述信息样本；利用视频信息处理模型对内容描述信息样本进行特征提取，得到内容描述信息特征和内容单元样本特征；将内容描述信息特征和每个内容单元样本特征进行融合处理，得到融合特征；根据融合特征，计算信息标注概率；对内容描述信息特征进行类型预测，得到预测视频类型概率；基于信息标注概率和预测视频类型概率进行损失计算，得到信息损失信息和类型损失信息；根据信息损失信息和类型损失信息对视频信息处理模型进行训练，得到目标视频信息处理模型，可以提高生成关键描述信息和视频类型的准确性。确性。确性。

【技术实现步骤摘要】
一种视频的信息处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，具体涉及一种视频的信息处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着计算机技术的发展，多媒体的应用越来越广泛，人们自己可以拍摄视频或剪辑视频上传到多媒体应用中以供其他用户欣赏，这会视频数量也急剧增长。为了方便用户从海量的视频中快速获取想要观看的视频，很多视频网站和视频应用程序通常会为视频生成内容描述信息，从而使得可以根据内容描述信息搜索相关的视频。此外，为了更进一步地提高为用户推荐视频的效率，可以从内容描述信息中确定视频的关键描述信息和视频类型，然后，基于关键描述信息和视频类型召回用户感兴趣的视频。

技术实现思路

[0003]本申请实施例提出了一种视频的信息处理方法、装置、计算机设备和存储介质，可以提高从视频的内容描述信息中生成视频的关键描述信息和视频类型的准确性。
[0004]本申请实施例提供了一种视频的信息处理方法，包括：
[0005]获取视频信息处理模型，以及视频样本的内容描述信息样本，其中，所述内容描述信息样本包括至少一个内容单元样本；
[0006]利用所述视频信息处理模型对所述内容描述信息样本进行特征提取，得到所述内容描述信息样本对应的内容描述信息特征，以及所述内容单元样本对应的内容单元样本特征；
[0007]利用所述视频信息处理模型将所述内容描述信息特征和每个内容单元样本特征进行融合处理，得到每个内容单元样本对应的融合特征；
[0008]利用所述视频信息处理模型根据每个内容单元样本对应的融合特征，计算所述每个内容单元样本对应的信息标注概率；
[0009]利用所述视频信息处理模型对所述内容描述信息特征进行类型预测，得到所述视频样本对应的预测视频类型概率；
[0010]基于所述每个内容单元样本对应的信息标注概率和所述视频样本对应的预测视频类型概率进行损失计算，得到所述视频样本对应的信息损失信息和类型损失信息；
[0011]根据所述信息损失信息和所述类型损失信息对所述视频信息处理模型进行训练，得到目标视频信息处理模型。
[0012]相应的，本申请实施例还提供了一种视频的信息处理装置，包括：
[0013]获取单元，用于获取视频信息处理模型，以及视频样本的内容描述信息样本，其中，所述内容描述信息样本包括至少一个内容单元样本；
[0014]特征提取单元，用于利用所述视频信息处理模型对所述内容描述信息样本进行特征提取，得到所述内容描述信息样本对应的内容描述信息特征，以及所述内容单元样本对
应的内容单元样本特征；
[0015]融合单元，用于利用所述视频信息处理模型将所述内容描述信息特征和每个内容单元样本特征进行融合处理，得到每个内容单元样本对应的融合特征；
[0016]计算单元，用于利用所述视频信息处理模型根据每个内容单元样本对应的融合特征，计算所述每个内容单元样本对应的信息标注概率；
[0017]类型预测单元，用于利用所述视频信息处理模型对所述内容描述信息特征进行类型预测，得到所述视频样本对应的预测视频类型概率；
[0018]损失计算单元，用于基于所述每个内容单元样本对应的信息标注概率和所述视频样本对应的预测视频类型概率进行损失计算，得到所述视频样本对应的信息损失信息和类型损失信息；
[0019]训练单元，拥有根据所述信息损失信息和所述类型损失信息对所述视频信息处理模型进行训练，得到目标视频信息处理模型。
[0020]在一实施例中，所述特征提取单元，可以包括：
[0021]注意力信息提取子单元，用于利用所述视频信息处理模型对所述内容描述信息样本的内容单元样本进行注意力信息提取，得到每个内容单元样本对应的注意力信息；
[0022]映射子单元，用于利用所述视频信息处理模型将每个内容单元样本对应的注意力信息映射至预设特征空间中，得到所述内容单元样本在所述预设特征空间中对应的内容单元样本特征；
[0023]全连接子单元，用于利用所述视频信息处理模型对将每个内容单元样本对应的内容单元样本特征进行全连接处理，得到所述内容描述信息样本对应的初始内容描述信息特征；
[0024]特征挖掘子单元，用于利用所述视频信息处理模型对所述初始内容描述信息特征进行特征挖掘，得到所述内容描述信息样本对应的内容描述信息特征。
[0025]在一实施例中，所述注意力信息提取子单元，可以包括：
[0026]向量转换模块，用于利用所述视频信息处理模型对所述内容单元样本进行向量转换，得到所述内容单元样本对应的内容单元样本表征向量；
[0027]算术运算模块，用于利用所述视频信息处理模型中的注意力权重信息和所述内容单元样本表征向量进行算术运算，得到运算后内容单元样本表征向量；
[0028]逻辑回归模块，用于利用所述视频信息处理模型中的激活函数对所述运算后内容单元样本表征向量进行逻辑回归处理，得到所述每个内容单元样本对应的注意力信息。
[0029]在一实施例中，所述特征挖掘子单元，可以包括：
[0030]卷积运算模块，用于利用所述视频信息处理模型对所述初始内容描述信息特征进行卷积运算，得到卷积运算后特征；
[0031]前向传播模块，用于利用所述视频信息处理模型对所述卷积运算后特征进行前向传播，得到传播后特征；
[0032]利用所述视频信息处理模型对所述传播后特征进行非线性转换，得到所述内容描述信息特征。
[0033]在一实施例中，所述融合单元，可以包括：
[0034]转置子单元，用于利用所述视频信息处理模型对所述每个内容单元样本特征进行
转置处理，得到转置后内容单元样本特征；
[0035]第一乘法运算子单元，用于将所述视频信息处理模型中的融合权重信息和所述内容描述信息特征进行乘法运算，得到运算后融合特征；
[0036]第二乘法运算子单元，用于利用所述视频信息处理模型将所述运算后融合特征和每个转置后内容单元特征进行乘法运算，得到所述每个内容单元样本对应的融合特征。
[0037]在一实施例中，所述损失计算单元，可以包括：
[0038]获取子单元，用于获取内容描述信息样本中每个内容单元样本的参考信息标注和针对视频样本的参考类型；
[0039]第一损失计算子单元，用于根据所述每个内容单元样本对应的参考信息标注和信息标注概率计算所述视频样本对应的信息损失信息；
[0040]第二损失计算子单元，用于根据所述参考类型和所述视频样本对应的预测视频类型概率计算所述视频样本对应的类型损失信息。
[0041]在一实施例中，所述第一损失计算子单元，可以包括：
[0042]第一参数生成模块，用于根据所述内容单元样本对应的参考信息标注，生成所述内容单元样本和预设信息标注之间对应的信息损失计算参数；
[0043]第一概率确定模块，用于确定内容单元样本和预设信息标注之间对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的信息处理方法，其特征在于，包括：获取视频信息处理模型，以及视频样本的内容描述信息样本，其中，所述内容描述信息样本包括至少一个内容单元样本；利用所述视频信息处理模型对所述内容描述信息样本进行特征提取，得到所述内容描述信息样本对应的内容描述信息特征，以及所述内容单元样本对应的内容单元样本特征；利用所述视频信息处理模型将所述内容描述信息特征和每个内容单元样本特征进行融合处理，得到每个内容单元样本对应的融合特征；利用所述视频信息处理模型根据每个内容单元样本对应的融合特征，计算所述每个内容单元样本对应的信息标注概率；利用所述视频信息处理模型对所述内容描述信息特征进行类型预测，得到所述视频样本对应的预测视频类型概率；基于所述每个内容单元样本对应的信息标注概率和所述视频样本对应的预测视频类型概率进行损失计算，得到所述视频样本对应的信息损失信息和类型损失信息；根据所述信息损失信息和所述类型损失信息对所述视频信息处理模型进行训练，得到目标视频信息处理模型。2.根据权利要求1所述的方法，其特征在于，所述利用所述视频信息处理模型对所述内容描述信息样本进行特征提取，得到所述内容描述信息样本对应的内容描述信息特征，以及所述内容单元样本对应的内容单元样本特征，包括：利用所述视频信息处理模型对所述内容描述信息样本的内容单元样本进行注意力信息提取，得到每个内容单元样本对应的注意力信息；利用所述视频信息处理模型将每个内容单元样本对应的注意力信息映射至预设特征空间中，得到所述内容单元样本在所述预设特征空间中对应的内容单元样本特征；利用所述视频信息处理模型对将每个内容单元样本对应的内容单元样本特征进行全连接处理，得到所述内容描述信息样本对应的初始内容描述信息特征；利用所述视频信息处理模型对所述初始内容描述信息特征进行特征挖掘，得到所述内容描述信息样本对应的内容描述信息特征。3.根据权利要求2所述的方法，其特征在于，所述利用所述视频信息处理模型对所述内容描述信息样本的内容单元样本进行注意力信息提取，得到每个内容单元样本对应的注意力信息，包括：利用所述视频信息处理模型对所述内容单元样本进行向量转换，得到所述内容单元样本对应的内容单元样本表征向量；利用所述视频信息处理模型中的注意力权重信息和所述内容单元样本表征向量进行算术运算，得到运算后内容单元样本表征向量；利用所述视频信息处理模型中的激活函数对所述运算后内容单元样本表征向量进行逻辑回归处理，得到所述每个内容单元样本对应的注意力信息。4.根据权利要求2所述的方法，其特征在于，所述利用所述视频信息处理模型对所述初始内容描述信息特征进行特征挖掘，得到所述内容描述信息样本对应的内容描述信息特征，包括：利用所述视频信息处理模型对所述初始内容描述信息特征进行卷积运算，得到卷积运
算后特征；利用所述视频信息处理模型对所述卷积运算后特征进行前向传播，得到传播后特征；利用所述视频信息处理模型对所述传播后特征进行非线性转换，得到所述内容描述信息特征。5.根据权利要求1所述的方法，其特征在于，所述利用所述视频信息处理模型将所述内容描述信息特征和每个内容单元样本特征进行融合处理，得到每个内容单元样本对应的融合特征，包括：利用所述视频信息处理模型对所述每个内容单元样本特征进行转置处理，得到转置后内容单元样本特征；将所述视频信息处理模型中的融合权重信息和所述内容描述信息特征进行乘法运算，得到运算后融合特征；利用所述视频信息处理模型将所述运算后融合特征和每个转置后内容单元特征进行乘法运算，得到所述每个内容单元样本对应的融合特征。6.根据权利要求1所述的方法，其特征在于，所述基于所述每个内容单元样本对应的信息标注概率和所述视频样本对应的预测视频类型概率进行损失计算，得到所述视频样本对应的信息损失信息和类型损失信息，包括：获取内容描述信息样本中每个内容单元样本的参考信息标注和针对视频样本的参考类型；根据所述每个内容单元样本对应的参考信息标注和信息标注概率计算所述视频样本对应的信息损失信息；根据所述参考类型和所述视频样本对应的预测视频类型概率计算所述视频样本对应的类型损失信息。7.根据权利要求6所述的方法，其特征在于，所述根据所述每个内容单元样本对应的参考信息标注和信息标注概率计算所述视频样本对应的信息损失信息，包括：根据所述内容单元样本对应的参考信息标注，生成所述内容单元样本和预设信息标注之间对应的信息损失计算参数；确定内容单元...

【专利技术属性】
技术研发人员：黄剑辉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：