网络训练与特征表示方法、装置、介质及设备制造方法及图纸

本公开关于网络训练与特征表示方法、装置、介质及设备，涉及机器学习技术领域，训练方法包括：获取各多媒体资源样本的多个媒体元素；将各多媒体资源样本的每个媒体元素输入与媒体元素对应的元素特征提取网络，得到各多媒体资源样本的多个元素特征信息；将各多媒体资源样本的多个元素特征信息拼接后输入特征交互网络，得到各多媒体资源样本的资源特征信息；根据各多媒体资源样本的资源特征信息进行与每个媒体元素对应的目标行为预测处理，得到多个样本预测信息；基于多个样本预测信息，对元素特征提取网络进行训练，得到训练后的元素特征提取网络。利用本公开实施例提供的技术方案可以对多媒体资源的特征进行更好地表示。案可以对多媒体资源的特征进行更好地表示。案可以对多媒体资源的特征进行更好地表示。

【技术实现步骤摘要】
网络训练与特征表示方法、装置、介质及设备


[0001]本公开涉及机器学习
，尤其涉及网络训练与特征表示方法、装置、介质及设备。

技术介绍

[0002]为了提高机器学习算法的能力，以满足应用任务的需求，需要找到对原始数据更好的表达，这也是特征学习的基本思路。例如视频内容的特征表示的优劣直接影响推荐、搜索业务的效果。视频等多媒体资源的特征表示是多种媒体元素的特征融合，包含视觉特征、文本特征等。
[0003]相关技术中，多种媒体元素的特征融合方案一般采用多流模式，也即对各类媒体元素的内容分别进行特征提取、挖掘后再进行特征拼接，而对不同媒体元素之间的特征挖掘融合不够充分。

技术实现思路

[0004]本公开提供了网络训练与特征表示方法、装置、介质及设备，以更好地提取多媒体资源中不同媒体元素的特征以及更好地挖掘融合不同媒体元素之间的特征。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种特征提取网络的训练方法，包括：
[0006]获取多个多媒体资源样本中各多媒体资源样本的多个媒体元素；...

【技术保护点】

【技术特征摘要】
1.一种特征提取网络的训练方法，其特征在于，所述方法包括：获取多个多媒体资源样本中各多媒体资源样本的多个媒体元素；将各所述多媒体资源样本的每个媒体元素输入与所述每个媒体元素对应的元素特征提取网络，进行元素特征的提取处理，得到各所述多媒体资源样本的多个元素特征信息；将各所述多媒体资源样本的多个元素特征信息拼接后输入特征交互网络，进行特征交互处理，得到各所述多媒体资源样本的资源特征信息；根据各所述多媒体资源样本的资源特征信息，进行与所述每个媒体元素对应的目标行为预测处理，得到多个样本预测信息；基于所述多个样本预测信息，对与所述每个媒体元素对应的元素特征提取网络进行训练，得到训练后的与所述每个媒体元素对应的元素特征提取网络。2.根据权利要求1所述的特征提取网络的训练方法，其特征在于，所述获取多个多媒体资源样本中各多媒体资源样本的多个媒体元素，包括：从目标多媒体资源样本中抽取多帧图像，得到所述目标多媒体资源样本的目标图像；对所述目标多媒体资源样本进行语音识别处理或文本检测处理，得到所述目标多媒体资源样本的目标文本；将所述目标图像和所述目标文本作为所述目标多媒体资源样本的多个媒体元素；所述目标多媒体资源样本为所述多个多媒体资源样本中的任一多媒体资源样本。3.根据权利要求1所述的特征提取网络的训练方法，其特征在于，所述将各所述多媒体资源样本的每个媒体元素输入与所述每个媒体元素对应的元素特征提取网络，进行元素特征的提取处理，得到各所述多媒体资源样本的多个元素特征信息，包括：将各所述多媒体资源样本的第一媒体元素输入与所述第一媒体元素对应的图像特征提取网络，进行图像特征的提取处理，得到各所述多媒体资源样本的图像特征信息，所述第一媒体元素为图像；将各所述多媒体资源样本的第二媒体元素输入与所述第二媒体元素对应的文本特征提取网络，进行文本特征的提取处理，得到各所述多媒体资源样本的文本特征信息，所述第二媒体元素为文本；各所述多媒体资源样本的图像特征信息和各所述多媒体资源样本的文本特征信息组成各所述多媒体资源样本的多个元素特征信息。4.根据权利要求3所述的特征提取网络的训练方法，其特征在于，所述将各所述多媒体资源样本的多个元素特征信息拼接后输入特征交互网络，进行特征交互处理，得到各所述多媒体资源样本的资源特征信息，包括：将各所述多媒体资源样本的图像特征信息和各所述多媒体资源样本的文本特征信息进行拼接，得到各所述多媒体资源样本的目标特征信息；将各所述多媒体资源样本的目标特征信息输入所述特征交互网络，进行特征交互处理，得到各所述多媒体资源样本的资源特征信息；所述特征交互网络采用多层的编码器与解码器的网络结构。5.根据权利要求1所述的特征提取网络的训练方法，其特征在于，所述根据各所述多媒体资源样本的资源特征信息，进行与所述每个媒体元素对应的目标行为预测处理，得到多个样本预测信息，包括：
将各所述多媒体资源样本的资源特征信输入与第一媒体元素对应的第一目标网络，由所述第一目标网络基于各所述多媒体资源样本的资源特征信息，对各所述多媒体资源样本进行主题分类预测处理，得到各所述多媒体资源样本的第一样本预测信息；所述第一媒体元素为图像。6.根据权利要求5所述的特征提取网络的训练方法，其特征在于，所述基于所述多个样本预测信息，对与所述每个媒体元素对应的元素特征提取网络进行训练，得到训练后的与所述每个媒体元素对应的元素特征提取网络，包括：获取各所述多媒体资源样本的第一监督信息，所述第一监督信息表征各所述多媒体资源样本的主题类别；基于各所述多媒体资源样本的第一样本预测信息和各所述多媒体资源样本的第一监督信息，计算得到第一损失值；基于所述第一损失值，对与所述第一媒体元素对应的图像特征提取网络进行训练，得到训练后的图像特征提取网络。7.根据权利要求1所述的特征提取网络的训练方法，其特征在于，所述根据各所述多媒体资源样本的资源特征信息，进行与所述每个媒体元素对应的目标行为预测处理，得到多个样本预测信息，包括：获取各所述多媒体资源样本对应的搜索文本；将各所述多媒体资源样本对应的搜索文本输入第二目标网络，进行文本特征提取处理，得到各所述多媒体资源样本的搜索文本特征信息；将各所述多媒体资源样本的搜索文本特征信息和各所述多媒体资源...

【专利技术属性】
技术研发人员：沈栋，吴翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：