模型的训练方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种评价模型的训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：获取多媒体帧样本以及对象热度数据；通过评价模型对多媒体帧样本进行基于对应对象热度数据以及第一开关机制的第一编码处理，得到多媒体编码，通过评价模型对多媒体帧样本的对象热度数据进行基于第二开关机制的第二编码处理，得到对象引导编码，通过评价模型将对象引导编码与多媒体帧样本的多媒体编码进行融合处理，对多媒体帧样本进行基于对应融合结果的精彩度预测处理，得到预测精彩度；基于标记精彩度与预测精彩度之间的差异，构建精彩度预测损失，并基于精彩度预测损失更新评价模型。通过本申请，能够优化评价模型的训练效果。型的训练效果。型的训练效果。

【技术实现步骤摘要】
模型的训练方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能技术，尤其涉及一种评价模型的训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]相关技术中由于多媒体信息（音频视频）具有较长的播放时长，因此存在标记出多媒体信息中的精彩片段的需求，例如，标记出音乐中的精彩音乐片段，标记出电影中的精彩电影片段，相关技术中通常会直接将副歌或者电影中具有内容冲突的场面作为相应多媒体信息的精彩片段。但是这种精彩片段定位方式无法准确给出符合用户普遍需求的定位结果，从而有损人机交互体验。

技术实现思路

[0003]本申请实施例提供一种评价模型的训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够通过开关机制将对象热度数据引入评价模型，从而优化评价模型的训练效果。
[0004]本申请实施例的技术方案是这样实现的：本申请实施例提供一种评价模型的训练方法，包括：对多媒体样本进行分帧处理，得到多个多媒体帧样本，并获取每个所述多媒体帧样本的对象热度数据；通过所述评价模型对每个所述多媒体帧样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种评价模型的训练方法，其特征在于，所述方法包括：对多媒体样本进行分帧处理，得到多个多媒体帧样本，并获取每个所述多媒体帧样本的对象热度数据；通过所述评价模型对每个所述多媒体帧样本进行基于对应对象热度数据以及第一开关机制的第一编码处理，得到每个所述多媒体帧样本的多媒体编码，其中，所述第一开关机制用于控制所述对象热度数据在所述第一编码处理中的输入；通过所述评价模型对每个所述多媒体帧样本的对象热度数据进行基于第二开关机制的第二编码处理，得到每个所述多媒体帧样本的对象引导编码，其中，所述第二开关机制用于控制所述对象热度数据在所述第二编码处理中的输入；通过所述评价模型将每个所述多媒体帧样本的对象引导编码与每个所述多媒体帧样本的多媒体编码进行融合处理，并对每个所述多媒体帧样本进行基于对应融合结果的精彩度预测处理，得到每个所述多媒体帧样本的预测精彩度；基于每个所述多媒体帧样本的标记精彩度与每个所述多媒体帧样本的预测精彩度之间的差异，构建精彩度预测损失，并基于所述精彩度预测损失更新所述评价模型。2.根据权利要求1所述的方法，其特征在于，所述获取每个所述多媒体帧样本的对象热度数据，包括：获取所述多媒体样本在每个数据平台的平台热度数据；对所述多媒体样本在多个所述数据平台的平台热度数据进行融合规整处理，得到所述多媒体样本的对象热度数据；从所述多媒体样本的对象热度数据中提取出每个所述多媒体帧样本的对象热度数据。3.根据权利要求2所述的方法，其特征在于，所述对所述多媒体样本在多个所述数据平台的平台热度数据进行融合规整处理，得到所述多媒体样本的对象热度数据，包括：获取所述多媒体样本的至少一个时间范围；针对每个所述数据平台，对所述多媒体样本在所述数据平台的平台热度数据进行对应所述至少一个时间范围的归并处理，得到每个所述时间范围的平台热度数据；针对每个所述数据平台执行以下处理：对所述数据平台在每个所述时间范围的平台热度数据进行标准化处理，得到所述数据平台在每个所述时间范围的标准化热度数据；针对每个所述时间范围执行以下处理：对多个所述数据平台在所述时间范围的标准化热度数据进行融合处理，得到所述多媒体样本在所述时间范围的融合热度数据；将多个所述时间范围的融合热度数据组成所述多媒体样本的对象热度数据。4.根据权利要求3所述的方法，其特征在于，所述对所述多媒体样本在所述数据平台的平台热度数据进行对应所述至少一个时间范围的归并处理，得到每个所述时间范围的平台热度数据，包括：从所述多媒体样本在所述数据平台的平台热度数据中提取在每个单位时间刻度的平台热度数据；针对每个所述时间范围，对属于所述时间范围的所有单位时间刻度的平台热度数据进行求和处理，得到对应所述时间范围的平台热度数据。5.根据权利要求3所述的方法，其特征在于，所述对所述数据平台在每个所述时间范围的平台热度数据进行标准化处理，得到所述数据平台在每个所述时间范围的标准化热度数
据，包括：获取多个所述时间范围的平台热度数据中的最大热度数据；针对每个所述时间范围，将所述时间范围的平台热度数据与所述最大热度数据的比值作为所述时间范围的标准化热度数据。6.根据权利要求3所述的方法，其特征在于，所述对多个所述数据平台在所述时间范围的标准化热度数据进行融合处理，得到所述多媒体样本在所述时间范围的融合热度数据，包括：对多个所述数据平台在所述时间范围的标准化热度数据进行最大值获取处理，得到最大标准化热度数据；对多个所述数据平台在所述时间范围的标准化热度数据进行求平均处理，得到平均标准化热度数据；对所述最大标准化热度数据以及所述平均标准化热度数据进行求平均处理，得到所述多媒体样本在所述时间范围的融合热度数据。7.根据权利要求1所述的方法，其特征在于，当所述多媒体帧样本是音频帧样本时，所述通过所述评价模型对每个所述多媒体帧样本进行基于对应对象热度数据以及第一开关机制的第一编码处理，得到每个所述多媒体帧样本的多媒体编码，包括：通过所述评价模型对每个所述音频帧样本执行以下处理：对所述音频帧样本进行时频域编码处理，得到所述音频帧样本的第一时域编码和第一频域编码；当所述第一开关机制的第一开关处于开启状态时，基于所述音频帧样本的对象热度数据，对所述音频帧样本进行时频域融合编码处理，得到所述音频帧样本的时频域融合编码；对所述第一时域编码、所述第一频域编码以及所述时频域融合编码进行拼接处理，得到所述音频帧样本的拼接编码；对所述音频帧样本的拼接编码进行嵌入编码处理，得到所述音频帧样本的多媒体编码。8.根据权利要求7所述的方法，其特征在于，所述基于所述音频帧样本的对象热度数据，对所述音频帧样本进行时频域融合编码处理，得到所述音频帧样本的时频域融合编码，包括：对所述音频帧样本进行第一时域编码处理，得到第二时域编码，并对所述音频帧样本进行第一频域编码处理，得到第二频...

【专利技术属性】
技术研发人员：冯鑫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：