数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:39139988 阅读:11 留言:0更新日期:2023-10-23 14:54
本公开关于一种数据处理方法、装置、电子设备及存储介质,所述方法包括:获取候选视频;将候选视频输入第一视频推荐模型,得到候选视频的第一推荐分向量;将候选视频输入第二视频推荐模型,得到候选视频的第二推荐分向量;将第一推荐分向量和第二推荐分向量输入融合函数优选器,得到融合函数优选器从多个融合函数中选择的目标融合函数;将目标融合函数输入超参数优化器,得到目标超参数;根据目标融合函数和目标超参数,对第一推荐分向量和第二推荐分向量进行融合,得到候选视频的推荐向量;根据推荐向量,对候选视频进行推荐。本公开实现了第一推荐分向量和第二推荐分向量的自动融合,平衡了利用能力和探索能力,使推荐的视频更加准确。更加准确。更加准确。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及数据处理
,尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在进行视频推荐时,若用户以往仅仅看过A类型的视频,在向用户进行视频推荐时,推荐了A类型的视频,是利用了历史数据集的数据规律;若向用户推荐其它类型的视频,则是突破了历史数据集的数据规律。
[0003]根据历史数据集的数据规律进行视频推荐,严重依赖历史数据集,然而历史数据集可能并不能准确反映用户的喜好。例如,用户实际更喜欢B类型的视频,但因为某些原因之前并未看到B类型的视频。突破历史数据集的数据规律进行视频推荐,探索了更多的可能性,但推荐的视频可能并不准确。

技术实现思路

[0004]为克服相关技术中存在的问题,本公开提供一种数据处理方法、装置、电子设备及存储介质。本公开的技术方案如下:
[0005]根据本公开实施例的第一方面,提供一种数据处理方法,包括:
[0006]获取候选视频;
[0007]将所述候选视频输入第一视频推荐模型,得到所述候选视频的第一推荐分向量,其中,所述第一视频推荐模型是基于历史视频样本进行监督式学习得到的模型,所述第一推荐分向量表征基于所述历史视频样本的数据规律,推荐所述候选视频的可能性;
[0008]将所述候选视频输入第二视频推荐模型,得到所述候选视频的第二推荐分向量,其中,所述第二视频推荐模型是进行强化学习和在线学习得到的模型,所述第二推荐分向量表征基于所述历史视频样本之外的数据规律,推荐所述候选视频的可能性;
[0009]将所述第一推荐分向量和所述第二推荐分向量输入融合函数优选器,得到所述融合函数优选器从多个融合函数中选择的目标融合函数,所述目标融合函数用于融合所述第一推荐分向量和所述第二推荐分向量;
[0010]将所述目标融合函数输入超参数优化器,得到目标超参数;
[0011]根据所述目标融合函数和所述目标超参数,对所述第一推荐分向量和所述第二推荐分向量进行融合,得到所述候选视频的推荐向量;
[0012]根据所述推荐向量,对所述候选视频进行推荐。
[0013]可选地,所述获取候选视频,包括:
[0014]响应于视频推荐请求,获取所述候选视频;
[0015]在所述对所述候选视频进行推荐之后,还包括:
[0016]获取所述视频推荐请求的标识,以及获取所述候选视频的推荐结果;
[0017]根据所述视频推荐请求的标识、所述目标融合函数、所述目标超参数和所述推荐
结果,生成后验日志,所述后验日志用于对所述融合函数优选器的参数和所述超参数优化器的参数进行更新。
[0018]可选地,所述将所述目标融合函数输入超参数优化器,得到目标超参数,包括:
[0019]将所述目标融合函数输入所述超参数优化器,得到所述超参数优化器从多个候选超参数中确定的所述目标超参数,其中,所述多个候选超参数是对联合高斯分布进行采样得到的。
[0020]可选地,所述联合高斯分布通过如下步骤确定:
[0021]设置初始联合高斯分布;
[0022]对所述初始联合高斯分布进行采样,得到多个候选超参数样本;
[0023]获取多个所述历史视频样本;
[0024]针对每个所述历史视频样本,随机选择一个所述候选超参数样本,根据选择的候选超参数样本,对该历史视频样本的第一推荐分向量样本和第二推荐分向量样本进行融合,得到每个所述历史视频样本的推荐向量样本;
[0025]根据每个所述历史视频样本的推荐向量样本,对每个所述历史视频样本进行推荐,得到每个所述历史视频样本的推荐结果;
[0026]根据每个所述历史视频样本的推荐结果,得到每个所述候选超参数样本的累计结果;
[0027]根据每个所述候选超参数样本对应的累计结果,从所述多个候选超参数样本中确定目标超参数样本;
[0028]根据多个所述目标超参数样本,对所述初始联合高斯分布进行更新,得到所述联合高斯分布。
[0029]可选地,所述根据每个所述历史视频样本的推荐结果,得到每个所述候选超参数样本的累计结果,包括:
[0030]根据每个所述历史视频样本在不同时间段的推荐结果,得到在所述不同时间段的每个所述候选超参数样本的累计结果;
[0031]所述根据每个所述候选超参数样本对应的累计结果,从所述多个候选超参数样本中确定目标超参数样本,包括:
[0032]根据在第一时间段内每个所述候选超参数样本对应的累计结果,从所述多个候选超参数样本中确定多个第一目标超参数样本;
[0033]根据在第二时间段内每个所述候选超参数样本对应的累计结果,从所述多个候选超参数样本中确定多个第二目标超参数样本;
[0034]所述根据多个所述目标超参数样本,对所述初始联合高斯分布进行更新,得到所述联合高斯分布,包括:
[0035]根据所述多个第一目标超参数样本和所述多个第二目标超参数样本,对所述初始联合高斯分布进行更新,得到所述联合高斯分布。
[0036]可选地,在所述得到所述候选视频的第二推荐分向量之后,还包括:
[0037]根据所述第二推荐分向量,对所述候选视频进行推荐。
[0038]根据本公开实施例的第二方面,提供一种数据处理装置,包括:
[0039]视频获取模块,被配置为获取候选视频;
[0040]第一获取模块,被配置为将所述候选视频输入第一视频推荐模型,得到所述候选视频的第一推荐分向量,其中,所述第一视频推荐模型是基于历史视频样本进行监督式学习得到的模型,所述第一推荐分向量表征基于所述历史视频样本的数据规律,推荐所述候选视频的可能性;
[0041]第二获取模块,被配置为将所述候选视频输入第二视频推荐模型,得到所述候选视频的第二推荐分向量,其中,所述第二视频推荐模型是进行强化学习和在线学习得到的模型,所述第二推荐分向量表征基于所述历史视频样本之外的数据规律,推荐所述候选视频的可能性;
[0042]函数选择模块,被配置为将所述第一推荐分向量和所述第二推荐分向量输入融合函数优选器,得到所述融合函数优选器从多个融合函数中选择的目标融合函数,所述目标融合函数用于融合所述第一推荐分向量和所述第二推荐分向量;
[0043]超参数获取模块,被配置为将所述目标融合函数输入超参数优化器,得到目标超参数;
[0044]融合模块,被配置为根据所述目标融合函数和所述目标超参数,对所述第一推荐分向量和所述第二推荐分向量进行融合,得到所述候选视频的推荐向量;
[0045]推荐模块,被配置为根据所述推荐向量,对所述候选视频进行推荐。
[0046]根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的数据处理方法。
[0047]根据本公开实施例的第四方面,提供一种计本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:获取候选视频;将所述候选视频输入第一视频推荐模型,得到所述候选视频的第一推荐分向量,其中,所述第一视频推荐模型是基于历史视频样本进行监督式学习得到的模型,所述第一推荐分向量表征基于所述历史视频样本的数据规律,推荐所述候选视频的可能性;将所述候选视频输入第二视频推荐模型,得到所述候选视频的第二推荐分向量,其中,所述第二视频推荐模型是进行强化学习和在线学习得到的模型,所述第二推荐分向量表征基于所述历史视频样本之外的数据规律,推荐所述候选视频的可能性;将所述第一推荐分向量和所述第二推荐分向量输入融合函数优选器,得到所述融合函数优选器从多个融合函数中选择的目标融合函数,所述目标融合函数用于融合所述第一推荐分向量和所述第二推荐分向量;将所述目标融合函数输入超参数优化器,得到目标超参数;根据所述目标融合函数和所述目标超参数,对所述第一推荐分向量和所述第二推荐分向量进行融合,得到所述候选视频的推荐向量;根据所述推荐向量,对所述候选视频进行推荐。2.根据权利要求1所述的方法,其特征在于,所述获取候选视频,包括:响应于视频推荐请求,获取所述候选视频;在所述对所述候选视频进行推荐之后,还包括:获取所述视频推荐请求的标识,以及获取所述候选视频的推荐结果;根据所述视频推荐请求的标识、所述目标融合函数、所述目标超参数和所述推荐结果,生成后验日志,所述后验日志用于对所述融合函数优选器的参数和所述超参数优化器的参数进行更新。3.根据权利要求1所述的方法,其特征在于,所述将所述目标融合函数输入超参数优化器,得到目标超参数,包括:将所述目标融合函数输入所述超参数优化器,得到所述超参数优化器从多个候选超参数中确定的所述目标超参数,其中,所述多个候选超参数是对联合高斯分布进行采样得到的。4.根据权利要求3所述的方法,其特征在于,所述联合高斯分布通过如下步骤确定:设置初始联合高斯分布;对所述初始联合高斯分布进行采样,得到多个候选超参数样本;获取多个所述历史视频样本;针对每个所述历史视频样本,随机选择一个所述候选超参数样本,根据选择的候选超参数样本,对该历史视频样本的第一推荐分向量样本和第二推荐分向量样本进行融合,得到每个所述历史视频样本的推荐向量样本;根据每个所述历史视频样本的推荐向量样本,对每个所述历史视频样本进行推荐,得到每个所述历史视频样本的推荐结果;根据每个所述历史视频样本的推荐结果,得到每个所述候选超参数样本的累计结果;根据每个所述候选超参数样本对应的累计结果,从所述多个候选超参数样本中确定目标超参数样本;
根据多个所述目标超参数样本,对所述初始联合高斯分布进行更新,得到所述联合高斯分布。5.根据权利要求4所述的方法,其特征在于,所述根据每个所述历史视频样本的推荐结果,得到每个所述候选超参数样本的累计结果,包括:根据每个所述历史视频样本在不同时间段的推荐结果,得到在所述不同时间段的每个所述历史超参数样本的累计结果;所述根据每个所述候选超参...

【专利技术属性】
技术研发人员:谢淼应元翔贡晓朋
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1