用于获取视频推荐模型的方法及装置、电子设备、存储介质制造方法及图纸

本申请涉及视频推荐技术领域，公开一种用于获取视频推荐模型的方法，包括：获取多个历史视频观看数据；按照预设格式对各历史视频观看数据进行整理，获得离线训练数据集；根据离线训练数据集对预设的强化学习模型进行训练，获得备选推荐模型；利用备选推荐模型对用户进行视频推荐；在利用备选推荐模型对用户进行视频推荐达到预设次数后，对预设次数的视频推荐产生的数据进行采集，获得在线训练数据集；根据在线训练数据集对备选推荐模型进行更新，获得目标推荐模型。通过对预设的强化学习模型分别进行离线训练和在线训练，这样获得的目标推荐模型在进行视频推荐时准确率更高。本申请还公开一种用于获取视频推荐模型的装置及电子设备、存储介质。存储介质。存储介质。

【技术实现步骤摘要】
用于获取视频推荐模型的方法及装置、电子设备、存储介质


[0001]本申请涉及视频推荐
，例如涉及一种用于获取视频推荐模型的方法及装置、电子设备、存储介质。

技术介绍

[0002]随着互联网技术的蓬勃发展，多媒体短视频成为当今最热的娱乐方式。当下有众多的短视频应用占据着互联网的半壁江山，如抖音、快手、西瓜等。这些短视频应用本身的核心业务是依靠超大的用户流量和用户留存实现用户变现，因此需要提高用户留存率，而提高用户留存率需要提高视频推荐的准确率，这样才能使得推荐给用户的视频更符合用户的喜好，从而使得用户尽可能留存较长的时间。
[0003]在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
[0004]相关技术中在对用户进行视频推荐时，由于没有考虑用户的喜好可能存在实时变化的情况，导致推荐的视频难以满足用户的喜好，使得视频推荐的准确率较低。

技术实现思路

[0005]为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
[0006]本公开实施例提供了一种用于获取视频推荐模型的方法及装置、电子设备、存储介质，以能够提高视频推荐的准确率。
[0007]在一些实施例中，用于获取视频推荐模型的方法，包括：获取多个历史视频观看数据；历史视频观看数据为预设时间段内的视频推荐所产生的数据；按照预设格式对各历史视频观看数据进行整理，获得离线训练数据集；根据离线训练数据集对预设的强化学习模型进行训练，获得备选推荐模型；利用备选推荐模型对用户进行视频推荐；在利用备选推荐模型对用户进行视频推荐达到预设次数后，对预设次数的视频推荐产生的数据进行采集，获得在线训练数据集；根据在线训练数据集对备选推荐模型进行更新，获得目标推荐模型。
[0008]在一些实施例中，所述用于获取视频推荐模型的装置，包括：第一获取模块，被配置为获取多个历史视频观看数据；所述历史视频观看数据为预设时间段内的视频推荐所产生的数据；数据整理模块，被配置为按照预设格式对各所述历史视频观看数据进行整理，获得离线训练数据集；训练模块，被配置为根据所述离线训练数据集对预设的强化学习模型进行训练，获得备选推荐模型；第一推荐模块，被配置为利用所述备选推荐模型对用户进行视频推荐；第二获取模块，被配置为在利用所述备选推荐模型对用户进行视频推荐达到预设次数后，对所述预设次数的视频推荐产生的数据进行采集，获得在线训练数据集；更新模块，被配置为根据所述在线训练数据集对所述备选推荐模型进行更新，获得目标推荐模型。
[0009]在一些实施例中，所述电子设备包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行如上述的用于获取视频推荐模型的方法。
[0010]在一些实施例中，所述存储介质存储有程序指令，所述程序指令在运行时，执行上述的用于获取视频推荐模型的方法。
[0011]本公开实施例提供的用于获取视频推荐模型的方法及装置、电子设备、存储介质，可以实现以下技术效果：获取多个历史视频观看数据；按照预设格式对各历史视频观看数据进行整理，获得离线训练数据集；根据离线训练数据集对预设的强化学习模型进行训练，获得备选推荐模型；利用备选推荐模型对用户进行视频推荐；在利用备选推荐模型对用户进行视频推荐达到预设次数后，对预设次数的视频推荐产生的数据进行采集，获得在线训练数据集；根据在线训练数据集对备选推荐模型进行更新，获得目标推荐模型。通过对预设的强化学习模型分别进行离线训练和在线训练获得目标推荐模型，这样获得的目标推荐模型在对用户进行视频推荐时能够将更符合用户喜好的视频推荐给用户，从而能够提高视频推荐的准确率。
[0012]以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
[0013]一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
[0014]图1是本公开实施例提供的一个用于获取视频推荐模型的方法的示意图；
[0015]图2是本公开实施例的一个第一奖励值随用户观看时长变化的示意图；
[0016]图3是本公开实施例提供的一个用于视频推荐的方法的示意图；
[0017]图4是本公开实施例提供的另一个用于视频推荐的方法的示意图；
[0018]图5是本公开实施例提供的另一个用于获取视频推荐模型的方法的示意图；
[0019]图6是本公开实施例提供的一个用于获取视频推荐模型的装置的示意图；
[0020]图7是本公开实施例提供的一个电子设备的示意图。
具体实施方式
[0021]为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
[0022]本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
[0023]除非另有说明，术语“多个”表示两个或两个以上。
[0024]本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
[0025]术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
[0026]术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
[0027]结合图1所示，本公开实施例提供一种用于获取视频推荐模型的方法，包括：
[0028]步骤S101，电子设备获取多个历史视频观看数据；历史视频观看数据为预设时间段内的视频推荐所产生的数据。
[0029]步骤S102，电子设备按照预设格式对各历史视频观看数据进行整理，获得离线训练数据集。
[0030]步骤S103，电子设备根据离线训练数据集对预设的强化学习模型进行训练，获得备选推荐模型。
[0031]步骤S104，电子设备利用备选推荐模型对用户进行视频推荐。
[0032]步骤S105，电子设备在利用备选推荐模型对用户进行视频推荐达到预设次数后，对预设次数的视频推荐产生的数据进行采集，获得在线训练数据集。
[0033]步骤S106，电子设备根据在线训练数据集对备选推荐模型进行更新，获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于获取视频推荐模型的方法，其特征在于，包括：获取多个历史视频观看数据；所述历史视频观看数据为预设时间段内的视频推荐所产生的数据；按照预设格式对各所述历史视频观看数据进行整理，获得离线训练数据集；根据所述离线训练数据集对预设的强化学习模型进行训练，获得备选推荐模型；利用所述备选推荐模型对用户进行视频推荐；在利用所述备选推荐模型对用户进行视频推荐达到预设次数后，对所述预设次数的视频推荐产生的数据进行采集，获得在线训练数据集；根据所述在线训练数据集对所述备选推荐模型进行更新，获得目标推荐模型。2.根据权利要求1所述的方法，其特征在于，所述历史视频观看数据包括第一状态和第二状态，所述第一状态用于表征用户观看的第一历史视频，所述第二状态用于表征用户观看的第二历史视频；获取多个历史视频观看数据，包括：对用户观看过的各历史视频进行特征向量提取，获得所述第一状态和所述第二状态。3.根据权利要求1所述的方法，其特征在于，所述历史视频观看数据包括动作，所述动作用于表征在所述第一状态下将预设类型的第二历史视频推送给用户；获取多个历史视频观看数据，包括：从预设的动作数据库中匹配出与各动作对应的编号；所述动作数据库中存储有动作与编号之间的对应关系，通过所述编号表征各所述动作。4.根据权利要求1所述的方法，其特征在于，所述历史视频观看数据包括奖励，所述奖励用于表征在所述动作完成后用户对推送的第二历史视频的喜爱程度；获取多个历史视频观看数据，包括：获取用户观看所述第二历史视频的时长和反馈信息；所述反馈信息包括用户对所述第二历史视频的转发行为信息、评论行为信息或点赞行为信息中的一种或多种；获取所述时长对应的第一奖励值和所述反馈信息对应的第二奖励值；对所述第一奖励值和所述第二奖励值进行求和处理，获得所述奖励。5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述离线训练数据集对预设的强化学习模型进行训练，获得备选推荐模型，包括：将所...

【专利技术属性】
技术研发人员：王同乐，李霞，杨康，孙泽懿，李采彧，李莹莹，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：