一种基于在线学习的网络资源推荐方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于在线学习的网络资源推荐方法及装置，该方法包括：根据用户针对展示的网络资源的反馈日志，对用于推荐网络资源的数据模型进行训练；基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分和推荐；对推荐的网络资源进行展示。本发明专利技术实施例以用户的反馈来训练数据模型，实现对数据模型进行快速反复的迭代，能提高推荐策略的反应速度和推荐的准确率。

【技术实现步骤摘要】
-种基于在线学习的网络资源推荐方法及装置
本专利技术涉及互联网
，具体涉及一种基于在线学习的网络资源推荐方法及 装置。
技术介绍
在视频，搜索，影视资源网站，互联网搜索引擎，W及推荐引擎（包括新闻推荐，商 品推荐，广告推荐等）等领域，通常遇到的问题是互联网资源较多，但是资源竞争问题决定 仅仅只有有限的互联网资源能够得W展现给用户，因此如何选择合适的互联网资源推荐给 用户是比较重要的问题。 现有技术中，网络设备向用户推荐互联网资源时，往往是对资源按照用户行为等 信息进行权重计算，再根据权重排名选择推荐信息，但是，该种现有的互联网资源推荐过程 中，专利技术人发现存在W下问题；推荐的信息趋于集中和固定，某些新的或冷口的互联网资源 因为参照的结果信息的缺失而得不到推荐。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于在线学习的网络资源推荐方法及装置，W 提高推荐策略的反应速度和推荐的准确率。 第一方面，本专利技术实施例提供了一种基于在线学习的网络资源推荐方法，包括： 根据用户针对展示的网络资源的反馈日志，对用于推荐网络资源的数据模型进行 训练； 基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分和推荐； 对推荐的网络资源进行展示。 第二方面，本专利技术实施例还提供了一种基于在线学习的网络资源推荐装置，包 括： 模型训练单元，用于根据用户针对展示的网络资源的反馈日志，对用于推荐网络 资源的数据模型进行训练； 资源推荐单元，用于基于所述数据模型对需要推荐的网络资源按照E&E算法进行 打分和推荐； 资源展示单元，用于对推荐的网络资源进行展示。 本专利技术实施例的技术方案根据用户针对展示的网络资源的反馈日志对数据模型 进行训练，基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分、推荐和展示， 再根据用户针对展示的网络资源的反馈日志又对数据模型进行训练，依此循环，不断迭代， W用户的反馈来训练数据模型，实现对数据模型进行快速反复的迭代，能提高推荐策略的 反应速度和推荐的准确率。 【附图说明】 为了更清楚地说明本专利技术实施例中的技术方案，下面将对本专利技术实施例描述中所 需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据本专利技术实施 例的内容和该些附图获得其他的附图。 图1是本专利技术实施例一所述的基于在线学习的网络资源推荐方法流程图； 图2是本专利技术实施例二所述的基于在线学习的网络资源推荐方法流程图； 图3是本专利技术实施例H所述的基于在线学习的网络资源推荐装置的结构框图。 【具体实施方式】 为使本专利技术解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面 将结合附图对本专利技术实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅 是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在 没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。 下面结合附图并通过【具体实施方式】来进一步说明本专利技术的技术方案。 实施例一 图1是本专利技术实施例一提供的基于在线学习的网络资源推荐方法流程图，本实施 例可适用于对网络资源进行在线推荐的情况，包括但不限于提供网络资源浏览和/或下载 的内容提供网站进行网络资源推荐，例如影视推荐、应用程序APP推荐等。该方法可W由配 置在服务器中的基于在线学习的网络资源推荐装置来执行，如图1所示，本实施例所述的 基于在线学习的网络资源推荐方法包括： S101、根据用户针对展示的网络资源的反馈日志，对用于推荐网络资源的数据模 型进行训练。 本实施例所称的网络资源包括多种类型的在线资源，例如媒体文件（如视频、音 乐、图片等）、文档、APP、网站、网上商城的商家或商品和统一资源定位符U化资源、W及婚 恋网站或求职网站的会员等。可根据本实施例的技术方案所应用的具体功能和场景进行界 定。例如用于影视推荐，则此处网络资源即为该网站的影视资源，用于APP网上商城，则此 处网络资源即为APP。 用户反馈日志中包括用户的反馈，具体可包括对网络资源的点击、下载、浏览、在 线安装、收藏、评价（例如评论、评分、点赞等）等用户行为信息。需要说明的是，上述示例 仅出于示例目的，根据本专利技术实施例不限于此。 为了进行有针对的用户个性化推荐，作为优选，所述反馈日志还需要包括用户信 息，具体地，用户信息可包括用户ID、用户兴趣点W及该兴趣点的权重等信息。 所述反馈日志的获取，可W是通过实时的方式获取，也可按照周期获取或按预设 条件获取。 本实施例中所述的数据模型可W包括表格或者 <键-值〉形式的资源-历史记录、 回归/排序模型等。 其中回归/排序模型可包括但不限于线性回归模型、非线性回归模型、Learning To Rank模型、和马尔柯夫决策规则MDP模型等。 需要说明的是，所述数据模型通过增量的方式进行训练，包括实时训练和分批训 练。 S102、基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分和推荐。 本实施例所称的E&E算法为Exploration & Exploitaion族算法，包括但不限于 e -greedy算法、置信度上界UCB算法、抽样方法算法、Ranked Bandits算法、Contex^al Bandits算法、和Rein化rcement Learning算法等诸多算法中的一种算法、或两种W上算 法相结合。 本实施例中，基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分和 推荐，可W是基于所述数据模型对网络资源采用上述E&E算法中的一种、两种或W上进行 打分和推荐，或基于所述数据模型对网络资源采用上述E&E算法中的一种、两种或W上，同 其他的非E&E算法相结合进行打分和推荐。 与非E&E算法相比，E&E算法无需事先积累大量数据，能处理冷启动的情况，而且 克服了直接由用户收益/展现实现权重计算，或直接根据收益值计算权重而产生的马太效 应严重的问题，无法体现资源真实质量，W致多数网络资源没有展示机会。 S103、对推荐的网络资源进行展示，返回SlOl。 例如对打分最高的网络资源进行展示，或根据打分从高到低排序，对排序靠前的 预设数目的网络资源进行展示等。 本操作之后，又可收集用户针对本操作所展示的网络资源的反馈日志，根据该日 志对用于推荐网络资源的数据模型进行训练，依此循环，不断迭代和根据迭代后的数据模 型进行打分和推荐。 本实施例的技术方案根据用户针对展示的网络资源的反馈日志对数据模型进行 训练，基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分、推荐和展示，再根 据用户针对展示的网络资源的反馈日志又对数据模型进行训练，依此循环，不断迭代，W用 户的反馈来训练数据模型，实现对数据模型进行快速反复的迭代，能提高推荐策略的反应 速度和推荐的准确率。 实施例二本文档来自技高网...

【技术保护点】
一种基于在线学习的网络资源推荐方法，其特征在于，包括：根据用户针对展示的网络资源的反馈日志，对用于推荐网络资源的数据模型进行训练；基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分和推荐；对推荐的网络资源进行展示。

【技术特征摘要】
1. 一种基于在线学习的网络资源推荐方法，其特征在于，包括： 根据用户针对展示的网络资源的反馈日志，对用于推荐网络资源的数据模型进行训 练； 基于所述数据模型对需要推荐的网络资源按照E&E算法进行打分和推荐； 对推荐的网络资源进行展示。2. 根据权利要求1所述的方法，其特征在于，按照E&E算法进行打分和推荐的操作具 体包括：按照e -greedy算法、置信度上界UCB算法、抽样方法算法、Ranked Bandits算法、 Contextual Bandits算法、和Reinforcement Learning算法中的一种算法、或两种以上算 法相结合，进行打分和推荐。3. 根据权利要求1或2所述的方法，其特征在于，根据用户针对展示的网络资源的反馈 日志，对用于推荐网络资源的数据模型进行训练的操作具体包括： 获取用户对展示的网络资源的反馈日志，其中所述反馈日志包括用户行为信息； 将所述反馈日志进行预处理形成结构化的数据样本； 根据所述数据样本对用于推荐网络资源的数据模型进行训练。4. 根据权利要求3所述的方法，其特征在于，获取用户对推荐的网络资源的反馈日志 的操作具体包括： 通过实时的方式或按照周期获取用户对推荐的网络资源的反馈日志。5. 根据权利要求3所述的方法，其特征在于，将所述反馈日志进行预处理形成结构化 的数据样本的操作具体包括： 从所述反馈日志中查询用户的静态属性和当前的动态属性； 计算所述展示的网络资源的预设维度的权值； 将用户的静态属性和当前的动态属性，以及所述展示的网络资源在各预设维度的权 值，拟合成结构化的收益/损失数据，作为数据样本。6. 根据权利要求3所述的方法，其特征在于，所述用户行为信息包括对网络资源的点 击、下载和/或浏览。7. 根据权利要求3所述的方法，其特征在于，所述反馈日志还包括用户信息。8. 根据权利要求7所述的方法，其特征在于，所述用户信息包括用户ID、...

【专利技术属性】
技术研发人员：王凡，田浩，徐倩，陈立，信贤卫，吴泽衡，周方圆，郑德荣，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11