用于数据的有效使用以用于个性化的系统技术方案

使用基于先前“日志记录”策略而收集的历史数据来执行新“目标”策略的离策略评估，以估计该目标策略的性能。可以使用估计器，其中基于质量的估计器或质量不可知估计器被用于对历史数据中的观察到的奖励与由目标策略生成的估计出的奖励之间的差异进行加权。质量不可知估计器可以用于根据阈值来评估重要性权重。在这样的示例中，当重要性权重超过阈值时，质量不可知估计器在阈值处剪裁重要性权重，从而提供与奖励预测器的质量无关的固定上限。在其他示例中，使用了基于质量的估计器，其中上限结合了奖励预测器的质量，以便修改由估计器使用的重要性权重。用的重要性权重。用的重要性权重。

【技术实现步骤摘要】
【国外来华专利技术】用于数据的有效使用以用于个性化的系统

技术介绍

[0001]在使用contextual bandit协议的应用中，日志记录策略被用于基于给定的上下文来采取行动，从而获取奖励。在一些实例中，基于平均奖励度量来评估日志记录策略。然而，在没有昂贵的A/B测试和大型数据集的情况下，生成实现相似或经改进的平均奖励度量的经更新或新的策略(“目标策略”)是很困难的。
[0002]本文中所公开的方面是针对这些和其他一般考虑做出的。此外，尽管可以讨论相对具体的问题，但是应了解的是，示例不应限于解决
技术介绍
中或本公开的其他地方所标识的具体问题。

技术实现思路

[0003]本公开描述了用于评估策略并生成具有改进性能的策略的系统和方法。在一些示例中，使用基于先前算法(例如，“日志记录策略”)而收集到的历史数据来执行离策略(off
‑
policy)评估，以便估计经更新的算法(例如，“目标策略”)的性能。可以使用估计器，其中重要性权重被用于对历史数据中的观察到的奖励与由目标策略生成的估计出的奖励之间的差异进行加权(例如，可以由奖励预测器来估计)。在示例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：至少一个处理器；以及存储指令的存储器，所述指令在由所述至少一个处理器执行时，使所述系统执行一组操作，所述一组操作包括：针对与日志记录策略相关联的历史数据生成奖励预测器；确定离策略评估模型，其中所述离策略评估模型包括从由质量不可知估计器和基于质量的估计器组成的组中选择的估计器；使用所述离策略评估模型来评估目标策略，以确定所述目标策略的预期奖励度量是否高于所述日志记录策略的奖励度量；以及当确定所述预期奖励度量高于所述日志记录策略的所述奖励度量时，生成使用所述目标策略而不是所述日志记录策略的指示。2.根据权利要求1所述的系统，其中确定所述离策略评估模型包括：针对所述质量不可知估计器生成第一均方误差(MSE)度量；针对所述基于质量的估计器生成第二MSE度量；当所述第一MSE小于所述第二MSE时，选择所述质量不可知估计器作为所述估计器；以及当所述第二MSE小于所述第一MSE时，选择所述基于质量的估计器作为所述估计器。3.根据权利要求1所述的系统，其中所述一组操作还包括：从用户设备接收上下文的第二指示；根据所述目标策略，基于接收到的所述上下文来确定动作；以及响应于所述第一指示，提供所确定的所述动作的第三指示。4.一种用于基于先前策略来选择新策略的方法，所述方法包括：访问与所述先前策略相关联的历史数据，所述历史数据包括至少一个上下文、基于所述上下文而确定的动作、以及针对所述动作的奖励；使用离策略评估模型来评估所述新策略，以确定是否使用所述新策略代替所述先前策略，其中所述离策略评估模型包括直接模型、逆倾向评分、以及从由质量不可知估计器和基于质量的估计器组成的组中选择的估计器的组合；以及基于确定应使用所述新策略而不是所述先前策略：根据所述新策略来生成针对上下文的动作；以及向用户设备提供所述动作的指示。5.根据权利要求4所述的方法，其中当针对所述新策略的平均奖励度量高于针对先前策略的平均奖励度量时，确定使用所述新策略而不是所述旧策略，并且其中使用所述离策略评估模型来确定针对所述新策略的所述平均奖励度量。6.根据权利要求4所述的方法，其中所述质量不可知估计器包括阈值，如果重要性权重超过所述阈值，则在所述阈值处剪裁所述重要性权重。7.一种用于目标策略...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：