【技术实现步骤摘要】
推荐服务的实验及其管理方法、装置和系统
本专利技术涉及互联网领域，尤其涉及一种用于进行推荐服务的实验及其管理方法、装置和系统。
技术介绍
在互联网时代，需要不断优化网络产品(Web页面或是APP)的用户使用和浏览体验，以保持甚至提升点击率与转化率。为此，需要不断推出新的功能，使用优化的后台算法，更换应景的显示风格等。上述优化或更新都可以看作是系统针对用户推荐的新服务。上述推荐服务在全流量上线之前，通常需要测试用户对上述推荐服务的反应，以确定是否上线服务或是确定该服务下一步的优化方向。上述针对不同真实用户的测试可被称为“推荐服务实验”，例如，A/B实验和灰度实验。针对同一目标推荐服务的实验通常需要在不同的实验配置之下多次执行。在现有技术中，由于对推荐服务的测试通常在投放实验之前，因此无法避免后续实验中由推荐服务本身而非用户对其喜好所导致的问题。为此，需要一种能够优化推荐服务上线的方案。
技术实现思路
为了解决如上至少一个问题，本专利技术提出了一种用于进行推荐服务实验的方法，其通过针对同一推荐服务的后...
【技术保护点】
1.一种用于进行推荐服务实验的方法，包括：/n在模拟线上环境中部署用于推荐目标服务的更新实验；/n在所述模拟线上环境中进行基于真实线上流量信息的流量回放，以获取针对更新实验的更新实验指标；以及/n基于所述更新实验指标，确定是否上线所述更新实验。/n
【技术特征摘要】
1.一种用于进行推荐服务实验的方法，包括：
在模拟线上环境中部署用于推荐目标服务的更新实验；
在所述模拟线上环境中进行基于真实线上流量信息的流量回放，以获取针对更新实验的更新实验指标；以及
基于所述更新实验指标，确定是否上线所述更新实验。
2.如权利要求1所述的方法，还包括：
获取用于推荐目标服务的在前实验的在前实验线上流量信息，并且
在所述模拟线上环境中进行流量回放基于的所述真实线上流量信息包括所述在前实验线上流量信息。
3.如权利要求2所述的方法，还包括：
在模拟线上环境中部署用于推荐目标服务的所述在前实验；
在布置了所述在前实验的所述模拟线上环境中进行基于所述在前实验线上流量信息的流量回放，以获取针对在前实验的在前实验指标，并且
所述基于所述更新指标确定是否上线所述更新实验的步骤还包括：
比较所述在前实验指标和所述更新实验指标；以及
根据所述比较结果确定是否上线所述更新实验。
4.如权利要求3所述的方法，还包括：
在所述比较结果和/或所述更新实验指标符合预定阈值要求的情况下，将所述更新实验修改为上线状态。
5.如权利要求1所述的方法，其中，所述更新实验和所述在前实验的配置变更的相同实验。
6.如权利要求5所述的方法，其中，所述在前实验是针对小流量用户的实验，所述更新实验是针对更大流量用户的实验。
7.如权利要求1所述的方法，还包括：
从真实流量用例库中获取所述真实线上流量信息。
8.如权利要求1所述的方法，其中，所述更新实验指标是系统性能指标，并且包括如下的至少一项：
CPU延迟；
内存延迟；
emptyQps(为空的每秒查询数)；以及
degradQps(降级的每秒查询数)。
9.一种推荐服务实验管理方法，包括：
在真实线上环境中部署针对推荐目标服务的在前实验；
在所述在前实验通过且更新实验准备就绪的情况下，执行如权利要求1-8中任一项所述的推荐服务实验的方法。
10.如权利要求9所述的方法，还包括：
基于对上线所述更新实验的确定，在真实线上环境中进行针对推荐目标服务的所述更新实验。
11.如权利要求10所述的方法，还包括：
针对后续更新实验，迭代执行所述推荐服务实验的方法。
12.如权利要求9所述的方法，其中，在真实线上环境中部署针对推荐目标服务的在前实验包括：
在真实线上环境中部署各自针对不同目标服务的多个在前实验，并且，
在所述在前实验通过且更新实验准备就绪的情况下，执行如权利要求1-8中任一项所述的推荐服务实验的方法包括：
在所述多个在前实验通过且对应的更新实验准备就绪的情况下，针对每个目标服务各自执行如权利要求1-8中任一项所述的推荐服务实验的方法。
13.如权利要求12所述的方法，其中，在所述多个在前实验通过且对应的更新实验准备就绪的情况下，针对每个目标服务各自执行如权利要求1-8中任一项所述的推荐服务实验的方法包括：
将准备就绪的更新实验写入回归测试表作为待测项，并将该项的状态设置为待测；
当正执行如权利要求1-8中任一项所述的推荐服务实验的方法时，将对应待测项的状态更改为运行中；以及
基于确定是否上线更新实验的结果...
【专利技术属性】
技术研发人员：张坤，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。