本发明专利技术提供了一种AB实验方法，包括：确定AB实验的实验层数；当AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；当AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。每一层采用时间片固定顺序轮播与隔天反转的实验方式；根据AB实验回收周期进行数据回收。本发明专利技术提供的AB实验方法对于单层实验增加了实验组别间的同质性，缩短了实验观察周期；对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。上一层实验对下一层产生影响。上一层实验对下一层产生影响。
【技术实现步骤摘要】
AB实验方法、装置、计算机设备及计算机可读存储介质
[0001]本专利技术涉及计算机
，尤其涉及一种AB实验方法、装置、计算机设备及计算机可读存储介质。
技术介绍
[0002]目前在Web(网页)或App(应用程序)的策略迭代上，广泛使用AB实验的结果作为决策依据。它的核心原理是在同一时间内，相似的用户被随机分流，分别访问不同策略生效的网页或应用程序，分析师通过收集不同组用户的行为数据和业务数据，分析评估出策略的最佳版本。货运场景涉及用户、订单和司机三个分流对象，对一个元素的简单随机分流不能保证实验同质性，而且随机分流在大样本上效果较好，货运市场存在样本量受限的情况，且货运调度匹配复杂，对同一分流对象存在多个实验并存的现象，因此，简单的随机分流并不能满足货运的复杂场景，尤其是在存在多个实验层交叉时。
技术实现思路
[0003]本专利技术的目的在于提供一种AB实验方法、装置、计算机设备及计算机可读存储介质，旨在解决货运场景下AB实验存在多个实验层交叉时的问题。
[0004]第一方面，本专利技术提供了一种AB实验方法，包括：S101、确定AB实验的实验层数；S102、当所述AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；S103、当所述AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐；每一层采用时间片固定顺序轮播与隔天反转的实验方式；
[0005]S104、根据所述AB实验回收周期进行数据回收。
[0006]第二方面，本专利技术提供了一种AB实验装置，包括：判断模块，用于确定AB实验的实验层数；单层实施模块，用于当所述AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；多层实施模块，用于当所述AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐。每一层采用时间片固定顺序轮播与隔天反转的实验方式；
[0007]回收模块，用于根据所述AB实验回收周期进行数据回收。
[0008]第三方面，本专利技术提供了一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处
理器执行，所述处理器执行所述计算机程序时实现如上所述AB实验方法的步骤。
[0009]第四方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的AB实验方法的步骤。
[0010]在本专利技术中提供了一种AB实验方法，对于单层实验采用时间片固定顺序轮播且隔天反转的实验方式，增加了实验组别之间的同质性，以及保证各组流量与预期一致，相比于一般的时间片实验，可以缩短实验观察周期。对于多层嵌套实验，实现了流量高效利用，科学处理了不同实验层间的干扰，后期实验数据分析可以根据嵌套结构计算多个实验叠加的效果，量化上一层实验对下一层产生影响。
附图说明
[0011]图1A是本专利技术实施例一提供的AB实验方法的流程图；图1B是本专利技术实施例一提供的三层嵌套实验的时间片关系示意图；图1C是本专利技术实施例一提供的不同时间片长度下的实验周期和跨片率曲线图；图2是本专利技术实施例二提供的AB实验装置的功能模块框图；
[0012]图3是本专利技术实施例三提供的计算机设备的结构示意图。
具体实施方式
[0013]为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0014]为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
[0015]实施例一：如图1A所示，本专利技术实施例一提供了一种AB实验方法100，包括以下步骤：
[0016]S101、确定AB实验的实验层数；在实际应用中，为了最大化利用流量，有时需要在同一批流量上做多个实验，即AB实验的层数是多层，多层实验相比单层实验需要额外的实验设计。
[0017]S102、当AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式。
[0018]AB实验的基本假设之一是实验组和对照组之间不会存在互相干扰（SUTVA假设），即个体的潜在结果是不会随其他个体是否接受处理而改变的。但在货运场景常见的订单分流场景下，同一时间下运力承接了实验组和对照组的订单，这时候优势的策略组会吸引更多或更优质的运力（即运力竞争），放大了实验组和对照组的差异。
[0019]为了缓解运力竞争对实验结果的影响，我们在货运场景下引入时间片实验，但运力竞争仍然存在。运力竞争是否存在以及严重程度可以由跨片率（履约完成跨片单量 / 履约完成单量 * 100%）这一指标衡量，时间片越小，订单同质性变好，但跨片率越大，实验和对照组之间的干扰越大；时间片越长，跨片率越小，但时间片与时间片之间的同质性就会变差，此时很难保证分流的均匀性，只能将观测周期拉长，因此在考虑时间片长度时，需要同时考虑运力竞争问题和分流的同质性问题。
[0020]更具体地，确定时间片长度的步骤具体包括：Step A确定待选时间片范围，一般的时间片长度在2小时之内，更长的时间片则实
验周期过长，使得迭代业务策略变得不可行，例如将待选时间片选定为：最短时间片1分钟，最长时间片2小时，其他时间片以最短时间片为基准按照步长1分钟（或者其他步长，例如2分钟、5分钟等）递增；Step B绘制待选时间片的实验周期和跨片率曲线图，首先计算待选时间片的实验周期和跨片率，将待选时间片中的每一个时间片，在历史数据上做多次模拟仿真实验，根据每一个时间片长度将流量分成实验组和对照组，观察业务指标自然波动情况，当波动趋于稳定的时候，即是当前时间片下的实验周期。同时，再计算每个时间片下的跨片率，最后绘制出不同时间片长度下的实验周期曲线和跨片率曲线，两者是此消彼长的关系，如图1C所示；Step C按照业务需要选择时间片长度，具体包括：场景一：当要求实验周期短时，选择长度小于阈值下限的短时间片，例如阈值下限是10分钟，此时流量同质性好，但跨片率高导致组间干扰大；场景二：当要求实验周期适中时，选择长度大于等于阈值下限且小于等于阈值上限的中等时间片，例如阈值上限是1小时，此时流量同质性好，但存在一定的组间干扰；
[0021]场景三：当要求实验周期长时，选择时间片长度大于阈值上限的长时间片，此时流量同质性差，但组间干扰小。
[0022]其中，阈值下限小于阈值上限，阈值下限和阈值上限是可以根据不同业务变化的，一般按场景二选择，可以平衡实验周期和跨片率的影响。
[0023]如果单一流量只叠加一个实验，在确定时间片长度之后，采用时间片固定顺序轮播与隔天反转的实验方式，对于一天内的时间片，有固定顺序轮播和随机轮播两种方式，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种AB实验方法，其特征在于，所述方法包括：S101、确定AB实验的实验层数；S102、当所述AB实验层数是一层时，采用时间片固定顺序轮播与隔天反转的实验方式；S103、当所述AB实验层数是多层时，不同层的时间片长度需满足：上一层的时间片覆盖下一层的全部时间片，且上一层时间片与下一层时间片首尾对齐；每一层采用时间片固定顺序轮播与隔天反转的实验方式；S104、根据所述AB实验回收周期进行数据回收。2.如权利要求1所述的方法，其特征在于，所述方法还包括：当所述AB实验新增实验层时，判断是否可进行嵌套实验，当可以嵌套时，将新增实验嵌套入当前AB实验中；当不可以嵌套时，实施隔离实验。3.如权利要求1所述的方法，其特征在于，所述方法还包括：当所述AB实验需要扩量时，根据所述AB实验的收益性质确定扩量。4.如权利要求1所述的方法，其特征在于，所述AB实验回收周期包括短期回收周期和长期回收周期，所述短期回收周期的下限是在当前观察周期下，当前层的实验组和对照组之间的流量达到同质所需的最短时间，所述长期回收周期是考虑实验其他层的干扰后达到同质所需的最短时间。5.如权利要求2所述的方法，其特征在于，当所述AB实验新增实验层时，判断是否可进行嵌套实验，当全部满足以下条件时可进行嵌套实验：新实验加入后AB实验总层数不超过四层、新实验的时间片轮播周期起点是每天0点、以及新实验加入后每层实验的分组数目不变；否则不可以进行嵌套实验，实施隔离实验，具体是将城市分成同质的两类，一类只做嵌套实验，另一类只做隔离实验。6.如权利要求3所述的方法，其特征在于，当所述AB实验需要扩量时，根据所述AB实验的收益性质确定扩量，包括：当所述AB实验的短期收益正向、显著且逻辑清晰，在其他城市群上直接100%扩量，扩量的时间节点是在每天的0点；当所述AB实验收益正向但不显著，其他城市群上的实验达到短期回收周期且实验是否...
【专利技术属性】
技术研发人员：夏天，林肯，吴腾枫，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。