处理AB测试的命中分组数据的方法和系统技术方案

本申请涉及一种处理AB测试的命中分组数据的方法、装置、计算机设备和存储介质。所述方法包括：通过业务系统将AB测试SDK分流后的命中分组数据以高并发异步的形式发给第一Kafka消息队列管道，以及每隔第一时长将过去第一时长内进行AB测试的测试相关信息存入缓存系统，所述AB测试SDK集成于所述业务系统；通过数据处理系统根据目标测试相关信息对目标命中分组数据进行指定处理，得到期望分组数据，并将所述期望分组数据以同步形式发送至第二Kafka消息队列管道。本申请实施例能够实现及时感知数据丢失以及恢复丢失的数据，并且能够同时兼顾性能高、高并发的优点。高并发的优点。高并发的优点。

Method and system for processing hit packet data of AB test

【技术实现步骤摘要】
处理AB测试的命中分组数据的方法和系统


[0001]本申请涉及计算机
，特别是涉及一种处理AB测试的命中分组数据的方法、系统、计算机设备和存储介质。

技术介绍

[0002]目前关于AB测试(即A/B Test)的命中分组数据的埋点流程如图1所示。以下先对一些名词进行说明。
[0003]AB测试SDK：是集成在业务系统内的一个软件开发工具包(Software Development Kit)。其有2大功能：
[0004]1、分流：指使用特定算法对流量进行分流，分流后的流量会命中多个分组中的某一个分组，或者未命中分组。进行实验分流需要具备2个前提条件，即实验配置信息以及分流对象。实验配置信息：指某个实验中有n个分组，每个分组占比多少。如：某个实验有2个分组，分别是对照组，实验组；其中对照组占比50％。实验组占比50％。分流对象：指具备唯一性标识的对象。如用户id、司机id、时间、订单编号等。
[0005]2、埋点：指将命中的分组数据通过某种技术手段发送并存储起来，以便BI(Business Intelligence)分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理AB测试的命中分组数据的方法，其特征在于，所述方法包括：通过业务系统将AB测试SDK分流后的命中分组数据以高并发异步的形式发给第一Kafka消息队列管道，以及每隔第一时长将过去第一时长内进行AB测试的测试相关信息存入缓存系统，所述AB测试SDK集成于所述业务系统；通过数据处理系统根据目标测试相关信息对目标命中分组数据进行指定处理，得到期望分组数据，并将所述期望分组数据以同步形式发送至第二Kafka消息队列管道；其中，所述数据处理系统是基于Kafka Stream实现的；所述目标命中分组数据是所述数据处理系统从所述第一Kafka消息队列管道拉取对应于目标时间区间的命中分组数据，所述目标测试相关信息是所述数据处理系统从所述缓存系统中获取的对应于所述目标时间区间的测试相关信息。2.如权利要求1所述的方法，其特征在于，所述目标时间区间的时长等于所述第一时长；所述测试相关信息包括分流次数、分流对象和实验配置信息；所述指定处理包括数据数量验证、数据恢复和特定数据检测。3.如权利要求2所述的方法，其特征在于，通过所述数据处理系统根据目标测试相关信息对目标命中分组数据进行指定处理，包括：通过所述数据处理系统执行以下操作：统计所述目标命中分组数据的数据量；根据所述数据量和所述目标测试相关信息中的分流次数检查所述目标命中分组数据是否出现数据丢失；响应于所述目标命中分组数据出现数据丢失，根据所述目标命中分组数据、所述目标测试相关信息中的分流对象和实验配置信息进行数据恢复，得到恢复的目标命中分组数据；对待检测数据进行特定数据检测；所述待检测数据为所述目标命中分组数据或所述恢复的目标命中分组数据。4.如权利要求3所述的方法，其特征在于，通过所述数据处理系统根据所述目标命中分组数据、所述目标测试相关信息中的分流对象和实验配置信息进行数据恢复，得到恢复的目标命中分组数据，包括：通过所述数据处理系统对比所述目标命中分组数据和所述目标测试相关信息中的分流对象，确定丢失的分流对象，根据所述丢失的分流对象和所述目标测试相关信息中的实验配置信息执行分流处理，得到恢复的目标命中分组数据。5.如权利要求3所述的方法，其特征在于，所述方法还包括：通过所述数据处理系统将所述待检测数据中的未成功通过所述特定数据检测的命中分组数据作为异常数据，并每隔第二时长将得到的异常数据发送至监控系统，使得所述监控系统对接收到...

【专利技术属性】
技术研发人员：陈佳超，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：