一种测试的执行方法、装置、设备及存储介质制造方法及图纸

本申请提供了测试的执行方法、装置、设备及存储介质，该执行方法包括：确定目标产品的第一方案和第二方案的差异特征；根据第二差异特征对用户个性行为的影响，确定针对第一方案和第二方案的用户行为特征分布信息；根据第一差异特征对用户共性行为的影响、受测用户的数量以及第一方案和第二方案的重要程度，确定第一用户数量和第二用户数量；根据用户行为特征分布信息、第一用户数量和第二用户数量，分别确定用于测试第一方案的第一受测用户组和用于测试第二方案的第二受测用户组。这样，本申请在不限制受测方案的制定以及受测方案需要投放相同数量受测用户的基础上，可以准确地得到可信的测试结果，减少受测方案的制定成本，提高测试的灵活程度。提高测试的灵活程度。提高测试的灵活程度。

【技术实现步骤摘要】
一种测试的执行方法、装置、设备及存储介质


[0001]本申请涉及大数据
，具体而言，涉及一种测试的执行方法、装置、设备及存储介质。

技术介绍

[0002]在产品应用的过程中，通常需要更新迭代产品，以通过优化产品来提升用户的满意度。在大数据的应用领域中，一个重要的迭代优化工具是进行AB测试。具体来说，AB测试是根据产品更新方案的版本数量和产品更新前的原始方案的版本数量，将总体流量样本分成若干组，并为每一个版本的方案提供一组流量样本进行测试，其中，每组流量样本的用户数量相同；经过一段时间的运营测试之后，通过对每组流量样本中用户的行为数据进行分析，从而为最终的产品更新方案设计和产品迭代提供决策依据。
[0003]为了保证测试结果的可信度，现有的AB测试方法，一方面，需要保证每组流量样本中投放的受测用户总数相同；另一方面，由于现有的AB测试方法并未考虑到不同类型受测用户之间的行为数据差异，因此，在制定至少一个版本的产品更新方案时，还需要保证该至少一个版本的产品更新方案和参考版本方案(可以是原始版本方案)中的区别变量唯一，例如，A方案是参考版本方案，对应使用红色按钮，B方案是产品更新方案，对应使用蓝色按钮；若该至少一个版本的产品更新方案和参考版本方案中的区别变量不唯一，例如，A方案使用圆形红色按钮，B方案使用方形蓝色按钮，此时，难以根据AB测试结果，确定B方案相比于A方案的有益效果的影响因素是按钮颜色还是按钮形状。
[0004]通过上述两方面内容可以看出，现有的AB测试方法需要限制产品更新方案的制定以及每个产品更新方案对应的流量样本中的分组人数符合规范，这就导致产品更新方案的制定成本较高，测试灵活程度较差。

技术实现思路

[0005]有鉴于此，本申请的目的在于提供一种测试的执行方法、装置、设备及存储介质，能够在实际进行AB测试时，在不限制受测方案的制定以及受测方案需要投放相同数量的受测用户的基础上，准确地得到受测方案的可信测试结果，减少受测方案的制定成本，提高测试的灵活程度。
[0006]第一方面，本申请实施例提供了一种测试的执行方法，所述执行方法包括：
[0007]确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；
[0008]根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；
[0009]根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方
案的第二用户数量；
[0010]根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组；
[0011]根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。
[0012]在一种可能的实施方式中，所述确定目标产品的第一方案和第二方案的差异特征，包括：
[0013]响应于所述第一方案与所述第二方案的对比，获取共性特征维度下的第一对比结果和个性特征维度下的第二对比结果；
[0014]根据所述共性特征维度下包括的至少一种共性行为类型特征，从所述第一对比结果中，提取与所述至少一种共性行为类型特征相对应的差异特征作为所述第一差异特征；
[0015]根据所述个性特征维度下包括的至少一种个性行为类型特征，从所述第二对比结果中，提取与所述至少一种个性行为类型特征相对应的差异特征作为所述第二差异特征。
[0016]在一种可能的实施方式中，所述根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息，包括：
[0017]根据所述第二差异特征对用户个性行为的影响，确定至少一种类型的用户个性行为对应的用户层级；
[0018]针对每一所述用户层级，根据所述目标产品在实际运营中位于该用户层级内匹配的该种类型用户个性行为的用户数量以及用户总数量，计算所述该种类型的用户个性行为的分布比例；
[0019]将每种类型的用户个性行为的分布比例确定为所述用户行为特征分布信息。
[0020]在一种可能的实施方式中，所述根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量，包括：
[0021]根据所述第一差异特征对用户共性行为的影响以及所述受测用户的数量，确定备选受测用户的总数量；
[0022]根据所述第一方案和所述第二方案的重要程度，分别确定所述第一方案对应的第一用户分配权重以及所述第二方案对应的第二用户分配权重；其中，所述第一方案和所述第二方案中重要程度高的方案对应的用户分配权重大于重要程度低的方案对应的用户分配权重；
[0023]根据确定出的所述第一用户分配权重以及所述第二用户分配权重，对所述备选受测用户的总数量进行分配，确定所述第一用户数量以及所述第二用户数量。
[0024]在一种可能的实施方式中，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，包括：
[0025]从所述受测用户中，提取符合所述用户行为特征分布信息的所述第一用户数量的受测用户，得到所述第一受测用户组。
[0026]在一种可能的实施方式中，所述根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：
[0027]从所述受测用户中，提取符合所述用户行为特征分布信息的所述第二用户数量的受测用户，得到所述第二受测用户组。
[0028]在一种可能的实施方式中，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：
[0029]根据所述第一用户数量和所述第二用户数量的公因数，确定每一待建立用户组内的用户数量；
[0030]响应于建立后的每一用户组内的用户分布符合所述用户行为特征分布信息，按照每一所述待建立用户组内的用户数量，对所述受测用户进行分组，得到多个建立后的用户组；其中，所述用户组的数量是第一数量与第二数量的和值；所述第一数量是所述第一用户数量与所述公因数的商值；所述第二数量是所述第二用户数量与所述公因数的商值；
[0031]响应于所述目标产品的制造方的指定操作，将所述目标产品的制造方从多个所述用户组中指定的、所述第一数量的用户组作为所述第一受测用户组；
[0032]响应于所述指定操作的结束，将剩余的所述第二数量的用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种测试的执行方法，其特征在于，所述执行方法包括：确定目标产品的第一方案和第二方案的差异特征；其中，所述差异特征包括影响用户共性行为的第一差异特征和影响用户个性行为的第二差异特征；根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息；其中，所述用户行为特征分布信息根据目标产品实际运营中用户个性行为的特征分布确定；根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量；根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组；根据所述第一受测用户组对所述第一方案进行测试以及根据所述第二受测用户组对所述第二方案进行测试。2.根据权利要求1所述的执行方法，其特征在于，所述确定目标产品的第一方案和第二方案的差异特征，包括：响应于所述第一方案与所述第二方案的对比，获取共性特征维度下的第一对比结果和个性特征维度下的第二对比结果；根据所述共性特征维度下包括的至少一种共性行为类型特征，从所述第一对比结果中，提取与所述至少一种共性行为类型特征相对应的差异特征作为所述第一差异特征；根据所述个性特征维度下包括的至少一种个性行为类型特征，从所述第二对比结果中，提取与所述至少一种个性行为类型特征相对应的差异特征作为所述第二差异特征。3.根据权利要求1所述的执行方法，其特征在于，所述根据所述第二差异特征对用户个性行为的影响，确定针对所述第一方案和所述第二方案的用户行为特征分布信息，包括：根据所述第二差异特征对用户个性行为的影响，确定至少一种类型的用户个性行为对应的用户层级；针对每一所述用户层级，根据所述目标产品在实际运营中位于该用户层级内匹配的该种类型用户个性行为的用户数量以及用户总数量，计算所述该种类型的用户个性行为的分布比例；将每种类型的用户个性行为的分布比例确定为所述用户行为特征分布信息。4.根据权利要求1所述的执行方法，其特征在于，所述根据所述第一差异特征对用户共性行为的影响、受测用户的数量以及所述第一方案和所述第二方案的重要程度，确定针对所述第一方案的第一用户数量和针对所述第二方案的第二用户数量，包括：根据所述第一差异特征对用户共性行为的影响以及所述受测用户的数量，确定备选受测用户的总数量；根据所述第一方案和所述第二方案的重要程度，分别确定所述第一方案对应的第一用户分配权重以及所述第二方案对应的第二用户分配权重；其中，所述第一方案和所述第二方案中重要程度高的方案对应的用户分配权重大于重要程度低的方案对应的用户分配权重；
根据确定出的所述第一用户分配权重以及所述第二用户分配权重，对所述备选受测用户的总数量进行分配，确定所述第一用户数量以及所述第二用户数量。5.根据权利要求1所述的执行方法，其特征在于，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，包括：从所述受测用户中，提取符合所述用户行为特征分布信息的所述第一用户数量的受测用户，得到所述第一受测用户组。6.根据权利要求1所述的执行方法，其特征在于，所述根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：从所述受测用户中，提取符合所述用户行为特征分布信息的所述第二用户数量的受测用户，得到所述第二受测用户组。7.根据权利要求1所述的执行方法，其特征在于，所述根据所述用户行为特征分布信息和所述第一用户数量，确定所述第一方案对应的第一受测用户组，以及，根据所述用户行为特征分布信息和所述第二用户数量，确定所述第二方案对应的第二受测用户组，包括：根据所述第一用户数量和所述第二...

【专利技术属性】
技术研发人员：周逸恒，胡志鹏，程龙，刘勇成，袁思思，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：