软件测试监控方法、装置、电子设备及可读存储介质制造方法及图纸

本申请的实施例提供了一种软件测试监控方法、装置、电子设备及可读存储介质，涉及测试技术领域。该方法包括：获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，该目标事件为影响用户使用体验的负面事件；根据第一次数及第二次数计算得到次数差值；判断该次数差值是否达到第一阈值，其中，第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；若达到，则生成告警信息，其中，该告警信息用于提示停止测试。如此，在测试有风险时，可及时生成告警信息，从而通过监控保证负面影响在用户的承受范围内，以避免极大地伤害用户体验。害用户体验。害用户体验。

【技术实现步骤摘要】
软件测试监控方法、装置、电子设备及可读存储介质


[0001]本申请涉及测试
，具体而言，涉及一种软件测试监控方法、装置、电子设备及可读存储介质。

技术介绍

[0002]在互联网分析中，A/B测试(或称为桶测试或分流测试)是一个随机实验，通常有两个变体，A和B，在利用控制变量法保持有单一变量的前提下，将A、B数据进行对比，得出实验结论。简单来说，就是为同一目标制定两个方案，让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪个方案更符合设计目标。
[0003]线上测试会有大量的用户参与实验，由于变量可能有负面影响，因而有可能会极大伤害用户体验。为避免该情况，需要通过对测试进行监控，保证风险在承受范围内。因此，如何对测试进行监控，从而能够正确提示测试有风险(即风险即将在测试用户的承受范围外)已成为本领域技术人员亟需解决的技术问题。

技术实现思路

[0004]本申请实施例提供了一种软件测试监控方法、装置、电子设备及可读存储介质，其能够在测试有风险时，及时生成告警信息，从而通过监控保证负面影响在用户的承受范围内，以避免极大地伤害用户体验。
[0005]本申请的实施例可以这样实现：
[0006]第一方面，本申请实施例提供一种软件测试监控方法，包括：
[0007]获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；
[0008]根据所述第一次数及第二次数计算得到次数差值；
[0009]判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；
[0010]若所述次数差值达到所述第一阈值，则生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件。
[0011]第二方面，本申请实施例提供一种实验监控装置，包括：
[0012]数据采集模块，用于获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；
[0013]计算模块，应用于根据所述第一次数及第二次数计算得到次数差值；
[0014]判断模块，用于判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；
[0015]处理模块，用于在所述次数差值达到所述第一阈值时，生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件。
[0016]第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的软件测试监控方法。
[0017]第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的软件测试监控方法。
[0018]本申请实施例提供一种软件测试监控方法、装置、电子设备及可读存储介质，获得第一用户集群在使用测试版本软件时发生目标事件的第一次数、以及第二用户集群在使用基准版本软件时发生上述目标事件的第二次数，该目标事件为影响用户使用体验的负面事件；然后判断根据第一次数及第二次数计算出的次数差值，是否达到通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到的第一阈值；若达到，则生成用于提示停止测试的告警信息。由此，可结合简单序贯检验算法判断测试是否有风险，并在有风险时生成告警信息，便于测试的工作人员及时采取相应措施，从而避免测试极大地伤害用户体验。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0020]图1为本申请实施例提供的电子设备的方框示意图；
[0021]图2为本申请实施例提供的软件测试监控方法的流程示意图之一；
[0022]图3为本申请实施例提供的软件测试监控方法的流程示意图之二；
[0023]图4为本申请实施例提供的软件测试监控方法的流程示意图之三；
[0024]图5为本申请实施例提供的软件测试装置的方框示意图。
[0025]图标：100
‑
电子设备；110
‑
存储器；120
‑
处理器；130
‑
通信单元；200
‑
软件测试监控装置；210
‑
数据采集模块；220
‑
计算模块；230
‑
判断模块；240
‑
处理模块。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0027]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者
操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0029]请参照图1，图1为本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，电脑、服务器等。所述电子设备100包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种软件测试监控方法，其特征在于，包括：获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；根据所述第一次数及第二次数计算得到次数差值；判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；若所述次数差值达到所述第一阈值，则生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件。2.根据权利要求1所述的方法，其特征在于，所述方法还可以包括：预先根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到所述第一阈值，其中，所述第一预设计算公式为：得到所述第一阈值，其中，所述第一预设计算公式为：其中，α表示根据所述预设正确率计算得到的预设显著性水平，1
‑
β表示所述预设召回率，P
c
表示预设的所述目标事件发生在所述第一用户集群的概率，P
t
表示预设的所述目标事件发生在所述第二用户集群的概率，P
c
及P
t
根据所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值。3.根据权利要求1所述的方法，其特征在于，所述方法还可以包括：预先根据第二预设计算公式、所述预设正确率、预设召回率、预设最小改善程度及预设变化阈值计算得到所述第一阈值，其中，所述第二预设计算公式为：变化阈值计算得到所述第一阈值，其中，所述第二预设计算公式为：其中，α表示根据所述预设正确率计算得到的预设显著性水平，1
‑
β表示所述预设召回率，P
c0
表示预设的所述目标事件发生在所述第一用户集群的初始概率，P
t0
表示预设的所述目标事件发生在所述第二用户集群的初始概率，P
c0
及P
t0
根据所述预设变化阈值计算得到，P
c
表示预设的所述目标事件发生在所述第一用户集群的概率，P
t
表示预设的所述目标事件发生在所述第二用户集群的概率，P
c
及P
t
根据P
c0
、P
t0
及所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值。4.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，在判断所述次数差值是否达
到第一阈值之后，所述方法还包括：若所述次数差值小于所述第一阈值，则判断所述第一次数与第二次数的次数和值是否达到第二阈值，其中，所述第二阈值通过简单序贯检验算法根据所述预...

【专利技术属性】
技术研发人员：姚珺，陈奕，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：