系统测试方法、设备及计算机可读存储介质技术方案

本发明专利技术公开了一种系统测试方法、设备及计算机可读存储介质，该方法包括步骤：当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试所述第一测试集，得到测试结果；当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集；若所述第三测试集在所述灰度环境中通过测试，则确定所述待测试系统通过测试。本发明专利技术实现了通过在与生成环境的流量一致的测试环境中测试待测试系统，且通过灰度环境对接真实的生产数据进行测试待测试系统，提高了测试基于机器学习系统的准确率，以及降低了测试基于机器学习系统的测试难度。

【技术实现步骤摘要】
系统测试方法、设备及计算机可读存储介质
本专利技术涉及测试
，尤其涉及一种系统测试方法、设备及计算机可读存储介质。
技术介绍
目前，很多开发出来的系统在投入生产使用时，都需要经过测试。在测试系统过程中，存在以下几个问题：①生产过程中的TPS(TransactionPerSecond，每秒事务处理量)极高，如在生产环境中，交易量的TPS在2600以上，消息量的TPS在8500以上，而测试环境难以模拟生产环境的流量高并发的情况；②生产环境中机器资源充足，而测试环境中的机器资源较少，因此，当测试环境对应生产环境中的真实数据时，测试环境中的机器资源很快会达到瓶颈，即测试环境中的机器资源不足以支持数据流量大的情况。由于上述问题的存在，导致了对基于机器学习系统进行测试的难度大的问题。
技术实现思路
本专利技术的主要目的在于提供一种系统测试方法、设备及计算机可读存储介质，旨在解决现有的对基于机器学习的系统测试难度大的技术问题。为实现上述目的，本专利技术提供一种系统测试方法，所述系统测试方法包括步骤：当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试所述第一测试集，得到测试结果；当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过可信赖消息总线RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集；若所述第三测试集在所述灰度环境中通过测试，则确定所述待测试系统通过测试。优选地，所述当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试所述第一测试集，得到测试结果的步骤包括：当获取到待测试系统对应的第一测试集后，调整测试环境中的线程并发数，并在调节所述线程并发数后检测所述测试环境的每秒事务处理量TPS是否与生产环境的TPS一致；若所述测试环境的TPS与所述生产环境的TPS一致，则在所述测试环境中测试所述第一测试集，得到测试结果。优选地，所述当获取到待测试系统对应的第一测试集后，调整测试环境中的线程并发数的步骤包括：当获取到待测试系统对应的第一测试集后，计算所述测试环境当前TPS与所述生产环境TPS之间的差值；获取所述差值与待调整线程数之间的映射关系；基于所述映射关系，确定所述差值对应的待调整线程数；根据所确定的所述待调整线程数调整所述测试环境中的线程并发数。优选地，所述当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过可信赖消息总线RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集的步骤包括：当根据所述测试结果确定所述第一测试集通过测试后，通过所述灰度环境中的所述RMB获取第二测试集，并获取所述第二测试集中各笔交易数据对应的流水号；计算所述流水号的第一哈希值，将所述第一哈希值除以预设数值；判断所述第一哈希值是否整除所述预设数值；若所述第一哈希值整除所述预设数值，则确定所述第一哈希值的目标流水号；将所述目标流水号对应的交易数据确定为第三测试集。优选地，所述计算所述流水号的第一哈希值的方式包括：将所述流水号乘以预设常数，再对乘以预设常数的流水号计算第一哈希值。优选地，所述当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集的步骤之前，还包括:若根据所述测试结果确定所述待测试系统的数据处理能力值大于预设能力值，且所述第一测试集的结果正确率大于预设正确率，则确定所述第一测试集通过测试；若根据所述测试结果确定所述数据处理能力值小于或者等于所述预设能力值，和/或所述结果正确率小于或者等于所述预设正确率，则确定所述第一测试集未通过测试。优选地，所述当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试所述第一测试集，得到测试结果的步骤之前，还包括：当侦测到测试所述待测试系统的测试指令后，根据所述测试指令从所述待测试系统的磁盘文件中获取所述交易数据的流水号和消息序列，并确定所述消息序列中的敏感数据；将所述敏感数据替换成预设字符串，得到用于测试所述待测试系统的第一测试集。优选地，所述当侦测到测试所述待测试系统的测试指令后，根据所述测试指令从所述待测试系统的磁盘文件中获取所述交易数据的流水号和消息序列，并确定所述消息序列中的敏感数据的步骤之前，还包括：当获取到交易数据后，获取每一笔交易数据对应的流水号，将所述流水号与所述交易数据对应的消息序列以键值的形式存储到所述待测试系统的磁盘文件中。优选地，所述当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过可信赖消息总线RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集的步骤之后，还包括：若所述第三测试集在所述灰度环境中未通过测试，则确定所述待测试系统未通过测试；获取所述第三测试集在所述灰度环境中的测试日志，并输出所述测试日志。此外，为实现上述目的，本专利技术还提供一种系统测试设备，所述系统测试设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的系统测试程序，所述系统测试程序被所述处理器执行时实现如上所述的系统测试方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有系统测试程序，所述系统测试程序被处理器执行时实现如上所述的系统测试方法的步骤。本专利技术公开了一种系统测试方法、设备及计算机可读存储介质，当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试第一测试集，得到测试结果；当根据测试结果确定第一测试集通过测试后，在灰度环境中通过可信赖消息总线RMB获取第二测试集，对第二测试集中进行抽样，以在第二测试集中提取到第三测试集；若第三测试集在灰度环境中通过测试，则确定待测试系统通过测试。实现了通过在与生成环境的流量一致的测试环境中测试待测试系统，使在测试环境中测试待测试系统时，能模拟生产环境的流量环境，且通过灰度环境对接真实的生产数据进行测试待测试系统，以采用真实的生成数据测试待测试系统，提高了测试基于机器学习系统的准确率，以及降低了测试基于机器学习系统的测试难度。附图说明图1为本专利技术实施例方案涉及的硬件运行环境的结构示意图；图2为本专利技术系统测试方法第一实施例的流程示意图；图3为本专利技术系统测试方法第二实施例的流程示意图；图4为本专利技术系统测试方法第三实施例的流程示意图；图5为本专利技术系统测试方法第四实施例的流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的结构示意图。需要说明的是，图1即可为系统测试设备的硬件运行环境的结构示意图。本专利技术实施例系统测试设备可以是PC，便携计算机等终端设备。如图1所示，该系统测试设备可以包括：处理器1001，例如CPU，网络接口1004，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可本文档来自技高网...

【技术保护点】
1.一种系统测试方法，其特征在于，所述系统测试方法包括以下步骤：当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试所述第一测试集，得到测试结果；当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过可信赖消息总线RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集；若所述第三测试集在所述灰度环境中通过测试，则确定所述待测试系统通过测试。

【技术特征摘要】
1.一种系统测试方法，其特征在于，所述系统测试方法包括以下步骤：当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试所述第一测试集，得到测试结果；当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过可信赖消息总线RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集；若所述第三测试集在所述灰度环境中通过测试，则确定所述待测试系统通过测试。2.如权利要求1所述的系统测试方法，其特征在于，所述当获取到待测试系统对应的第一测试集后，在与生产环境流量一致的测试环境中测试所述第一测试集，得到测试结果的步骤包括：当获取到待测试系统对应的第一测试集后，调整测试环境中的线程并发数，并在调节所述线程并发数后检测所述测试环境的每秒事务处理量TPS是否与生产环境的TPS一致；若所述测试环境的TPS与所述生产环境的TPS一致，则在所述测试环境中测试所述第一测试集，得到测试结果。3.如权利要求2所述的系统测试方法，其特征在于，所述当获取到待测试系统对应的第一测试集后，调整测试环境中的线程并发数的步骤包括：当获取到待测试系统对应的第一测试集后，计算所述测试环境当前TPS与所述生产环境TPS之间的差值；获取所述差值与待调整线程数之间的映射关系；基于所述映射关系，确定所述差值对应的待调整线程数；根据所确定的所述待调整线程数调整所述测试环境中的线程并发数。4.如权利要求1所述的系统测试方法，其特征在于，所述当根据所述测试结果确定所述第一测试集通过测试后，在灰度环境中通过可信赖消息总线RMB获取第二测试集，对所述第二测试集进行抽样，以在所述第二测试集中提取到第三测试集的步骤包括：当根据所述测试结果确定所述第一测试集通过测试后，通过所述灰度环境中的所述RMB获取第二测试集，并获取所述第二测试集中各笔交易数据对应的流水号；计算所述流水号的第一哈希值，将所述第一哈希值除以预设数值；判断所述第一哈希值是否整除所述预设数值；若所述第一哈希值整除所述预设数值，则确定所述第一哈希值的目标流水号；将所述目标流水号对应的交易数据确定为第三测试集。5.如权利要求4...

【专利技术属性】
技术研发人员：孙芮，曾纪策，朱红燕，莫林林，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44