人工智能系统的测试方法和装置制造方法及图纸

本说明书实施例提供了一种人工智能系统的测试方法和装置。根据该实施例的方法，首先，获取至少一个实际检测对象，并且，生成至少一个干扰检测对象；然后，将至少一个干扰检测对象以及至少一个实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；之后，从测试样本集中选取至少一个样本检测对象，每一次选取的样本检测对象可能是实际检测对象也可能是干扰检测对象，之后，将选取的对象分别输入人工智能系统，并监控人工智能系统对输入的实际检测对象或者干扰检测对象的检测结果，从而得到人工智能系统的测试结果。

【技术实现步骤摘要】
人工智能系统的测试方法和装置
本说明书一个或多个实施例涉及人工智能
，尤其涉及针对人工智能系统的测试方法和装置。
技术介绍
随着人工智能(ArtificialIntelligence，AI)技术的快速发展，在很多业务实现中，都加入了AI系统来作为业务系统的一部分。比如，在交通站点处需要进行人脸识别，则可以由AI系统来对人脸进行识别处理。AI系统的可靠性关系到整个业务，因此，需要对AI系统进行测试。目前，对AI系统进行测试都是在将AI系统应用到业务系统之前，即在AI系统上线之前来进行测试的。因此，希望能有改进的方案，能够在AI系统被应用到业务系统中之后对AI系统的实际运行情况进行测试。
技术实现思路
本说明书一个或多个实施例描述了一种人工智能系统的测试方法和装置，能够在AI系统被应用到业务系统中之后对AI系统的实际运行情况进行测试。根据第一方面，提供了一种人工智能系统的测试方法，该方法包括：获取至少一个实际检测对象；所述实际检测对象为：在所述人工智能系统的业务应用场景中采集到的、已经被所述人工智能系统验证成功的检测对象；生成至少一个干扰检测对象；将至少一个所述干扰检测对象以及至少一个所述实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；从所述测试样本集中选取至少一个样本检测对象；将选取的至少一个所述样本检测对象分别输入所述人工智能系统；监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果。在一个实施例中，根据以下方式生成至少一个干扰检测对象包括：根据检测对象的特征，利用模拟生成算法模拟出所述至少一个干扰检测对象。在这样的情况下，当检测对象包括人脸图像时；则所述模拟生成算法包括Deepfake模型算法或者GAN模型算法；当检测对象包括人的声音时，则所述模拟生成算法包括GAN模型算法。在另一个实施例中，通过以下方式生成至少一个干扰检测对象包括：获取至少一个可用检测对象；所述可用检测对象为满足所述人工智能系统的输入要求的检测对象；利用扰动技术，对所述至少一个可用检测对象进行扰动，以得到所述至少一个干扰检测对象。在一个实施例中，根据对所述人工智能系统的测试任务，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数。在另一个实施例中，根据人工智能系统在业务应用场景中的干扰统计数据，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数。在一个实施例中，所述监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果，包括：针对分别输入所述人工智能系统的每一个样本检测对象，监控所述人工智能系统的智能算法是否调用了当前输入的样本检测对象，如果否，则确定所述人工智能系统的所述智能算法当前出现异常。在又一个实施例中，所述监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果，包括：针对分别输入所述人工智能系统的每一个样本检测对象，如果当前输入的所述样本检测对象为实际检测对象时，监控所述人工智能系统的所述智能算法是否输出验证错误的结果，如果是，则确定所述人工智能系统的所述智能算法当前出现异常。在另一个实施例中，所述监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果，包括：针对分别输入所述人工智能系统的每一个样本检测对象，如果当前输入的所述样本检测对象为干扰检测对象时，监控所述人工智能系统的所述智能算法是否输出验证成功的结果，如果是，则确定所述人工智能系统的所述智能算法当前出现异常。进一步地，在一个实施例中，当输入所述人工智能系统的所述样本检测对象为干扰检测对象，且该干扰检测对象为利用扰动技术对可用检测对象进行扰动而生成；其中，所述可用检测对象为满足所述人工智能系统的输入要求的检测对象；则，该方法进一步包括：在利用扰动技术对可用检测对象进行扰动来生成所述干扰检测对象时，计算该干扰检测对象对应的扰动幅度值；则，在监控到所述人工智能系统的所述智能算法输出验证成功的结果之后，并在确定所述人工智能系统的所述智能算法当前出现异常之前，进一步包括：判断当前输入的干扰检测对象对应的扰动幅度值是否大于预先设置的扰动阈值；如果大于，则继续执行所述确定所述人工智能系统的所述智能算法当前出现异常。在一个实施例中，当检测对象包括图像时，计算干扰检测对象对应的扰动幅度值包括以下中的至少一项：计算加入到可用检测对象中的扰动像素的数量与该可用检测对象的像素的数量的比值，以得到所述干扰检测对象对应的扰动幅度值；利用可用检测对象和根据该可用检测对象所生成的干扰检测对象，计算L2范数值，以得到所述干扰检测对象对应的扰动幅度值。根据一种实施方式，在至少两个测试周期中的每一个测试周期，分别执行所述人工智能系统的测试方法；该方法进一步包括：确定当前测试周期内的至少一个第一干扰检测对象；所述第一干扰检测对象满足：在所述人工智能系统中输入该第一干扰检测对象时所述智能算法输出验证成功的结果；以及根据至少一个所述第一干扰检测对象，对当前测试周期内使用的干扰算法或干扰技术进行调整；所述生成至少一个干扰检测对象包括：在每一个测试周期中，利用当前的干扰算法或干扰技术，分别生成该测试周期内的至少一个干扰检测对象。根据第二方面，提供一种人工智能系统的测试装置，该装置包括：获取单元，配置为获取至少一个实际检测对象；所述实际检测对象为：在所述人工智能系统的业务应用场景中采集到的、已经被所述人工智能系统验证成功的检测对象；干扰生成单元，配置为生成至少一个干扰检测对象；样本生成单元，配置为将至少一个所述干扰检测对象以及至少一个所述实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；输入处理单元，配置为从所述测试样本集中选取至少一个样本检测对象，将选取的至少一个所述样本检测对象分别输入所述人工智能系统；监控单元，配置为监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果。在一个实施例中，所述干扰生成单元，配置为执行以下中的至少一项：根据检测对象的特征，利用模拟生成算法模拟出所述至少一个干扰检测对象；获取至少一个可用检测对象，并利用扰动技术对所述至少一个可用检测对象进行扰动，以得到所述至少一个干扰检测对象；所述可用检测对象为满足所述人工智能系统的输入要求的检测对象。在这样的情况下，当检测对象包括人脸图像时，则所述模拟生成算法包括：Deepfake模型算法或者GAN模型算法；当检测对象包括人的声音时，则所述模拟生成算法包括：GAN模型算法。在一个实施例中，所述样本生成单元，配置为执行以下中的至少一项本文档来自技高网...

【技术保护点】
1.人工智能系统的测试方法，包括：/n获取至少一个实际检测对象；所述实际检测对象为：在所述人工智能系统的业务应用场景中采集到的、已经被所述人工智能系统验证成功的检测对象；/n生成至少一个干扰检测对象；/n将至少一个所述干扰检测对象以及至少一个所述实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；/n从所述测试样本集中选取至少一个样本检测对象；/n将选取的至少一个所述样本检测对象分别输入所述人工智能系统；/n监控所述人工智能系统对输入的至少一个所述样本检测对象的处理，以得到所述人工智能系统的测试结果。/n

【技术特征摘要】
1.人工智能系统的测试方法，包括：
获取至少一个实际检测对象；所述实际检测对象为：在所述人工智能系统的业务应用场景中采集到的、已经被所述人工智能系统验证成功的检测对象；
生成至少一个干扰检测对象；
将至少一个所述干扰检测对象以及至少一个所述实际检测对象分别作为样本检测对象，组成包括至少两个样本检测对象的测试样本集；
从所述测试样本集中选取至少一个样本检测对象；
将选取的至少一个所述样本检测对象分别输入所述人工智能系统；
监控所述人工智能系统对输入的至少一个所述样本检测对象的处理，以得到所述人工智能系统的测试结果。


2.根据权利要求1所述的方法，其中，所述生成至少一个干扰检测对象包括：
根据检测对象的特征，利用模拟生成算法模拟出所述至少一个干扰检测对象。


3.根据权利要求2所述的方法，其中，
所述检测对象包括人脸图像；则所述模拟生成算法包括：Deepfake模型算法或者GAN模型算法；
或者，
所述检测对象包括人的声音；则所述模拟生成算法包括：GAN模型算法。


4.根据权利要求1所述的方法，其中，所述生成至少一个干扰检测对象包括：
获取至少一个可用检测对象；所述可用检测对象为满足所述人工智能系统的输入要求的检测对象；
利用扰动技术，对所述至少一个可用检测对象进行扰动，以得到所述至少一个干扰检测对象。


5.根据权利要求1所述的方法，其中，
根据对所述人工智能系统的测试任务，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数；
或者，
根据所述人工智能系统在业务应用场景中的干扰统计数据，确定所述测试样本集中的所述实际检测对象的个数以及所述干扰检测对象的个数。


6.根据权利要求1至5中任一所述的方法，其中，所述监控所述人工智能系统对输入的至少一个样本检测对象的处理，以得到所述人工智能系统的测试结果，包括：
针对分别输入所述人工智能系统的每一个样本检测对象，监控所述人工智能系统的智能算法是否调用了当前输入的样本检测对象，如果否，则确定所述人工智能系统的所述智能算法当前出现异常；
或者，
针对分别输入所述人工智能系统的每一个样本检测对象，如果当前输入的所述样本检测对象为实际检测对象时，监控所述人工智能系统的所述智能算法是否输出验证错误的结果，如果是，则确定所述人工智能系统的所述智能算法当前出现异常；
或者，
针对分别输入所述人工智能系统的每一个样本检测对象，如果当前输入的所述样本检测对象为干扰检测对象时，监控所述人工智能系统的所述智能算法是否输出验证成功的结果，如果是，则确定所述人工智能系统的所述智能算法当前出现异常。


7.根据权利要求6所述的方法，其中，当输入所述人工智能系统的所述样本检测对象为干扰检测对象，且该干扰检测对象为利用扰动技术对可用检测对象进行扰动而生成时；其中，所述可用检测对象为满足所述人工智能系统的输入要求的检测对象；
则，该方法进一步包括：在利用扰动技术对可用检测对象进行扰动来生成所述干扰检测对象时，计算该干扰检测对象对应的扰动幅度值；
则，在监控到所述人工智能系统的所述智能算法输出验证成功的结果之后，并在确定所述人工智能系统的所述智能算法当前出现异常之前，进一步包括：
判断当前输入的干扰检测对象对应的扰动幅度值是否大于预先设置的扰动阈值；如果大于，则继续执行所述确定所述人工智能系统的所述智能算法当前出现异常。


8.根据权利要求7所述的方法，其中，所述检测对象包括图像；
所述计算该干扰检测对象对应的扰动幅度值包括以下中的至少一项：
计算加入到可用检测对象中的扰动像素的数量与该可用检测对象的像素的数量的比值，以得到所述干扰检测对象对应的扰动幅度值；
利用可用检测对象和根据该可用检测对象所生成的干扰检测对象，计算L2范数值，以得到所述干扰检测对象对应的扰动幅度值。


9.根据权利要求6所述的方法，其中，在至少两个测试周期中的每一个测试周期，分别执行所述人工智能系统的测试方法；
该方法进一步包括：
确定当前测试周期内的至少一个第一干扰检测对象；所述第一干扰检测对象满足：在所述人工智能系统中输入该第一干扰检测对象时所述智能算法输出验证成功的结果；以及
根据至少一个所述第一干扰检测对象，对当前测试周期内使用的干扰算法或干扰技术进行调整；
所述生成至少一个干扰检测对象包括：在每一个测试周期中，利用当前的干扰算法或干扰技术，分别生成该测试周期内的至少一个干扰检测对象。


10.人工...

【专利技术属性】
技术研发人员：宗志远，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33