一种联邦学习平台的功能测试方法及装置制造方法及图纸

本申请涉及计算机测试技术领域，公开一种联邦学习平台的功能测试方法及装置，其中，所述功能测试方法包括：对待测对象平台进行调度管理能力测试，生成调度管理能力测试项的测试结果；对待测对象平台进行数据处理能力测试，生成数据处理能力测试项的测试结果；对待测对象平台进行算法实现测试，生成算法实现测试项的测试结果；对待测对象平台进行模型效果及性能测试，生成模型效果及性能测试项的测试结果；对待测对象平台进行安全性、稳定性及可扩展性测试，生成安全性、稳定性及可扩展性测试项的测试结果；根据每项测试的测试结果，对所述待测对象平台进行整体功能评估，生成最终的功能测试报告。功能测试报告。功能测试报告。

【技术实现步骤摘要】
一种联邦学习平台的功能测试方法及装置


[0001]本申请涉及计算机测试
，例如涉及一种联邦学习平台的功能测试方法及装置。

技术介绍

[0002]目前，数据已经成为新型生产要素。生产力发展是人类社会发展的决定力量，每一次的社会经济形态变革，都伴随新的生产要素出现，并带动社会生产力跃升。进入信息社会，数据成为新型生产要素，对生产、流通、分配、消费活动和经济运行机制、社会生活方式、治理模式等产生重要影响。当前，数据融合需求不断增强，数据保护要求逐步提高，作为一种数据安全流通技术，隐私计算近年来迎来了极大的发展。越来越多的企业开始进行隐私计算的技术研究和平台化开发，已发布的平台数逐年跃升，应用方向上从金融、政务、医疗、能源等不断外延，在工业、物流等行业也逐步开始探索。隐私计算技术是在保证数据进行分析计算过程中，不泄露给参与方原始数据的一系列信息技术。在市场和政策的双驱动下，隐私计算的平台不断涌现，科学的测试方法有必要进行积极探索。其目的一是提高平台的服务能力，二是规范行业标准。
[0003]同时，联邦学习(Federated Learning，FL)作为隐私计算的一种技术方法，已广泛应用在医疗、金融、政务等领域。然而，由于各厂商采用的算法架构各不相同，联邦学习平台的安全性和完备性需要基于通用的测试方法来验证。为此，如何提供一种联邦学习平台的功能测试方法，成为亟待解决的技术问题。

技术实现思路

[0004]为了对披露的实施例有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
[0005]本公开实施例提供了一种联邦学习平台的功能测试方法及装置、计算设备及存储介质，旨在保证平台功能的完备性和安全性通用的测试方案，同时提高测试的效率。
[0006]在一些实施例中，所述联邦学习平台的功能测试方法，包括：
[0007]对待测对象平台进行调度管理能力测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成调度管理能力测试项的测试结果；
[0008]对待测对象平台进行数据处理能力测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成数据处理能力测试项的测试结果；
[0009]对待测对象平台进行算法实现测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成算法实现测试项的测试结果；
[0010]对待测对象平台进行模型效果及性能测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成模型效果及性能测试项的测试结果；
[0011]对待测对象平台进行安全性、稳定性及可扩展性测试，根据所述待测对象平台在
对应测试项中的状态和响应结果，生成安全性、稳定性及可扩展性测试项的测试结果；
[0012]根据每项测试的测试结果，对所述待测对象平台进行整体功能评估，生成最终的功能测试报告。
[0013]可选地，所述对待测对象平台进行调度管理能力测试，包括：
[0014]对所述待测对象平台进行用户账号管理测试、用户信息管理测试、用户权限管理测试、节点管理测试、任务管理功能测试、任务终止测试、多任务计算测试、系统资源调配测试、任务优先级调度测试、模型管理功能测试、模型备份测试和模型版本管理功能测试。
[0015]可选地，所述对待测对象平台进行数据处理能力测试，包括：
[0016]对所述待测对象平台进行数据预先导入能力测试、数据预处理测试、授权管理功能测试、数据发布功能测试、数据对齐测试。
[0017]可选地，所述对待测对象平台进行算法实现测试，包括：
[0018]特征预处理测试、特征相关性分析测试、特征选择测试、分类算法测试、多分类算法测试、回归算法测试、无监督学习算法测试、深度学习算法测试和优化器选择测试。
[0019]可选地，所述对待测对象平台进行模型效果及性能测试，包括：
[0020]对所述待测对象平台进行模型评价指标测试、基础性能测试、模型预测功能测试和贡献评估测试。
[0021]可选地，所述对待测对象平台进行安全性、稳定性及可扩展性测试，包括：
[0022]对所述待测对象平台进行算法安全性测试、通信信道安全性测试、计算结果安全性测试、流程隐私性测试、身份认证测试、网络故障稳定性测试、节点故障稳定性测试、日志功能测试、数据规范性保护测试、算法热升级测试和多平台部署测试。
[0023]在一些实施例中，所述联邦学习平台的功能测试装置，包括：
[0024]第一能力测试模块，被配置为对待测对象平台进行调度管理能力测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成调度管理能力测试项的测试结果；
[0025]第二能力测试模块，被配置为对待测对象平台进行数据处理能力测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成数据处理能力测试项的测试结果；
[0026]第三能力测试模块，被配置为对待测对象平台进行算法实现测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成算法实现测试项的测试结果；
[0027]第四能力测试模块，被配置为对待测对象平台进行模型效果及性能测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成模型效果及性能测试项的测试结果；
[0028]第五能力测试模块，被配置为对待测对象平台进行安全性、稳定性及可扩展性测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成安全性、稳定性及可扩展性测试项的测试结果；
[0029]测试结果评估模块，被配置为根据每项测试的测试结果，对所述待测对象平台进行整体功能评估，生成最终的功能测试报告。
[0030]在一些实施例中，所述计算设备，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行如本申请所述的联邦学习平台的功能测试方法。
[0031]在一些实施例中，所述存储介质，存储有程序指令，所述程序指令在运行时，执行
如本申请所述的联邦学习平台的功能测试方法。
[0032]本公开实施例提供的一种联邦学习平台的功能测试方法及装置、计算设备及存储介质，可以实现以下技术效果：
[0033]本申请通过对待测对象平台从调度管理能力、数据处理能力、算法实现、模型效果及性能和安全性、稳定性及可扩展性多个维度进行功能测试，实现了一种科学和全面的功能测试方案，可适用于联邦学习平台，能够检验联邦学习平台的功能完备性、安全性、可扩展性等，同时提高了功能测试的效率。
[0034]以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
[0035]一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
[0036]图1是本公开实施例提供的一个联邦学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习平台的功能测试方法，其特征在于，包括：对待测对象平台进行调度管理能力测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成调度管理能力测试项的测试结果；对待测对象平台进行数据处理能力测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成数据处理能力测试项的测试结果；对待测对象平台进行算法实现测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成算法实现测试项的测试结果；对待测对象平台进行模型效果及性能测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成模型效果及性能测试项的测试结果；对待测对象平台进行安全性、稳定性及可扩展性测试，根据所述待测对象平台在对应测试项中的状态和响应结果，生成安全性、稳定性及可扩展性测试项的测试结果；根据每项测试的测试结果，对所述待测对象平台进行整体功能评估，生成最终的功能测试报告。2.根据权利要求1所述的功能测试方法，其特征在于，所述对待测对象平台进行调度管理能力测试，包括：对所述待测对象平台进行用户账号管理测试、用户信息管理测试、用户权限管理测试、节点管理测试、任务管理功能测试、任务终止测试、多任务计算测试、系统资源调配测试、任务优先级调度测试、模型管理功能测试、模型备份测试和模型版本管理功能测试。3.根据权利要求1所述的功能测试方法，其特征在于，所述对待测对象平台进行数据处理能力测试，包括：对所述待测对象平台进行数据预先导入能力测试、数据即使输入能力测试、数据接口功能测试、授权管理功能测试、数据发布功能测试、数据基础分析能力测试和数据对齐测试。4.根据权利要求1所述的功能测试方法，其特征在于，所述对待测对象平台进行算法实现测试，包括：对所述待测对象平台进行特征预处理测试、特征相关性分析测试、特征选择测试、分类算法测试、多分类算法测试、回归算法测试、无监督学习算法测试、深度学习算法测试和优化器选择测试。5.根据权利要求1所述的功能测试方法，其特征在于，所述对待测对象平台进行...

【专利技术属性】
技术研发人员：袁博，白玉真，童锦瑞，王思源，姜春宇，魏凯，马智华，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：