算子测试方法、系统、电子设备及计算机可读存储介质技术方案

本申请提供一种算子测试方法、系统、电子设备及计算机可读存储介质，涉及算子测试领域。该算子测试方法包括：获取待测算子对应的测试数据集；其中，待测算子包括待测单机算子和待测分布式算子；根据测试数据集获取测试数据集中的测试数据类型，并隔离不同类型的测试数据类型；遍历并解析待测算子，以获得待测算子的输入数据类型；根据输入数据类型和测试数据类型，测试待测单机算子，并获取待测单机算子的测试结果；根据输入数据类型、测试数据类型和单机算子测试结果，测试待测分布式算子，并获取待测分布式算子的测试结果。使用本申请实施例提供的算子测试方法能够降低算子测试成本、提高算子测试效率。提高算子测试效率。提高算子测试效率。

【技术实现步骤摘要】
算子测试方法、系统、电子设备及计算机可读存储介质


[0001]本申请涉及算子测试领域，具体而言，涉及一种算子测试方法、系统、电子设备及计算机可读存储介质。

技术介绍

[0002]在数据科学领域中，对结构化数据进行处理的方式可以被提取出来，封装成为数据算子。在实际生产过程中，由于运算数据量可能非常大，算子在设计时往往需要基于分布式计算框架实现分布式运算。
[0003]由于分布式运算算子与单机算子均需要单元测试，并且需要保证其单元测试结果的一致性；因此，需要可以同时为单机算子以及分布式算子进行测试的测试系统，并根据相同的测试数据对二者的测试结果进行比对。
[0004]目前，对单机算子和分布式算子进行单元测试时，分别编写两套测试用例，构建两套测试系统；造成测试算子效率较低，并且成本较高。

技术实现思路

[0005]本申请实施例的目的在于提供一种算子测试方法、系统、电子设备及计算机可读存储介质，在获取待测算子对应的测试数据集之后，遍历并解析待测算子，以获得待测算子的输入数据类型；进一步地，根据输入数据类型、测试数据类型对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算子测试方法，其特征在于，所述算子测试方法包括：获取待测算子对应的测试数据集；其中，所述待测算子包括待测单机算子和待测分布式算子；根据所述测试数据集获取所述测试数据集中的测试数据类型，并隔离不同类型的所述测试数据类型；遍历并解析待测算子，以获得所述待测算子的输入数据类型；根据所述输入数据类型和所述测试数据类型，测试所述待测单机算子，并获取待测单机算子的测试结果；根据所述输入数据类型、所述测试数据类型和所述单机算子测试结果，测试所述待测分布式算子，并获取待测分布式算子的测试结果。2.根据权利要求1所述的方法，其特征在于，其中，单机算子存储于待测单机算子文件中；所述待测分布式算子存储于待测分布式算子文件中；所述遍历并解析待测算子，以获得所述待测算子的输入数据类型，包括：遍历所述待测单机算子文件，解析所述待测单机算子文件中的待测单机算子，以获所述待测单机算子的输入数据类型；遍历所述待测分布式算子文件，并获取每一所述待测分布式算子在所述待测单机算子文件中对应的待测单机算子和所述对应的待测单机算子的所述输入数据类型。3.根据权利要求2所述的方法，其特征在于，所述根据所述输入数据类型和所述测试数据类型，测试所述待测单机算子，并获取单机算子测试结果，包括：判断所述测试数据集中是否存在与所述输入数据类型一致的测试数据类型；若所述测试数据集中存在与所述输入数据类型一致的测试数据类型，则将所述一致的测试数据类型对应的测试数据输入所述待测单机算子，并获取所述待测单机算子的输出；根据所述单机算子的输出获取所述待测单机算子的测试结果。4.根据权利要求3所述的方法，其特征在于，其中，所述待测单机算子的测试结果包括待测单机算子通过测试和待测单机算子不通过测试；所述根据所述单机算子的输出获取所述待测单机算子的测试结果，包括：判断所述待测单机算子的输出是否符合预设要求；若所述待测单机算子的输出符合预设要求，则判定所述待测单机算子通过测试；其中，所述预设要求包括所述待测单机算子的输出对应的数据类型是否为预设类型和/或数据格式是否为预设格式。5.根据权利要求4所述的方法，其特征在于，所述根据所述输入数据类型、所述测试数据类型和所述单机算子测试结果，测试所述待测分布式算子，并获取待测分布式算子的测试结果，包括：判断每一所述待测分布式算子在所述待测单机算子文件中对应的待测单机算子的所述测试结果；若判定每一所述待测分布式算子在...

【专利技术属性】
技术研发人员：唐犁，高凌燕，
申请(专利权)人：青岛创新奇智科技集团股份有限公司，
类型：发明
国别省市：