本公开涉及一种机器学习模型的校验方法和装置，涉及计算机技术领域。该校验方法包括：利用原始机器学习模型处理各测试集数据，输出各测试集数据对应的参考张量，利用被测机器学习模型处理各测试集数据，输出各测试集数据对应的测试张量，被测机器学习模型通过对原始机器学习模型进行压缩处理得到；针对每一个测试集数据，计算其对应的参考张量与其对应的测试张量之间的差异；根据差异，校验被测机器学习模型与原始机器学习模型的相似程度。模型与原始机器学习模型的相似程度。模型与原始机器学习模型的相似程度。
【技术实现步骤摘要】
机器学习模型的校验方法和装置
[0001]本公开涉及计算机
，特别涉及一种机器学习模型的校验方法、机器学习模型的校验装置、终端的算力测试方法、终端的算力测试装置和非易失性计算机可读存储介质。
技术介绍
[0002]AI(Artificial Intelligence，人工智能)应用在移动端上的落地，主要受制的因素有两种：一是应用中所用的机器学习模型，尤其是深度学习模型的参数量大，对于移动端本身来说是一种负担；二是移动端的计算能力相对较弱，无法适应计算复杂度高的机器学习模型。
[0003]为了使移动端能更好地承载AI应用，可以通过压缩机器学习模型来实现加速处理，以保证机器学习模型在端侧的运行效率。
[0004]但是，压缩处理可能造成不正当加速，从而导致压缩后的机器学习模型性能下降。因此，需要对压缩后的机器学习模型与原机器学习模型的相似程度进行校验，以检测不正当加速。
[0005]在相关技术中，可以依据压缩后的机器学习模型的输出及其相应的标签计算准确率，根据准确率对压缩后的机器学习模型进行校验。
技术实现思路
[0006]本公开的专利技术人发现上述相关技术中存在如下问题：无法敏锐地检测到一些因不正当加速造成的模型变化导致的输出变化，从而导致校验效果差。
[0007]鉴于此，本公开提出了一种机器学习模型的校验技术方案，能够提高校验效果。
[0008]根据本公开的一些实施例，提供了一种机器学习模型的校验方法，包括：利用原始机器学习模型处理各测试集数据，输出各测试集数据对应的参考张量，利用被测机器学习模型处理各测试集数据，输出各测试集数据对应的测试张量，被测机器学习模型通过对原始机器学习模型进行压缩处理得到；针对每一个测试集数据，计算其对应的参考张量与其对应的测试张量之间的差异；根据差异，校验被测机器学习模型与原始机器学习模型的相似程度。
[0009]在一些实施例中，根据差异，校验被测机器学习模型与原始机器学习模型的相似程度包括：根据任一参考张量与相同编号的测试张量之间的差异，是否小于该参考张量与其他编号的测试张量之间的差异，和/或任一测试张量与相同编号的参考张量之间的差异，是否小于该测试张量与其他编号的参考张量之间的差异，校验相似程度。
[0010]在一些实施例中，校验方法还包括：为每一个测试集数据设置编号，具有对应关系的测试集数据、参考张量和测试张量具有相同的编号；根据差异，校验被测机器学习模型与原始机器学习模型的相似程度包括：根据各差异，构建差异矩阵，差异矩阵的各行编号为各参考张量的编号、各列编号为各测试张量的编号，每个元素为其行编号对应的参考张量与
其列编号对应的测试张量的差异；根据差异矩阵的对角线元素，校验相似程度。
[0011]在一些实施例中，根据差异矩阵的对角线元素，校验相似程度包括：根据差异矩阵中各对角线元素，是否为其所在行和/或所在列的极值元素，校验相似程度。
[0012]在一些实施例中，根据差异矩阵中各对角线元素，是否为其所在行和/或所在列的极值元素，确定相似程度包括：计算差异矩阵的各对角线元素为极值元素的数量；根据该数量在所有对角线元素的数量中的占比与第一阈值的比较结果，校验相似程度。
[0013]在一些实施例中，根据差异矩阵的对角线元素，校验相似程度包括：将差异矩阵输入分类器模型，将差异矩阵中的各元素分类为相应的参考张量与测试张量的相似元素或非相似元素；在对角元素被分类为相似元素的情况下，标注为正例；在非对角元素被分类为相似元素的情况下，标注为反例；根据正例和反例的标注结果，校验相似程度。
[0014]在一些实施例中，根据正例和反例的标注结果，校验相似程度包括：根据标注结果，确定机器学习模型的准确率或召回率中的至少一项；根据准确率或召回率中的至少一项，校验相似程度。
[0015]在一些实施例中，根据准确率或召回率中的至少一项，校验相似程度包括：根据准确率与召回率的乘积、准确率与召回率的加和，确定校验参数，校验参数与乘积正相关，与加和负相关；根据校验参数与第二阈值的比较结果，校验相似程度。
[0016]在一些实施例中，压缩处理包括模型量化处理、模型裁剪处理、迁移学习处理中的至少一项。
[0017]在一些实施例中，校验方法还包括：将被测机器学习模型部署在终端上，对终端进行算力测试。
[0018]根据本公开的另一些实施例，提供一种终端的算力测试方法，包括：将被测机器学习模型部署在终端上，对终端进行算力测试，被测机器学习模型通过对原始机器学习模型进行压缩处理得到，被测机器学习模型通过如下方式进行相似程度校验：利用原始机器学习模型处理各测试集数据，输出各测试集数据对应的参考张量，利用被测机器学习模型处理各测试集数据，输出各测试集数据对应的测试张量，被测机器学习模型通过对原始机器学习模型进行压缩处理得到；针对每一个测试集数据，计算其对应的参考张量与其对应的测试张量之间的差异；根据差异，校验被测机器学习模型与原始机器学习模型的相似程度。
[0019]根据本公开的又一些实施例，提供一种机器学习模型的校验装置，包括：处理单元，用于利用原始机器学习模型处理各测试集数据，输出各测试集数据对应的参考张量，利用被测机器学习模型处理各测试集数据，输出各测试集数据对应的测试张量，被测机器学习模型通过对原始机器学习模型进行压缩处理得到；计算单元，用于针对每一个测试集数据，计算其对应的参考张量与其对应的测试张量之间的差异；校验单元，用于根据差异，校验被测机器学习模型与原始机器学习模型的相似程度。
[0020]根据本公开的再一些实施例，提供一种终端的算力测试装置，包括：测试单元，用于将被测机器学习模型部署在终端上，对终端进行算力测试，被测机器学习模型通过对原始机器学习模型进行压缩处理得到，被测机器学习模型通过如下方式进行相似程度校验：利用原始机器学习模型处理各测试集数据，输出各测试集数据对应的参考张量，利用被测机器学习模型处理各测试集数据，输出各测试集数据对应的测试张量，被测机器学习模型通过对原始机器学习模型进行压缩处理得到；针对每一个测试集数据，计算其对应的参考
张量与其对应的测试张量之间的差异；根据差异，校验被测机器学习模型与原始机器学习模型的相似程度。
[0021]根据本公开的再一些实施例，提供一种机器学习模型的校验装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的机器学习模型的校验方法。
[0022]根据本公开的再一些实施例，提供一种终端的算力测试装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的终端的算力测试方法。
[0023]根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的机器学习模型的校验方法或者终端的算力测试方法。
[0024]在上述实施例中，根据压缩前后本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种机器学习模型的校验方法，包括：利用原始机器学习模型处理各测试集数据，输出所述各测试集数据对应的参考张量，利用被测机器学习模型处理所述各测试集数据，输出所述各测试集数据对应的测试张量，所述被测机器学习模型通过对所述原始机器学习模型进行压缩处理得到；针对每一个测试集数据，计算其对应的参考张量与其对应的测试张量之间的差异；根据所述差异，校验所述被测机器学习模型与所述原始机器学习模型的相似程度。2.根据权利要求1所述的校验方法，其中，所述根据所述差异，校验所述被测机器学习模型与所述原始机器学习模型的相似程度包括：根据任一参考张量与相同编号的测试张量之间的差异，是否小于该参考张量与其他编号的测试张量之间的差异，和/或任一测试张量与相同编号的参考张量之间的差异，是否小于该测试张量与其他编号的参考张量之间的差异，校验所述相似程度。3.根据权利要求1所述的校验方法，还包括：为每一个测试集数据设置编号，具有对应关系的测试集数据、参考张量和测试张量具有相同的编号；其中，所述根据所述差异，校验所述被测机器学习模型与所述原始机器学习模型的相似程度包括：根据各差异，构建差异矩阵，所述差异矩阵的各行编号为各参考张量的编号、各列编号为各测试张量的编号，每个元素为其行编号对应的参考张量与其列编号对应的测试张量的差异；根据所述差异矩阵的对角线元素，校验所述相似程度。4.根据权利要求3所述的校验方法，其中，所述根据所述差异矩阵的对角线元素，校验所述相似程度包括：根据所述差异矩阵中各对角线元素，是否为其所在行和/或所在列的极值元素，校验所述相似程度。5.根据权利要求4所述的校验方法，其中，所述根据所述差异矩阵中各对角线元素，是否为其所在行和/或所在列的极值元素，确定所述相似程度包括：计算所述差异矩阵的各对角线元素为极值元素的数量；根据该数量在所有对角线元素的数量中的占比与第一阈值的比较结果，校验所述相似程度。6.根据权利要求4所述的校验方法，其中，所述根据所述差异矩阵对角线元素，校验所述相似程度包括：将所述差异矩阵输入分类器模型，将所述差异矩阵中的各元素分类为相应的参考张量与测试张量的相似元素或非相似元素；在对角元素被分类为相似元素的情况下，标注为正例；在非对角元素被分类为相似元素的情况下，标注为反例；根据正例和反例的标注结果，校验所述相似程度。7.根据权利要求6所述的校验方法，其中，所述根据正例和反例的标注结果，校验所述相似程度包括：根据所述标注结果，确定所述机器学习模型的准确率或召回率中的至少一项；
根据所述准确率或召回率中的至少一项，校验所述相似程度。8.根据权利要求7所述的校验方法，其中，所述根据所述准确率或召回率中的至少一项，校验所述相似程度包括：根据所述准确率与所述召回率的乘积、所述准确率与所述召回率的加和，确定校验参数，所述校验参数与所述乘积正相关，与所述加和负相关；根据所述校验参数与第二阈值的比较结果...
【专利技术属性】
技术研发人员：崔思静，庞涛，张笛，沙通，潘碧莹，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。