本公开实施例提供了一种跨芯片的神经网络精度测试方法、运行中心及系统。通过本公开的处理方案，对于不同的芯片，系统适配神经网络模型和芯片类型，不需要用户了解芯片间的差异，在保证性能的基础上，屏蔽了硬件差异，提高了开发效率。且该测试系统所使用的神经网络推理框架与算法移植工程师所使用的一致，保证算法训练工程师测试的精度与算法移植后的精度一致，避免算法训练工程师和算法移植工程师出现模型精度的差异。并且当测试中依赖其他神经网络模型时，不需要了解如何运行所依赖的模型，而只需要请求对应模型的结果即可，增加了灵活性，提高了人工智能算法的开发效率。提高了人工智能算法的开发效率。提高了人工智能算法的开发效率。
【技术实现步骤摘要】
一种跨芯片的神经网络精度测试方法、运行中心及系统
[0001]本专利技术涉及人工智能
，具体涉及一种跨芯片的神经网络精度测试方法、运行中心及系统。
技术介绍
[0002]随着人工智能和芯片技术的发展，出现了越来越多专用于神经网络推理的芯片，在这些芯片上部署神经网络模型往往需要使用芯片厂商提供的量化工具将模型量化至int8或更低的精度，这一量化过程往往伴随着精度的损失，因此量化后的精度测试不可或缺。
[0003]现有技术的测试方法包括以下三种：
[0004](1)厂家提供PC端模拟运行的功能，该方法依赖厂家提供模拟功能，大部分厂家并不提供这一功能，即使提供这一功能，往往也只是用于少量数据验证，速度非常慢，无法用于大量数据集测试；
[0005](2)由算法移植工程师工程化后在开发板上运行可执行程序测试，然而算法移植工程师往往对于各种算法如何测试精度并不了解，不同算法的数据集有不同的特点，由算法移植工程师去适应不同的数据集是低效的。
[0006]并且，这种方式在测试时，已经投入了移植的时间。
[0007](3)由算法训练工程师根据算法移植工程师提供的可执行程序到开发板测试，需要算法训练工程师接触各种不同的开发板，增加了学习成本，而且一个神经网络模型往往依赖于其他网络模型进行前置的处理，直接在板端运行可执行程序的灵活性往往不够。
技术实现思路
[0008]有鉴于此，本公开实施例提供一种跨芯片的神经网络精度测试方法、运行中心及系统，至少部分解决现有技术中存在的问题。
[0009]第一方面，本公开实施例提供了一种跨芯片的神经网络精度测试方法，包括：
[0010]获取待测神经网络模型的模型信息和待测芯片的芯片信息；
[0011]将所述模型信息转换为与所述芯片信息相适配的配置信息；
[0012]调用所述待测芯片运行适配后的待测神经网络模型，获取输出结果；
[0013]根据所述输出结果，确定所述待测芯片对应所述待测神经网络模型的神经网络精度。
[0014]根据本公开实施例的一种具体实现方式，可选地，所述将所述模型信息转换为与所测芯片信息相适配的配置信息，包括：
[0015]确定所述模型信息中的前处理信息，根据所述芯片信息，确定待测芯片对应的前处理接口；
[0016]根据所述芯片信息中的推理框架信息，确定所述待测芯片对应的推理接口；
[0017]根据所述模型信息中的后处理信息，确定所述待测芯片对应的后处理接口。
[0018]根据本公开实施例的一种具体实现方式，可选地，所述调用所述待测芯片运行适配后的待测神经网络模型，获取输出结果，包括：
[0019]通过所述前处理接口获取输入数据经过前处理后的信息；
[0020]通过所述推理接口将所述前处理后的信息输入到所述待测神经网络模型中，运行所述待测神经网络模型；
[0021]通过所述处理所述待测芯片在运行所述待测神经网络模型后的输出信息，获取待测神经网络模型的最后运行结果。
[0022]根据本公开实施例的一种具体实现方式，可选地，所述确定所述模型信息中的前处理信息，根据所述芯片信息，确定待测芯片对应的前处理接口，包括：
[0023]确定所述模型信息中的前处理信息中的图像信息和处理需求，按所述处理需求确定各个处理需求对应的图像处理子接口；
[0024]根据各个所述图像处理子接口，确定待测芯片对应的前处理接口。
[0025]根据本公开实施例的一种具体实现方式，可选地，所述将所述模型信息转换为与所测芯片信息相适配的配置信息，还包括：
[0026]在模型库中载入所述待测神经网络模型；
[0027]若接收到卸载所述待测神经网络模型请求，则从所述模型库中卸载所述待测神经网络模型。
[0028]根据本公开实施例的一种具体实现方式，可选地，所述获取待测神经网络模型的模型信息包括：
[0029]接收用户上传的神经网络模型文件，所述神经网络模型文件包括神经网络模型的模型信息；
[0030]或，
[0031]接收用户上传的神经网络模型的描述信息，从模型库中获取所述神经网络模型的模型信息。
[0032]根据本公开实施例的一种具体实现方式，可选地，所述将所述模型信息转换为与所述芯片信息相适配的配置信息，还包括：
[0033]若所述待测神经网络模型依赖其他神经网络模型的输出结果，则从所述模型库中查找所述其他神经网络模型的模型信息或从所述用户上传的神经网络模型文件中查找所述其他神经网络模型的模型信息；
[0034]将所述其他神经网络模型的模型信息转换为与所述芯片信息相适配的配置信息；
[0035]调用所述待测芯片运行适配后的所述其他神经网络模型，获取初始结果；
[0036]将所述初始结果作为所述待测神经网络模型的输入信息；
[0037]相应地，所述调用所述待测芯片运行适配后的待测神经网络模型，包括：
[0038]将所述输入信息载入到所述待测芯片中，以便所述待测芯片运行所述待测神经网络模型。
[0039]根据本公开实施例的一种具体实现方式，可选地，还包括：
[0040]将所述输出结果作为运行日志反馈至用户。
[0041]第二方面，本公开实施例提供了一种跨芯片的神经网络精度测试运行中心，包括：
[0042]获取模块，用于获取待测神经网络模型的模型信息和待测芯片的芯片信息；
[0043]适配模块，用于将所述模型信息转换为与所述芯片信息相适配的配置信息；
[0044]运行模块，用于调用所述待测芯片运行适配后的待测神经网络模型，获取输出结果；
[0045]输出模块，用于根据所述输出结果，确定所述待测芯片对应所述待测神经网络模型的神经网络精度。
[0046]根据本公开实施例的一种具体实现方式，可选地，所述适配模块包括：
[0047]前处理单元，用于确定所述模型信息中的前处理信息，根据所述芯片信息，确定待测芯片对应的前处理接口；
[0048]推理单元，用于根据所述芯片信息中推理框架信息，确定所述待测芯片对应的推理接口；
[0049]后处理单元，用于根据所述模型信息中的后处理信息，确定所述待测芯片对应的后处理接口。
[0050]第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
[0051]至少一个处理器；以及，
[0052]与该至少一个处理器通信连接的存储器；其中，
[0053]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的跨芯片的神经网络精度测试方法。
[0054]第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的跨芯片的神本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种跨芯片的神经网络精度测试方法，其特征在于，包括：获取待测神经网络模型的模型信息和待测芯片的芯片信息；将所述模型信息转换为与所述芯片信息相适配的配置信息；调用所述待测芯片运行适配后的待测神经网络模型，获取输出结果；根据所述输出结果，确定所述待测芯片对应所述待测神经网络模型的神经网络精度。2.根据权利要求1所述的神经网络精度测试方法，其特征在于，所述将所述模型信息转换为与所测芯片信息相适配的配置信息，包括：确定所述模型信息中的前处理信息，根据所述芯片信息，确定待测芯片对应的前处理接口；根据所述芯片信息中的推理框架信息，确定所述待测芯片对应的推理接口；根据所述模型信息中的后处理信息，确定所述待测芯片对应的后处理接口。3.根据权利要求2所述的神经网络精度测试方法，其特征在于，所述调用所述待测芯片运行适配后的待测神经网络模型，获取输出结果，包括：通过所述前处理接口，获取输入数据经过前处理后的信息；通过所述推理接口将所述前处理后信息输入到所述待测神经网络模型中，运行所述待测神经网络模型；通过所述后处理接口处理所述待测芯片在运行所述待测神经网络模型后的输出信息，获取待测神经网络模型的最后运行结果。4.根据权利要求3所述的神经网络精度测试方法，其特征在于，所述确定所述模型信息中的前处理信息，根据所述芯片信息，确定待测芯片对应的前处理接口，包括：确定所述模型信息中的前处理信息中的图像信息和处理需求，按所述处理需求确定各个处理需求对应的图像处理子接口；根据各个所述图像处理子接口，确定待测芯片对应的前处理接口。5.根据权利要求2所述的神经网络精度测试方法，其特征在于，所述将所述模型信息转换为与所测芯片信息相适配的配置信息，还包括：在模型库中载入所述待测神经网络模型；若接收到卸载所述待测神经网络模型请求，则从所述模型库中卸载所述待测神经网络模型。6.根据权利要求5所述的神经网络精度测试方法，其特征在于，所述将所述模型信息转换...
【专利技术属性】
技术研发人员：梁佳，刘浩，赵五岳，
申请(专利权)人：杭州宇泛智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。