一种基于HXAI100芯片的推理模型在线切换系统及方法技术方案

本发明专利技术公开了一种基于HXAI100芯片的推理模型在线切换系统及方法，系统包括上位机指令发送单元、芯片解析单元；所述上位机指令发送单元，用于生成切换指令，并将切换指令发送至所述芯片解析单元；所述芯片解析单元，用于解析所述上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型。本发明专利技术可以根据应用场景需求的不同，选择切换执行相对应场景下的网络模型，有针对性地识别不同场景下的目标和同一场景下的不同目标，大大提高AI芯片的运行效率和目标识别的准确度。目标识别的准确度。目标识别的准确度。

【技术实现步骤摘要】
一种基于HXAI100芯片的推理模型在线切换系统及方法


[0001]本专利技术涉及神经网络模型推理
，尤其是一种基于HXAI100芯片的推理模型在线切换系统及方法。

技术介绍

[0002]随着国产AI芯片技术快速发展，面对不同的复杂应用场景，国产AI芯片上集成的应用功能也在快速增加，这也意味着国产AI芯片必须在一个工程中识别不同场景下的目标和同一场景下的不同目标，这样神经网络模型体积会不断增大，进而导致AI芯片在进行大体量神经网络模型推理过程中不仅运行效率大大降低，而且准确度也会有很大损失。

技术实现思路

[0003]针对上述技术问题，本专利技术提出一种基于HXAI100芯片的推理模型在线切换系统及方法。
[0004]本专利技术保护一种基于HXAI100芯片的推理模型在线切换系统，包括上位机指令发送单元、芯片解析单元；
[0005]所述上位机指令发送单元，用于生成切换指令，并将切换指令发送至所述芯片解析单元；
[0006]所述芯片解析单元，用于解析所述上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型。
[0007]进一步的，基于HXAI100芯片的推理模型在线切换系统还包括状态位显示单元，用于接收所述芯片解析单元的执行结果，根据执行结果进行状态显示，从而呈现切换结果和推理结果；所述状态位显示单元优选为联排设置的LED。
[0008]本专利技术还保护一种基于HXAI100芯片的推理模型在线切换方法，基于上述推理模型在线切换系统，具体包括以下步骤：
[0009]步骤1，根据具体应用场景的网络模型需求，向上位机提出模型切换请求，上位机指令发送单元生成切换指令，并将切换指令通过GPIO驱动接口发送至芯片解析单元；步骤2，芯片解析单元解析上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型，并将切换结果和推理结果发送到状态显示单元；
[0010]步骤3，状态显示单元通过不同的闪灯方式呈现当前的切换结果和推理结果。
[0011]本专利技术可以根据应用场景需求的不同，选择切换执行相对应场景下的网络模型，有针对性地识别不同场景下的目标和同一场景下的不同目标，大大提高AI芯片的运行效率和目标识别的准确度。
附图说明
[0012]图1为基于HXAI100芯片的推理模型在线切换系统的结构框图。
具体实施方式
[0013]下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本专利技术限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本专利技术的原理和实际应用，并且使本领域的普通技术人员能够理解本专利技术从而设计适于特定用途的带有各种修改的各种实施例。
[0014]实施例1
[0015]一种基于HXAI100芯片的推理模型在线切换系统，如图1所示，包括上位机指令发送单元、芯片解析单元；所述上位机指令发送单元，用于生成切换指令，并将切换指令发送至所述芯片解析单元；所述芯片解析单元，用于解析所述上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型。
[0016]为了便于切换结果和推理结果的直观呈现，基于HXAI100芯片的推理模型在线切换系统还包括状态位显示单元，用于接收所述芯片解析单元的执行结果，根据执行结果进行状态显示。在本实施例中，所述状态位显示单元为联排设置的LED，通过不同的闪灯方式呈现当前的切换结果和推理结果。
[0017]以四个联排设置的LED灯为例，可以用四灯常亮5s来表示模型切换成功，用最后一灯闪烁、其他三灯灭来表示模型1推理完成，用第三灯闪烁、其他三灯灭来表示模型2推理完成，依次类推，如下表1所示。
[0018]表1
[0019][0020][0021]基于HXAI100芯片的推理模型在线切换系统的切换方法，具体包括以下步骤：
[0022]步骤1，根据具体应用场景的网络模型需求，向上位机提出模型切换请求，上位机指令发送单元生成切换指令，并将切换指令通过GPIO驱动接口发送至芯片解析单元，切换指令与网络模型的对应关系如表2所示。
[0023]表2
[0024]切换指令指令解析0000不切换模型0001切换至模型10010切换至模型2
0011切换至模型30100切换至模型40101切换至模型50110切换至模型60111切换至模型7
……
[0025]步骤2，芯片解析单元解析上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型，例如切换指令为0000，则表示不缺换模型；切换指令为0101，则切换至模型5；同时将切换结果和推理结果发送到状态显示单元；
[0026]步骤3，状态显示单元通过不同的闪灯方式呈现当前的切换结果和推理结果，具体参照表1。
[0027]显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于HXAI100芯片的推理模型在线切换系统，其特征在于，包括上位机指令发送单元、芯片解析单元；所述上位机指令发送单元，用于生成切换指令，并将切换指令发送至所述芯片解析单元；所述芯片解析单元，用于解析所述上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型。2.根据权利要求1所述的基于HXAI100芯片的推理模型在线切换系统，其特征在于，还包括状态位显示单元，用于接收所述芯片解析单元的执行结果，根据执行结果进行状态显示。3.根据权利要求2所述的基于HXAI100芯片的推理模型在线切换系统，其特征在于，所述状态位显...

【专利技术属性】
技术研发人员：汪泽，尹健，李鹏宇，张啸，穆阿龙，曹晓峰，张朝阳，黄富传，贾光帅，
申请(专利权)人：安徽芯纪元科技有限公司，
类型：发明
国别省市：