【技术实现步骤摘要】
本专利技术是关于一种运算加速系统，特别是关于一种人工智能模型运算加速系统及人工智能模型运算加速方法。
技术介绍
1、晶片厂与软件大厂各自推出其人工智能(artificial intelligence，ai)架构(framework)，如：google的tensorflow、intel的openvino等。但是要调用那个ai加速装置，如处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)、视觉处理器(vision processing unit，vpu)、现场可编程门阵列(fieldprogrammable gate array，fpga)等，大多由程序或指令方式指定，并无智能型且自动方法。
2、此外，若由程序、指令指定ai加速装置进行推理运算，直接程序结束为止，所有与ai有关的运算功能，皆由ai加速装置来担待，但是ai加速装置也有可能变成忙碌状态。若再加入ai运算需求，会造成整体效能下降，使用者体验不佳。
3、另外，单一ai加速装置，并非都适合各种ai应用。如vpu仅适合低功耗之图像、影像与声音优化。
4、另外，研究人员发现，既使到了windows sv2，仍无依模型或ai情境，动态指定ai加速装置进行运算。
5、因此，如何提供一种ai模型运算加速系统，可以解决因为有ai运算需求，让ai加速装置过于忙碌的问题，避免造成使用者体验不佳的情形；并能够让ai模型运算加速系统，能够自适性的优化运算速度的效果
技术实现思路
1、为了解决上述的问题，本揭露内容之一态样提供了一种人工智能(artificialintelligence，ai)模型运算加速系统。人工智能模型运算加速系统包含一应用程序层以及一推理模型。应用程序层用以开启一应用程序，通过一处理装置取得运行该应用程序所需的复数个ai模型及该些ai模型各自对应的一模型名称，并列举复数个运算装置及该些运算装置各自对应的一装置名称。推理模型用以取得该应用程序的一程序名称，并接收该些ai模型各自对应的该模型名称，并接收该些运算装置各自对应的该装置名称，依据该些ai模型名称及该些装置名称作为输入资料，以输出一推理结果；其中，该推理结果包含一特定装置名称及一特定ai模型名称其中，该推理模型将该推理结果传送到一应用程序api(application programming interface，api)层，该api层由该应用程序取得该些ai模型，并在执行(run-time)阶段时，依据该推理结果，将该特定ai模型名称对应的该ai模型指定给该特定装置名称对应的该运算装置进行运算。
2、一种人工智能(artificial intelligence，ai)模型运算加速方法包含：开启一应用程序，取得运行该应用程序所需的复数个ai模型及该些ai模型各自对应的一模型名称，并列举复数个运算装置及该些运算装置各自对应的一装置名称；通过一推理模型以取得该应用程序的一程序名称；通过该推理模型接收该些ai模型各自对应的该模型名称，并接收该些运算装置各自对应的该装置名称；以及通过该推理模型依据该些ai模型名称及该些装置名称作为输入资料，以输出一推理结果；其中，该推理结果包含一特定装置名称及一特定ai模型名称；其中，该推理模型将该推理结果传送到一应用程序api(applicationprogramming interface，api)层，该api层由该应用程序取得该些ai模型，并在执行(run-time)阶段时，依据该推理结果，将该特定ai模型名称对应的该ai模型指定给该特定装置名称对应的该运算装置进行运算。
3、本专利技术所示之人工智能模型运算加速系统及人工智能模型运算加速方法，解决了因为有ai运算需求，让ai加速装置过于忙碌的问题，藉此可让使用者在使用各种应用程序的时候，即使需要运行多个ai模型，也能使系统运行更为顺畅，减少画面停滞的情形，提升使用者体验，并且达到让推理模型自适性优化运算速度的效果。
本文档来自技高网...【技术保护点】
1.一种人工智能模型运算加速系统，包含：
2.如权利要求1所述的人工智能模型运算加速系统，其特征在于，在执行阶段时，该API层通过一加速装置引擎，将该特定AI模型名称对应的该AI模型传送到该特定装置名称对应的该运算装置的一暂存空间。
3.如权利要求1所述的人工智能模型运算加速系统，其特征在于，该推理模型系已完成训练的模型。
4.如权利要求1所述的人工智能模型运算加速系统，其特征在于，该推理模型在训练阶段时，需要收集复数个资料集，该些资料集作为一训练资料集，该些资料集包含：该程序名称、一帧率及帧流程停滞次数、一模型名称与对应的该装置名称、一平均帧流程停滞时间及装置名称。
5.如权利要求4所述的人工智能模型运算加速系统，其特征在于，该推理模型在训练阶段时，将该些资料集输入一类神经网路，以训练出该推理模型。
6.如权利要求1所述的人工智能模型运算加速系统，其特征在于，当该应用程序开启后，一处理装置取得该程序名称及该些装置名称，并将该程序名称及该些装置名称输入该推理模型，该推理模型判断该程序名称是否有对应到该些模型名称的其中至少
7.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断该程序名称没有对应到该些模型名称的其中至少之一者，则该推理模型取得一平均帧流程停滞时间及该些装置名称，并藉由一优先选项处理器，将该程序名称暂存到一优选装置的一优选暂存器中。
8.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断该些装置名称所对应的该些运算装置中，不包含任何一运算装置使该帧流程停滞时间为零，则该推理模型取得一帧流程停滞时间、一帧率及该些装置名称，并藉由一优先选项处理器，将该些模型名称对应的该些AI模型暂存到对应一优选装置的一优选暂存器中。
9.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断发生一帧流程停滞事件，则该推理模型取得当下正在运行的一当前装置名称、一当前模型名称及该程序名称，将此三者视为一资料组合，并降低该资料组合的一权重，以重新调整该推理模型，并产生新的推理模型。
10.一种人工智能模型运算加速方法，包含：
11.如权利要求10所述的人工智能模型运算加速方法，其特征在于，在执行阶段时，该API层通过一加速装置引擎，将该特定AI模型名称对应的该AI模型传送到该特定装置名称对应的该运算装置的一暂存空间。
12.如权利要求10所述的人工智能模型运算加速方法，其特征在于，该推理模型系已完成训练的模型。
13.如权利要求10所述的人工智能模型运算加速方法，其特征在于，该推理模型在训练阶段时，需要收集复数个资料集，该些资料集作为一训练资料集，该些资料集包含：该程序名称、一帧率及帧流程停滞次数、一模型名称与对应的该装置名称、一平均帧流程停滞时间及装置名称。
14.如权利要求13所述的人工智能模型运算加速方法，其特征在于，该推理模型在训练阶段时，将该些资料集输入一类神经网路，以训练出该推理模型。
15.如权利要求10所述的人工智能模型运算加速方法，其特征在于，当该应用程序开启后，更包含：
16.如权利要求15所述的人工智能模型运算加速方法，其特征在于，当该推理模型判断该程序名称没有对应到该些模型名称的其中至少之一者，则该推理模型取得一平均帧流程停滞时间及该些装置名称，并藉由一优先选项处理器，将该程序名称暂存到一优选装置的一优选暂存器中。
17.如权利要求15所述的人工智能模型运算加速方法，其特征在于，当该推理模型判断该些装置名称所对应的该些运算装置中，不包含任何一运算装置使该帧流程停滞时间为零，则该推理模型取得一帧流程停滞时间、一帧率及该些装置名称，并藉由一优先选项处理器，将该些模型名称对应的该些AI模型暂存到对应一优选装置的一优选暂存器中。
18.如权利要求15所述的人工智能模型运算加速方法，其特征在于，当该推理模型判断发生一帧流程停滞事件，则该推理模型取得当下正在运行的一当前装置名称、一当前模型名称及该程序名称，将此三者视为一资料组合，并降低该资料组合的一权重，以重新调整该推理模型，并产生新的推理模型。
...【技术特征摘要】
1.一种人工智能模型运算加速系统，包含：
2.如权利要求1所述的人工智能模型运算加速系统，其特征在于，在执行阶段时，该api层通过一加速装置引擎，将该特定ai模型名称对应的该ai模型传送到该特定装置名称对应的该运算装置的一暂存空间。
3.如权利要求1所述的人工智能模型运算加速系统，其特征在于，该推理模型系已完成训练的模型。
4.如权利要求1所述的人工智能模型运算加速系统，其特征在于，该推理模型在训练阶段时，需要收集复数个资料集，该些资料集作为一训练资料集，该些资料集包含：该程序名称、一帧率及帧流程停滞次数、一模型名称与对应的该装置名称、一平均帧流程停滞时间及装置名称。
5.如权利要求4所述的人工智能模型运算加速系统，其特征在于，该推理模型在训练阶段时，将该些资料集输入一类神经网路，以训练出该推理模型。
6.如权利要求1所述的人工智能模型运算加速系统，其特征在于，当该应用程序开启后，一处理装置取得该程序名称及该些装置名称，并将该程序名称及该些装置名称输入该推理模型，该推理模型判断该程序名称是否有对应到该些模型名称的其中至少之一者；以及
7.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断该程序名称没有对应到该些模型名称的其中至少之一者，则该推理模型取得一平均帧流程停滞时间及该些装置名称，并藉由一优先选项处理器，将该程序名称暂存到一优选装置的一优选暂存器中。
8.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断该些装置名称所对应的该些运算装置中，不包含任何一运算装置使该帧流程停滞时间为零，则该推理模型取得一帧流程停滞时间、一帧率及该些装置名称，并藉由一优先选项处理器，将该些模型名称对应的该些ai模型暂存到对应一优选装置的一优选暂存器中。
9.如权利要求6所述的人工智能模型运算加速系统，其特征在于，当该推理模型判断发生一帧流程停滞事件，则该推理模型取得当下正在运行的一当前装置名称、一当前模型名称及该程序名称，将此三者视为一资料组合，并降低该资料组合的一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。