推理框架、推理方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种推理框架、推理方法、装置、设备及存储介质，所述推理框架包括插件定义模块和基础功能模块；其中，所述插件定义模块包括多个推理设备中每一所述推理设备对应的功能插件；所述功能插件用于将推理过程封装为内部插件接口；所述基础功能模块用于对每一所述推理设备对应的内部插件接口嵌套组合生成对应的外部插件接口；所述外部插件接口用于响应于基于目标推理设备的推理请求，调用所述目标推理设备对应的内部插件接口将待推理数据转换为业务数据。理数据转换为业务数据。理数据转换为业务数据。

【技术实现步骤摘要】
推理框架、推理方法、装置、设备及存储介质


[0001]本公开涉及但不限于人工智能
，尤其涉及一种推理框架、推理方法、装置、设备及存储介质。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学，在人工智能领域，可以在不同的推理设备中通过部署推理模型以实现对应的功能。但是，在推理模型部署过程中，针对不同的推理设备均需要了解对应的设备管理、模型推理、前处理和后处理技术，然后把这些技术结合起来，才能在实现完整的推理过程，增加了人工智能相关应用的开发难度。

技术实现思路

[0003]有鉴于此，本公开实施例至少提供一种推理框架、推理方法、装置、设备、及存储介质。
[0004]本公开实施例的技术方案是这样实现的：
[0005]一方面，本公开实施例提供一种推理框架，所述推理框架包括插件定义模块和基础功能模块，其中：所述插件定义模块包括多个推理设备中每一所述推理设备对应的功能插件；所述功能插件用于将推理过程封装为内部插件接口；所述基础功能模块用于对每一所述推理设备对应的内部插件接口嵌套组合生成对应的外部插件接口；所述外部插件接口用于响应于基于目标推理设备的推理请求，调用所述目标推理设备对应的内部插件接口将待推理数据转换为业务数据。
[0006]在一些实施例中，所述内部插件接口包括内部设备接口，所述外部插件接口包括外部设备接口，所述功能插件包括用于的提供内部设备接口的设备插件，其中，所述基础功能模块对所述内部设备接口嵌套组合生成外部设备接口；在所述推理请求包括针对所述目标推理设备的设备管理请求的情况下，所述外部设备接口用于基于所述设备管理请求调用所述目标推理设备对应的内部设备接口，对所述目标推理设备进行管理。
[0007]基于上述实施例，由于通过基础功能模块对外提供外部设备接口，该外部设备接口可以调用设备插件提供的多个推理设备的内部设备接口，由此，可以在框架层面隔离硬件差异，在支持多个推理设备的同时，对外提供统一的外部设备接口，进而为软件产业的大规模生产提供支持，缩短了研发周期、节约研发成本；同时，由于通过插件定义模块包括的设备插件提供各推理设备的内部设备接口，可以在新设备接入时，仅需要定义该推理设备对应的设备插件，即定义该推理设备对应的内部设备接口，就可以支持对该新设备的管理，且由于变更的是内部设备接口，对于框架使用者而言并不需要变更框架上层代码，进一步节省了开发成本，提升了框架的应用范围。
[0008]在一些实施例中，所述内部设备接口包括设备绑定子接口、设备状态获取子接口和设备内存操作子接口；其中：所述设备绑定子接口用于获取推理设备的标识信息；所述设
备状态获取子接口用于获取推理设备的设备状态；所述设备内存操作子接口用于操作设备内存。
[0009]基于上述实施例，由于该设备插件可以针对推理设备提供不同功能的子接口，可以在针对该推理设备进行设备管理的接口定义的过程中，分离推理设备管理的各个功能，有效的降低了不同功能子接口之间的耦合度，保证了推理过程中设备管理的稳定性；同时在利用推理设备处理推理任务的过程中，若发生推理错误的问题，可以快速定位问题位置，而且开发人员仅需要针对当前问题出现的子接口进行重新定义，降低了开发成本。
[0010]在一些实施例中，所述内部插件接口包括内部处理接口，所述外部插件接口包括外部处理接口，所述功能插件包括用于的提供内部处理接口的处理插件；其中，所述基础功能模块对所述内部处理接口嵌套组合生成外部处理接口；在所述推理请求包括前处理请求的情况下，所述外部处理接口用于基于所述前处理请求调用所述目标推理设备对应的内部处理接口，将待推理数据转换为推理模型的输入数据；在所述推理请求包括后处理请求的情况下，所述外部处理接口用于基于所述后处理请求调用所述目标推理设备对应的内部处理接口，将推理模型的输出数据转换为业务数据。
[0011]基于上述实施例，由于通过基础功能模块对外提供外部处理接口，该外部处理接口可以调用处理插件提供的多个推理设备的内部处理接口，由此，可以在框架层面隔离硬件差异，在支持多个推理设备的同时，对外提供统一的外部处理接口，进而缩短了研发周期、节约研发成本；同时，由于通过插件定义模块包括的处理插件提供各推理设备的内部处理接口，可以在新设备接入时，仅需要定义该推理设备对应的处理插件，即定义该推理设备对应的内部处理接口，就可以利用该推理设备完成推理过程的数据处理，提升了推理框架的扩展性和部署效率。
[0012]在一些实施例中，所述内部设备接口包括前处理子接口和后处理子接口；所述前处理子接口用于将待推理数据转换为推理模型的输入数据；所述后处理子接口用于将所述推理模型的输出数据转换为业务数据。
[0013]基于上述实施例，由于该处理插件可以针对推理设备提供不同功能的子接口，可以在针对该推理设备进行处理过程的接口定义的过程中，分离推理过程中的前处理过程和后处理过程，有效的降低了不同功能子接口之间的耦合度，保证了推理过程中数据处理过程的稳定性；同时在利用推理设备处理推理任务的过程中，若出现推理错误的情况，可以快速定位问题位置；在进行问题消除的过程中，开发人员仅需要针对当前问题出现的子接口进行重新定义，降低了开发成本。
[0014]在一些实施例中，所述内部插件接口包括内部推理接口，所述外部插件接口包括外部推理接口，所述功能插件包括用于的提供内部推理接口的推理插件；其中，所述基础功能模块对所述内部推理接口嵌套组合生成外部设备接口；在所述推理请求包括针对所述目标推理设备的模型推理请求的情况下，所述外部推理接口用于基于所述模型推理请求调用所述目标推理设备对应的内部推理接口，基于推理模型将输入数据转换为输出数据。
[0015]基于上述实施例，由于通过基础功能模块对外提供外部推理接口，该外部推理接口可以调用推理插件提供的多个推理设备的内部推理接口，由此，可以在框架层面隔离硬件差异，在支持多个推理设备的同时，对外提供统一的外部推理接口，进而缩短了研发周期、节约研发成本；同时，由于通过插件定义模块包括的推理插件提供各推理设备的内部推
理接口，可以在新设备接入时，仅需要定义该推理设备对应的推理插件，即定义该推理设备对应的内部推理接口，就可以利用该推理设备执行推理过程，提升了推理框架的扩展性和部署效率。
[0016]在一些实施例中，所述内部推理接口包括至少一个推理模型对应的内部推理接口；所述外部推理接口用于基于针对所述目标推理设备的模型推理请求调用所述目标推理设备对应的目标内部推理接口，基于目标推理模型将输入数据转换为输出数据；所述推理请求用于调用所述至少一个推理模型中的所述目标推理模型，所述目标推理接口用于管理所述目标推理模型的推理过程。
[0017]基于上述实施例，由于通过基础功能模块对外提供外部处理接口，该外部处理接口可以调用处理插件提供的至少一个推理模型对应的内部处理接口，由此，可以在框架层面隔离模型差异本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理框架，其特征在于，所述推理框架包括插件定义模块和基础功能模块；其中，所述插件定义模块包括多个推理设备中每一所述推理设备对应的功能插件；所述功能插件用于将推理过程封装为内部插件接口；所述基础功能模块用于对每一所述推理设备对应的内部插件接口嵌套组合生成对应的外部插件接口；所述外部插件接口用于响应于基于目标推理设备的推理请求，调用所述目标推理设备对应的内部插件接口将待推理数据转换为业务数据。2.根据权利要求1所述的推理框架，其特征在于，所述内部插件接口包括内部设备接口，所述外部插件接口包括外部设备接口，所述功能插件包括用于的提供内部设备接口的设备插件，其中，所述基础功能模块对所述内部设备接口嵌套组合生成外部设备接口；在所述推理请求包括针对所述目标推理设备的设备管理请求的情况下，所述外部设备接口用于基于所述设备管理请求调用所述目标推理设备对应的内部设备接口，对所述目标推理设备进行管理。3.根据权利要求1或2所述的推理框架，其特征在于，所述内部设备接口包括设备绑定子接口、设备状态获取子接口和设备内存操作子接口；其中：所述设备绑定子接口用于获取推理设备的标识信息；所述设备状态获取子接口用于获取推理设备的设备状态；所述设备内存操作子接口用于操作设备内存。4.根据权利要求1至3任一项所述的推理框架，其特征在于，所述内部插件接口包括内部处理接口，所述外部插件接口包括外部处理接口，所述功能插件包括用于的提供内部处理接口的处理插件；其中，所述基础功能模块对多个推理设备的设备插件接口嵌套组合生成外部接口；在所述推理请求包括前处理请求的情况下，所述外部处理接口用于基于所述前处理请求调用所述目标推理设备对应的内部处理接口，将待推理数据转换为推理模型的输入数据；在所述推理请求包括后处理请求的情况下，所述外部处理接口用于基于所述后处理请求调用所述目标推理设备对应的内部处理接口，将推理模型的输出数据转换为业务数据。5.根据权利要求4所述的推理框架，其特征在于，所述内部设备接口包括前处理子接口和后处理子接口；所述前处理子接口用于将待推理数据转换为推理模型的输入数据；所述后处理子接口用于将所述推理模型的输出数据转换为业务数据。6.根据权利要求1至5任一项所述的推理框架，其特征在于，所述内部插件接口包括内部推理接口，所述外部插件接口包括外部推理接口，所述功能插件包括用于的提供内部推理接口的推理插件；其中，所述基础功能模块对所述内部推理接口嵌套组合生成外部设备接口；在所述推理请求包括针对所述目标推理设备的模型推理请求的情况下，所述外部推理接口用于基于所述模型推理请求调用所述目标推理设备对应的内部推理接口，基于推理模型将输入数据转换为输出数据。7.根据权利要求6所述的推理框架，其特征在于，所述内部推理接口包括至少一个推理模型对应的内部推理接口；所述外部推理接口用于基于针对所述目标推理设备的模型推理
请求调用所述目标推理设备对应的目标内部推理接口，基于目标推理模型将输入数据转换为输出数据；所述推理请求用于调用所述至少一个推理模型中的所述目标推理模型，所述目标推理接口用于管理所述目标推理模型的推理过程。8.根据权利要求6或7所述的推理框架，其特征在于，所述内部推理接口包括：解析模型子接口、模型配置子接口、模型推理子接口和获取结果子接口；其中，所述解析模型子接口，用于获取模型文件，并进行解析；所述模型配置子接口，用于对解析后的模型进行配置，得到配置后的模型；所述模型推理子接口，用于基于配置后的模型完成模型推理过程；所述获取结果子接口，用于获取模型推理过程的推理结果。9.根据权利要求6至8任一项所述的推理框架，其特征在于，所述基础功能模块用于提供至少一个业务函数；所述业务函数被调用的情况下执行以下至少之一：在所述业务函数被所述内部推理接口调用的情况下，将所述输入数据转换为所述输出数据；在所述业务函数被所述内部处理接口调用的情况下，将待推理数据转换...

【专利技术属性】
技术研发人员：张涛，高鹏，宁向东，王鹏，王森，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：