【技术实现步骤摘要】
本专利技术属于电子信息技术应用领域，具体涉及一种处理器平台的中间件运行方法、系统、设备和介质。
技术介绍
1、在电子信息
，随着人工智能和高性能计算需求的增长，智能处理器平台如寒武纪系列处理器在深度学习、机器学习等领域的应用越来越广泛。然而，现有的技术在实现跨平台、高效的程序运行和资源管理方面存在一些限制。特别是在寒武纪智能处理器（cambricon processor）平台上，虽然其硬件性能强大，但缺乏一个能够充分发挥其潜力的运行时中间件，以支持主流的人工智能编程框架，如onnxruntime。
2、现有的onnxruntime推理引擎虽然支持多种深度学习框架和硬件平台，但对于寒武纪智能处理器平台的直接支持有限。这导致开发者在部署和运行人工智能应用时面临诸多挑战，包括但不限于模型部署的复杂性、硬件资源的低效利用以及跨平台兼容性问题。此外，现有的解决方案通常需要开发者深入处理器的底层细节，这不仅增加了开发难度，也限制了算法和应用开发的灵活性。
技术实现思路
1、本专利技术...
【技术保护点】
1.一种处理器平台的中间件运行方法，其特征在于，包括：
2.根据权利要求1所述的一种处理器平台的中间件运行方法，其特征在于，所述基于输入数据对ONNX模型进行内存序列化之前，还包括：
3.根据权利要求2所述的一种处理器平台的中间件运行方法，其特征在于，所述编译ONNX模型文件包括：
4.根据权利要求2所述的一种处理器平台的中间件运行方法，其特征在于，若所述输入数据中当前模型文件已经被编译过，则通过ModelLoadFromFile函数，将编译后的文件“*.mm”读入内存，构建me：：ModelDesc对象，设置输入输出数据数量，通过...
【技术特征摘要】
1.一种处理器平台的中间件运行方法，其特征在于，包括：
2.根据权利要求1所述的一种处理器平台的中间件运行方法，其特征在于，所述基于输入数据对onnx模型进行内存序列化之前，还包括：
3.根据权利要求2所述的一种处理器平台的中间件运行方法，其特征在于，所述编译onnx模型文件包括：
4.根据权利要求2所述的一种处理器平台的中间件运行方法，其特征在于，若所述输入数据中当前模型文件已经被编译过，则通过modelloadfromfile函数，将编译后的文件“*.mm”读入内存，构建me：：modeldesc对象，设置输入输出数据数量，通过me：：modeldesccontainer将内存中的编译后模型用模型id进行绑定，后续直接执行内存序列化。
5...
【专利技术属性】
技术研发人员：张文军，赵一明，罗荣海，段芳芳，刘文琦，黄巾，李海松，杨靓，
申请(专利权)人：西安微电子技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。