一种国产平台人工智能环境适配方法及兼容性测试方法组成比例

一种国产平台人工智能环境适配方法及兼容性测试方法。提供了一种能够实现在国产平台上适配AI卡，且能完成深度学习框架在国产计算机上的验证测试的国产平台人工智能环境适配方法及兼容性测试方法。包括国产计算机平台和人工智能卡，按照以下方法实现所述人工智能卡在所述国产计算机平台上的适配：1）、国产计算机平台基础环境检测；2）、基础层适配；3）、深度学习框架适配；4）、完成所述国产计算机平台和所述人工智能卡的运行环境适配。本发明专利技术充分利用人工智能加速卡的计算能力，规避了国产平台中CPU算力不足的问题，从而提高了人工智能应用在国产平台中运行的效率。

【技术实现步骤摘要】
一种国产平台人工智能环境适配方法及兼容性测试方法
本专利技术属于人工智能和国产化基础平台领域，具体涉及一种国产平台人工智能计算环境适配及兼容性测试方法。
技术介绍
我国国产化计算机平台相对于国际主流品牌尚有一定的差距。主要是国产平台计算性能比较薄弱，适配性较差。尤其缺少和AI（人工智能）等异构加速模块稳定性兼容适配和融合的技术手段。随着国家对本领域的大力支持，华为、寒武纪、百度等主流AI卡已在X86、ARM平台上完成适配。但针对国产平台的适配，仍处于初步阶段，不利于国产自主可控设备的推广建设。而新型计算芯片基本都是基于x86平台进行开发、部署的，但对于国产平台缺乏必要的支持，从而导致国产平台在AI算力方面远远落后于x86体系。近年来，国产AI计算硬件设备层出不穷，典型厂家包括寒武纪、百度和华为等。如何在国产（如龙芯和飞腾等）平台上适配AI计算模块，搭建主流深度学习算法框架，提升国产整机计算能力，面向不同智能化应用场景提供模型算法，推动国产基础平台的应用推广和发展，成为本领域亟待解决的重大课题。而实现上述目的，本领域面临两个现实性的技术难题：一是如何解决商用AI卡与国产平台不兼容问题；二是深度学习框架在国产平台适配难，缺少验证手段，如何实现其验证手段。
技术实现思路
本专利技术提供了一种能够实现在国产平台上适配AI卡，且能完成深度学习框架在国产计算机上的验证测试的国产平台人工智能环境适配方法及兼容性测试方法。本专利技术的国产平台人工智能环境适配方法，包括国产计算机平台和人工智能卡，按照以下方法实现所述人工智能卡在所述国产计算机平台上的适配：1）、国产计算机平台基础环境检测；2）、基础层适配；3）、深度学习框架适配；4）、完成所述国产计算机平台和所述人工智能卡的运行环境适配。所述步骤1）包括以下步序：1.1）采用linux命令，查看所述国产计算机平台的内核M1和编译器的版本M2，1.2）查看所述人工智能卡自身运行所需要的内核N1和编译器的版本N2，1.3）如所述国产计算机平台的内核M1和编译器的版本M2高于或等于所述人工智能卡的内核N1和编译器的版本N2，往步骤2）；反之，需进行所述国产计算机平台的内核M1和编译器的版本M2的升级，当所述国产计算机平台的内核M1和编译器的版本M2升级至高于或等于所述人工智能卡的内核N1和编译器的版本N2时，往步骤2）。所述国产计算机平台的内核M1和编译器的版本M2的升级措施为：下载国产平台高版本的内核源码和编译器源码，使用gcc编译器进行编译，得到新版本的内核和编译器，在国产平台上升级安装。所述步骤2）包括以下步序：2.1）BIOS固件适配；2.2）驱动源码适配；对不同种类的所述人工智能卡基于驱动进行资源调度和分配；2.3）SDK源码适配。所述步骤2.1）包括以下两种工况：2.1.a）单机单卡：所述国产计算机平台支持所述人工智能卡的PCIE接口，进行固件安装，即完成固件适配；2.1.b）单机多卡：所述国产计算机平台支持每个所述人工智能卡的PCIE接口，进行固件安装，即完成对每个所述人工智能卡的固件适配；再在固件中扩大地址空间，支持对多卡的资源管控；实现对多卡的固件适配。所述步序2.3）SDK源码适配为：在SDK源码适配中，将各类AI卡均有对应的统一基础开发包及算子库的二次开发接口引入，如根据所述的统一基础开发包及算子库的二次开发接口成功进行SDK源码适配，去步骤3），如反之，则进行基础库适配，所述基础库适配包括：在SDK适配过程中，所需的第三方基础环境，包括开发库、计算库、图形库和通信库；所述基础库适配完成后，进入步骤3）。所述步骤3）深度学习框架适配，包括以下步序：3.1）通过适配开源TensorFlow、Caffe、PyTorch或PaddlePaddle深度学习框架，提供编程方法，完成深度学习应用开发，首先解决源码版本问题，根据所述人工智能卡支持列表选择对应支持版本；其次，对开源源码进行安全监测，避免漏洞；3.2）对深度学习框架底层依赖进行源码编译构建；3.3）编译成功后，进行框架自带demo案例测试；3.4）实现对主流的深度学习框架进行接口的统一封装，形成通用开发接口。本专利技术国产平台人工智能环境适配方法的兼容性测试方法，包括测试案例的开发和部署两部分，所述测试案例的开发部分包括训练集数据处理、网络模型构建、初始模型训练、训练模型评估、模型固化和模型存储，并生成模型库：训练集数据处理主要是将数据集分为基础训练集、验证集以及测试集；网络模型构建是基于所述步骤3）中已适配好深度学习框架建立模型，也可从模型库中直接导入已建立的模型；初始模型训练前的训练参数设置；训练模型评估为查看训练完成的模型对测试集的测试效果，如精度达不到预期，则对其进行再训练，若精度已符合预期，则进行下一步的模型存储；模型存储时，可针对各类深度学习框架选择相应的保存格式；然后将模型在模型库中进行保存；所述测试案例的部署部分包括：模型格式转换、生成离线模型、推理应用开发和推理预测；模型格式转换是通过调用模型转换接口对已保存的训练好的模型进行模型格式转换；推理应用开发是为通过调用离线模型完成对未知样本的推理预测。所述推理应用开发为：首先进行初始化，接着加载离线模型文件，然后读取测试数据并将其传至离线模型中执行推理运算，最后应用程序再从模型中获取推理结果并进行结果显示。本专利技术的国产平台人工智能环境适配方法通过建立环境监测、基础层适配和深度学习框架适配，完成了人工智能卡（AI卡）在国产计算机平台上的运行问题。再创新性地设立了一套测试验证程序，实现了AI卡运行在国产平台上运行的可靠性问题。本专利技术通过构建人工智能并行计算环境，结合智能化系统需求，提供国产平台下的人工智能一体化高效支撑。本专利技术充分利用人工智能加速卡的计算能力，规避了国产平台中CPU算力不足的问题，从而提高了人工智能应用在国产平台中运行的效率。附图说明图1是本专利技术的原理图，图2是本专利技术的工作流程图，图3是本专利技术中测试验证的流程图，图4是本专利技术测试验证过程中推理应用开发流程图。具体实施方式国产平台AI计算环境适配及兼容性测试方法，如图1-4所示，包括对国产基础环境的检测、驱动适配、BIOS固件适配、软件开发工具包（SoftwareDevelopmentKit，SDK）适配、基础库适配、深度学习框架适配，并进行推理案例验证。其中国产平台人工智能环境适配方法，如图1-2所示，包括国产计算机平台和人工智能卡，按照以下方法实现所述人工智能卡在所述国产计算机平台上的适配：1）、国产计算机平台基础环境监测；国产平台种类繁多，处理器和操作系统类型和版本各异，造成多种本文档来自技高网...

【技术保护点】
1.一种国产平台人工智能环境适配方法，包括国产计算机平台和人工智能卡，其特征在于，按照以下方法实现所述人工智能卡在所述国产计算机平台上的适配：/n1）、国产计算机平台基础环境检测；/n2）、基础层适配；/n3）、深度学习框架适配；/n4）、完成所述国产计算机平台和所述人工智能卡的运行环境适配。/n

【技术特征摘要】
1.一种国产平台人工智能环境适配方法，包括国产计算机平台和人工智能卡，其特征在于，按照以下方法实现所述人工智能卡在所述国产计算机平台上的适配：
1）、国产计算机平台基础环境检测；
2）、基础层适配；
3）、深度学习框架适配；
4）、完成所述国产计算机平台和所述人工智能卡的运行环境适配。


2.根据权利要求1所述的一种国产平台人工智能环境适配方法，其特征在于，所述步骤1）包括以下步序：
1.1）采用linux命令，查看所述国产计算机平台的内核M1和编译器的版本M2，
1.2）查看所述人工智能卡自身运行所需要的内核N1和编译器的版本N2，
1.3）如所述国产计算机平台的内核M1和编译器的版本M2高于或等于所述人工智能卡的内核N1和编译器的版本N2，往步骤2）；
反之，需进行所述国产计算机平台的内核M1和编译器的版本M2的升级，当所述国产计算机平台的内核M1和编译器的版本M2升级至高于或等于所述人工智能卡的内核N1和编译器的版本N2时，往步骤2）。


3.根据权利要求2所述的一种国产平台人工智能环境适配方法，其特征在于，所述国产计算机平台的内核M1和编译器的版本M2的升级措施为：下载国产平台高版本的内核源码和编译器源码，使用gcc编译器进行编译，得到新版本的内核和编译器，在国产平台上升级安装。


4.根据权利要求1所述的一种国产平台人工智能环境适配方法，其特征在于，所述步骤2）包括以下步序：
2.1）BIOS固件适配；
2.2）驱动源码适配；对不同种类的所述人工智能卡基于驱动进行资源调度和分配；
2.3）SDK源码适配。


5.根据权利要求4所述的一种国产平台人工智能环境适配方法，其特征在于，所述步骤2.1）包括以下两种工况：
2.1.a）单机单卡：所述国产计算机平台支持所述人工智能卡的PCIE接口，进行固件安装，即完成固件适配；
2.1.b）单机多卡：所述国产计算机平台支持每个所述人工智能卡的PCIE接口，进行固件安装，即完成对每个所述人工智能卡的固件适配；再在固件中扩大地址空间，支持对多卡的资源管控；实现对多卡的固件适配。


6.根据权利要求4所述的一种国产平台人工智能环境适配方法，其特征在于，所述步序2.3）SDK源码适配为：
在SDK源码适配中，将各类AI卡均有对应的...

【专利技术属性】
技术研发人员：周思远，周春云，朱洪斌，
申请(专利权)人：扬州万方电子技术有限责任公司，
类型：发明
国别省市：江苏;32