模型操作方法、相关装置及计算机可读介质制造方法及图纸

本发明专利技术实施例公开了一种客户端，包括处理器、存储器以及总线，所述处理器和所述存储器通过所述总线连接，所述存储器用于存储指令，所述处理器用于调用所述存储器中存储的指令，用于执行特定的模型操作方法，以提升模型的利用率和实用性。

Model Operating Method, Relevant Devices and Computer Readable Media

【技术实现步骤摘要】
模型操作方法、相关装置及计算机可读介质
本专利技术涉及计算机
，尤其涉及一种模型操作方法、相关装置及计算机可读介质。
技术介绍
在操作系统或操作平台中，为实现数据的准确存储和寻址，需按照地址总线的宽度进行数据的存储和寻址。以64位(bit)的操作系统为例，其处理的寻址范围为64位；又如32位(bit)的操作系统，其处理的寻址范围为32位。在实践中发现，针对同一数据，以数据为离线模型为例，厂商为客户提供的离线模型通常是针对某一特定位机的操作系统或平台设计，例如支持X86_64平台上运行，其仅支持在64bit的操作系统或平台中实现存储(生成)和解析，不支持除64位机外的任意位机的操作系统或平台中实现离线模型的生成或解析，不便于离线模型的推广，降低了离线模型的利用率和实用性。
技术实现思路
本专利技术实施例提供一种模型操作方法，能够在任意位机的操作系统或平台中实现离线模型的生成和/或解析操作，从而提升了离线模型的利用率和实用性。第一方面，本专利技术实施例提供了一种模型处理方法，该方法包括：客户端获取离线模型适用的脚本文件，该脚本文件中指示有运行该离线模型的第一系统平台，该离线模型为预先在第二系统平台上设计好的。进一步客户端根据该脚本文件，在第一系统平台中完成离线模型的生成操作和/或解析操作。通过实施本专利技术实施例，能够在任意位机的操作系统或操作平台(本申请可简称为系统平台)中实现离线模型的生成和解析，从而提升了离线模型的利用率和实用性。在一些可能的实施例中，脚本文件中指示或定义有宏程序，该宏程序中包括有至少一个指针变量，该指针变量用于实现离线模型的生成操作和/或解析操作。当第一系统平台支持的比特位和第二系统平台支持的比特位不同时，该宏程序中还包括有补齐变量，该补齐变量用于对指针变量所指示的数据内容进行补位，以寻址指针变量的下一个变量。在一些可能的实施例中，宏程序中未定义指针变量的大小，且第二系统平台支持的比特位大于第一系统平台支持的比特位。在一些可能的实施例中，补齐变量的大小为nbit，补齐变量的数量有(M-n)/n个，M为第二系统平台支持的比特位。在一些可能的实施例中，M＝64，n＝32。在一些可能的实施例中，客户端在第一系统平台中，能根据宏程序中的补齐变量对指针变量所指示的数据内容进行补位，以寻址指针变量的下一变量，从而实现脚本文件对应的离线模型的生成操作和/或解析操作。第二方面，本专利技术实施例提供了一种模型处理装置，该模型处理装置包括用于执行上述第一方面的方法的单元。第三方面，本专利技术实施例提供了一种客户端，包括处理器、存储器以及总线，所述处理器和所述存储器通过所述总线连接，所述存储器用于存储指令，所述处理器用于调用所述存储器中存储的指令，用于执行上述第一方面的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。通过实施本专利技术实施例，能够在任意位机的系统平台上实现离线模型的生成和/或解析操作，从而有利于离线模型的推广，提升离线模型的利用率和实用性。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种模型操作方法的流程示意图。图2是本专利技术实施例提供的一种模型操作装置的结构示意图。图3是本专利技术实施例提供的一种客户端的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。首先，介绍本申请涉及的一些技术术语或技术概念。机器学习库(cambriconneuwaremachinelearninglibrary，CNML)，用于提供一套高效、通用、灵活、可扩展的编程接口，支持在人工智能处理器(machineleaningunit，MLU)上加速各种深度学习算法或机器学习算法，且还可用于生成离线模型。具体的，在CNML编译阶段，客户端可通过第一脚本文件采用宏程序的方式控制或指示调用CNML库中的宏程序生成离线模型。运行时库(cambriconneuwareruntimelibrary，CNRT)，用于提供一套面向MLU设备的高级(high-level)接口，用于完成主机和MLU设备之间的交互，且还可用于解析离线模型。具体的，在CNRT运行阶段，客户端可通过第二脚本文件采用宏程序的方式控制或指示调用CNRT中的宏程序来解析离线模型，使得离线模型中的模型参数、初始条件等信息可以公式、方程式和不等式等形式来表示。在实际应用中，为满足不同客户的实际需求，客户端需设计不同的脚本文件来实现，通常针对每个客户而言其需设计一个脚本文件。换句话说，针对同一个客户而言，本申请上文中CNML编译阶段和CNRT运行阶段客户端对应所使用的第一脚本文件和第二脚本文件具体可为该客户定制的一个脚本文件。该脚本文件中包括有编译好的组成该离线模型的至少一个数据结构体，以保证离线模型在任一系统平台中的生成过程和解析过程一致。为方便描述，本申请将“第一脚本文件”和“第二脚本文件”均统称为“脚本文件”。离线模型，指序列化已编译好的算子，并承载于离线文件中。在实际应用中，该离线模型以离线文件的形式保存，其具体由编译好的至少一个数据结构体组成，该数据结构体中包括有组成离线模型的相关信息。以离线模型为神经网络模型为例，该数据结构体中包括有诸如卷积层、池化层、激活层等网络层的权值和权值等信息。可选地，该离线模型(或数据结构体)中还可包括离线模型的版本信息、运行指令信息以及其他数据信息等，本申请不做限定。其次，为解决现有技术中存在的问题：无法在任意机位的系统平台中实现离线模型的生成或解析操作，本申请特提出一种模型操作方法以及该方法适用的客户端。请参见图1，是本专利技术实施例提供的一种模型操作方法的流程示意图。如图1所示的模型操作方法，包括如下实施步骤：步骤S102、客户端获取离线模型适用的脚本文件，该脚本文件中指示有运行离线模型的第一系统平台，该离线本文档来自技高网...

【技术保护点】
1.一种模型操作方法，其特征在于，所述方法包括：获取离线模型适用的脚本文件，所述脚本文件中指示有运行所述离线模型的第一系统平台，所述离线模型为预先在第二系统平台中设计好的；根据所述脚本文件，在所述第一系统平台中完成所述离线模型的生成操作和/或解析操作。

【技术特征摘要】
1.一种模型操作方法，其特征在于，所述方法包括：获取离线模型适用的脚本文件，所述脚本文件中指示有运行所述离线模型的第一系统平台，所述离线模型为预先在第二系统平台中设计好的；根据所述脚本文件，在所述第一系统平台中完成所述离线模型的生成操作和/或解析操作。2.根据权利要求1所述的方法，其特征在于，所述脚本文件指示有包括至少一个指针变量在内的宏程序，所述宏程序用于实现所述离线模型的生成操作和/或解析操作，当所述第一系统平台支持的比特位和所述第二系统平台支持的比特位不同时，所述宏程序中还包括补齐变量，所述补齐变量用于对所述指针变量所指示的数据内容进行补位，以寻址所述指针变量的下一个变量。3.根据权利要求2所述的方法，其特征在于，所述指针变量的大小未在所述宏程序中定义。4.根据权利要求2所述的方法，其特征在于，所述补齐变量的大小为nbit，所述补齐变量的数量为(M-n)/n个，M为所述第二系统平台支持的比特位。5.根据权利要求4所述的方法，其特征在于，M＝64、n＝32。6.根据权利要求2所述的方法，其特征在于，所述根据所述脚本文件，在所述系统平台中完成所述离线模型的生成操作和/或解析操作，包括：在所述第一系统平台中，根据所述宏程序中的所述补齐变量对所述指针变量所指示的数据内容进行补位，以寻址所述指针变量的下一个变量，从而实现所述脚本文件对应的所述离线模型的生成操作和/或解析操作。7.一种模型处理装置，其特征在于，包括通信模块和处理模块，其中，所述通信模块，用于获取离线模型适用的脚本文件，所述脚本文件中指示有运行所述离线模型的第一...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：北京中科寒武纪科技有限公司，
类型：发明
国别省市：北京,11