【技术实现步骤摘要】
本申请涉及人工智能领域，尤其涉及一种算子编译方法及装置。
技术介绍
1、人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，1956年由约翰·麦卡锡首次提出。人工智能的目的就是让机器能够像人一样思考，让机器拥有智能。时至今日，人工智能的内涵已经大大扩展，以深度强化学习及大数据为基础，由卷积神经网络模型与参数训练技巧的进步、硬件计算能力突破摩尔定律提供可观的计算能力以及互联网加上海量大数据集等多方面的因素推动，在文本分类(text classification)，序列标注(sequence labeling)，神经机器翻译(neuralmachine translation)，关系抽取(relation extraction)，事件抽取(eventextraction)，图像分类(image classification)，视觉推理(visual reasoning)，语义分割(semantic segmentation)等众多领域都有了一些应用。
2、开发者或研究人员可以设计不同的人工智能(artificial intelligence，ai)模型，比如人脸识别模型、语音识别模型等。每次执行ai模型的过程之前，都需要对ai模型以及ai模型对应的算子进行编译，形成可执行的二进制文件。由于一个ai模型对应多个算子，对ai模型编译后得到的模型文件中包括多个算子的二进制文件，导致模型文件太大，会占用较多内存。且其中的一个算子更新，需要对整个ai模型以及ai模型中的其他多个算子进行编
3、因此，如何降低ai模型的模型文件的大小，以及避免重复编译，减少不必要的资源浪费，是本领域技术人员亟需解决的技术问题。
技术实现思路
1、本申请提供一种算子编译方法及装置，用于降低ai模型的模型文件的大小，避免重复编译，减少不必要的资源浪费，有助于提高执行模型的速度。
2、第一方面，本申请提供一种算子编译方法，该方法包括：第一设备获取第一执行文件，并向第二设备发送第一执行文件，该第一执行文件是编译第一算子得到的二进制文件；第一设备获取模型文件，并向第二设备发送模型文件，该模型文件是编译人工智能ai模型得到的二进制文件，模型文件中包括第一执行文件的执行逻辑。
3、其中，第一设备可以理解为主机设备，用于获取和部署模型文件和第一执行文件；第二设备可以理解为终端设备，用于部署和执行模型文件和第一执行文件。第一设备和第二设备通信交互模型文件和第一执行文件的过程，可以理解为部署模型文件和第一执行文件的过程。
4、本申请实施例中，第一算子可以包括一个或多个算子。
5、在该方法中，第一设备将算子的可执行文件和ai模型的模型文件分别部署到第二设备中。如此，第一设备将算子的可执行文件设置于ai模型的模型文件之外，可以有效降低ai模型的模型文件大小，便于对算子和ai模型进行更新管理，避免了大量重复编译，减少了资源浪费，且有助于提高ai模型的执行速度。
6、在一种可能的实现方式中，第一设备接收用户指令，该用户指令用于指示将第一执行文件放入模型文件中；相应的，第一设备获取模型文件，包括：第一设备响应于用户指令，将第一执行文件放入模型文件中。在该实现方式中，用户可以灵活选择是否将第一算子对应的可执行文件(即第一执行文件)放入模型文件中。
7、在一种可能的实现方式中，第一设备接收用户输入的第二算子，获取第二执行文件，第二执行文件是编译第二算子得到的二进制文件；第一设备将第二执行文件放入模型文件中。可以理解的是，第二算子即用户自定义的算子，以及第二算子可以包括一个或多个算子。也就是说，第一设备可以接收用户自定义的算子，以及获取该算子对应的可执行文件，并将该可执行文件放入模型文件中。如此用户可以根据实际需求定制模型文件，以适应于其业务需求。
8、在一种可能的实现方式中，第一设备还可以接收来自第二设备的第一请求信息，第一请求信息用于请求第一执行文件。第一设备(即主机设备)向第二设备(即终端设备)部署第一可执行文件之前，终端设备可以主动向主机设备请求第一可执行文件。例如，第二设备可以在执行模型文件时或者第二设备的缓存中未存储第一执行文件时，向第二设备发送第一请求信息。
9、在一种可能的实现方式中，上述方法还包括：第一设备接收来自第二设备的业务指令，业务指令用于指示第一算子的业务参数；第一设备根据第一算子的业务参数，对第一执行文件进行更新。如此，第一设备根据第一算子的业务参数，对第一算子的可执行文件(即第一执行文件)进行更新，使得第一算子的可执行文件与用户需求的业务参数适配，进而可以有效提升第一执行文件的性能，使得相关业务可以更快地被执行。
10、进一步的，在一种可能的实现方式中，第一设备对第一执行文件进行更新之后，所述方法还包括：第一设备接收来自第二设备的第二请求信息，第二请求信息用于请求更新后的第一执行文件；第一设备将更新后的第一执行文件发送至第二设备。第二设备可以主动向第一设备请求更新后的第一执行文件。
11、在另一种可能的实现方式中，所述方法还包括：第一设备周期性地对第一执行文件进行更新，并将更新后的第一执行文件发送至第二设备。如此，第一设备可以周期性地对第一执行文件进行更新，并将更新后的第一执行文件发送至第二设备，使得第二设备中第一算子的可执行文件可以及时更新。
12、第二方面，本申请提供一种算子编译方法，该方法包括：第二设备接收来自第一设备的第一执行文件，第一执行文件是编译第一算子得到的二进制文件；第二设备接收来自第一设备的模型文件，该模型文件是编译ai模型得到的二进制文件。
13、在一种可能的实现方式中，第二设备解析模型文件，得到第一执行文件的执行逻辑；第二设备根据第一执行文件的执行逻辑，执行第一执行文件。
14、在一种可能的实现方式中，第二设备接收来自第一设备的第一执行文件之前，所述方法还包括：第二设备的缓存中未存储第一执行文件时，第二设备向第一设备发送第一请求信息，第一请求信息用于请求第一执行文件。
15、在一种可能的实现方式中，第二设备可以向第一设备发送业务指令，该业务指令用于指示第一算子的业务参数，第一算子的业务参数用于对第一执行文件进行更新。
16、在一种可能的实现方式中，所述方法还包括：第二设备向第一设备发送第二请求信息，第二请求信息用于请求更新后的第一执行文件；第二设备从第二设备接收更新后的第一执行文件。
17、在一种可能的实现方式中，所述方法还包括：第二设备周期性地从第一设备接收更新后的第一执行文件。
18、第三方面，本申请提供一种算子编译装置，该装置可以应用于第一设备。
19、作为一种示例，该装置包括：
20、处理模块，用于获取第一执行文件，第一执行文件是编译第一算子得到的二进制文件；
21、通信模块，用于向本文档来自技高网...
【技术保护点】
1.一种算子编译方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
6.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
7.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
8.一种算子编译方法，其特征在于，包括：
9.如权利要求8所述的方法，其特征在于，所述方法还包括：
10.如权利要求8或9所述的方法，其特征在于，第二设备接收来自第一设备的第一执行文件之前，所述方法还包括：
11.如权利要求8-10任一项所述的方法，其特征在于，所述方法还包括：
12.如权利要求8-11任一项所述的方法，其特征在于，所述方法还包括：
13.如权利要求8-11任一项所述的方法，其特征在于，所述方法还
14.一种算子编译装置，其特征在于，应用于第一设备，包括：
15.如权利要求14所述的装置，其特征在于，
16.如权利要求14或15所述的装置，其特征在于，
17.如权利要求14-16任一项所述的装置，其特征在于，
18.如权利要求14-17任一项所述的装置，其特征在于，
19.如权利要求14-18任一项所述的装置，其特征在于，
20.如权利要求14-18任一项所述的装置，其特征在于，
21.一种算子编译装置，其特征在于，应用于第二设备，包括：
22.如权利要求21所述的装置，其特征在于，还包括处理模块，
23.如权利要求21或22所述的装置，其特征在于，还包括存储模块；
24.如权利要求21-23任一项所述的装置，其特征在于，所述通信模块，还用于：
25.如权利要求21-24任一项所述的装置，其特征在于，
26.如权利要求21-24任一项所述的装置，其特征在于，
27.一种计算装置，其特征在于，所述计算装置包括处理器和存储器，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码以执行如权利要求1至7中任一项所述方法或8至13中任一项所述方法。
28.一种计算系统，其特征在于，包括用于执行如权利要求1至7中任一项所述方法的第一设备，以及用于执行如权利要求8至13任一项所述方法的第二设备。
...【技术特征摘要】
1.一种算子编译方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
6.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
7.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
8.一种算子编译方法，其特征在于，包括：
9.如权利要求8所述的方法，其特征在于，所述方法还包括：
10.如权利要求8或9所述的方法，其特征在于，第二设备接收来自第一设备的第一执行文件之前，所述方法还包括：
11.如权利要求8-10任一项所述的方法，其特征在于，所述方法还包括：
12.如权利要求8-11任一项所述的方法，其特征在于，所述方法还包括：
13.如权利要求8-11任一项所述的方法，其特征在于，所述方法还包括：
14.一种算子编译装置，其特征在于，应用于第一设备，包括：
15.如权利要求14所述的装置，其特征在于，
1...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。