【技术实现步骤摘要】
本申请涉及远程调用技术以及人工智能领域技术，特别是指基于rpc框架的云端深度学习模型调用方法、推理方法、调用装置及推理装置。
技术介绍
1、远程过程调用(remote procedure call，rpc)指通过网络从远程计算机程序上请求服务，具体的，rpc允许程序以本地调用的方式调用远端的服务，且不需要了解底层网络技术的协议。因此，rpc框架可以很好的应用于在服务器部署神经网络算法模型(本申请中简称为推理模型)以实现推理服务，以由客户端(client)以rpc的方式进行相应推理模型提供的推理服务的远程调用。基于rpc，谷歌(google)公司开发了grpc，grpc是一个开源和通用的rpc框架。
2、目前，rpc框架应用于基于图像的推理(由于视频是由一帧帧图像构成，故，若无特殊说明，本申请中针对图像的处理等，均包括针对视频的处理)时，客户端与服务器之间的数据交互多为图片对应的矩阵数据，尤其多是rgb三通道的矩阵数据。rpc框架针对图像的数据交互，存在下述技术问题：
3、目前，基于rpc框架远程调用推理模型时，并未针对rgb三通道的图像数据的传输进行优化，客户端将图像数据作为整体数据向服务器传输，并不独立区分出rgb三通道数据进行传输，并且，经传输过程中的序列化后，服务器更难以对所接收的并反序列化的数据进行解释，难以区分出其中的rgb三通道的数据，导致服务器侧的推理模型对所接收的图像数据的适配度不佳，进而降低对图像数据推理的准确性或推理效率。
4、因此，在此背景下，如何能提供一种基于rpc框架
技术实现思路
1、鉴于现有技术的以上问题，本申请提供一种基于rpc框架的云端深度学习模型调用方法、推理方法、调用装置及推理装置，以适配多通道图像数据的传输，利于服务器的推理模型对各通道数据的接收。
2、为达到上述目的，本申请第一方面提供了一种基于rpc框架的云端深度学习模型调用方法，应用于客户端，包括：
3、获取图像数据，所述图像数据包括n通道的数据，n为大于等于2的整数；
4、将所述图像数据按照消息结构定义文件组装成消息，所述消息中的标识字段指示所述消息使用了n个字段，所述消息的n个字段中装载有n通道的图像数据；
5、将所述组装的消息序列化并发送给服务器，以调用部署在云端服务器的深度学习模型对所述图像数据进行推理。
6、由上，本申请通过消息中的标识字段指示传输的消息使用了n个字段，且该消息的n个字段中装载有n通道的图像数据的方式，可以实现将图像数据所包含的n通道的数据通过这n个字段向服务器传输，从而便于服务器据此解析出多通道的数据，以提供给服务器上推理模型的对应多通道的输入，相比
技术介绍
的方案，本申请更适用于针对例如rgb三通道或其他多通道图像向服务器的传输，更利于服务器侧的推理模型对图像的各通道数据的接收。
7、作为第一方面的一种可能的实现方式，所述消息还包括：所调用的推理模型的名称标识和所调用的推理模型的数据输入接口标识；
8、所调用的推理模型的名称标识，用于使所述服务器据此确定要调用的推理模型；
9、所调用的推理模型的数据输入接口标识，用于使所述服务器据此确定所调用的推理模型的用于获取数据的输入接口以接收所述n通道数据。
10、由上，可根据要远程调用推理模型所需内容，灵活定义消息结构。例如，服务器上若提供有多个推理模型时，可以通过该名称标识确定所调用的推理模型，并可通过该接口标识表示推理模型获取数据的接口，以使数据可以传递该推理模型。
11、作为第一方面的一种可能的实现方式，所述客户端要调用的深度学习推理模型有多个功能时，所述消息还包括：所调用的推理模型的功能标识，用于使所述服务器据此确定所调用的推理模型的所要使用的推理功能。
12、由上，服务器上若提供某一推理模型可同时提供多个功能时，可以通过该功能标识确定所调用的该推理模型的功能。
13、作为第一方面的一种可能的实现方式，所述序列化的消息以主题发送，且每条消息分配一个唯一的键，以使所述服务器能够按顺序接收其订阅的该主题的序列化的消息。
14、由上，实现了序列化消息的有序流传输，提高了数据传输的准确性。具体的，可以采用jafka协议将所述序列化的消息进行有序流形式传输，并且，相对现有的rpc或grpc采用长链接的方式进行数据传输，jafka可实现客户端和服务器的实时的双向的数据交互，这种实时的数据交互可使得客户端能够实时的得到服务器的响应，如获得推理结果等，加快了对服务器中的推理模型访问的速度。
15、本申请第二方面提供了一种基于rpc框架的云端深度学习模型推理方法，应用于服务器，包括：
16、接收客户端发送的序列化的消息并反序列化；
17、根据消息结构定义文件解析反序列化后的消息，所述解析反序列化后的消息的标识字段指示所述消息使用了n个字段，所述消息的n个字段中装载有n通道的图像数据；
18、将所述n通道的图像数据输入给所述客户端调用的深度学习推理模型的n通道，以调用所述深度学习模型对所述图像数据并进行推理。
19、由上，本申请可以实现图像数据所包含的多通道的数据分别通过不同的字段传输，从而服务器可解析出多通道的数据，以由推理模型的对应多通道的输入。由于图像的推理适用于多通道的推理模型，因此本申请的基于rpc框架的云端深度学习模型推理方法适用于多通道图像，例如rgb三通道图像等的传输。
20、作为第二方面的一种可能的实现方式，所述消息还包括所调用的推理模型的名称标识和所调用的推理模型的数据输入接口标识；
21、将所述n通道的图像数据输入给所述客户端调用的深度学习推理模型的n通道，以调用所述深度学习模型对所述图像数据并进行推理，包括：
22、根据所述消息中推理模型的名称标识，确定所述客户端要调用的深度学习推理模型；根据所调用的推理模型的数据输入接口标识，确定所述客户端要调用的深度学习推理模型用于获取数据的输入接口；
23、将所述n通道的图像数据输入给所述名称标识对应的深度学习推理模型的输入接口，调用所述深度学习模型对所述图像数据并进行推理。
24、作为第二方面的一种可能的实现方式，所述客户端要调用的深度学习推理模型有多个功能时，所述消息还包括调用的推理模型的功能标识，根据所述消息中推理模型的名称标识，确定所述客户端要调用的深度学习推理模型包括：
25、根据所述消息中推理模型的名称标识和推理模型的功能标识，确定所述客户端要调用的深度学习推理模型和所要使用的推理功能。
26、作为第一或第二方面的一种可能的实现方式，所述图像数据包括n通道的数据包括以下之一：
27、所述图像数据包括二通道的数据本文档来自技高网...
【技术保护点】
1.一种基于RPC框架的云端深度学习模型调用方法，应用于客户端，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述消息还包括：所调用的推理模型的名称标识和所调用的推理模型的数据输入接口标识；
3.根据权利要求2所述的方法，其特征在于，所述客户端要调用的深度学习推理模型有多个功能时，所述消息还包括：所调用的推理模型的功能标识，用于使所述服务器据此确定所调用的推理模型的所要使用的推理功能。
4.根据权利要求3所述的方法，其特征在于，所述序列化的消息以主题发送，且每条消息分配一个唯一的键，以使所述服务器能够按顺序接收其订阅的该主题的序列化的消息。
5.一种基于RPC框架的云端深度学习模型推理方法，应用于服务器，其特征在于，包括：
6.根据权利要求5所述的方法，其特征在于，所述消息还包括所调用的推理模型的名称标识和所调用的推理模型的数据输入接口标识；
7.根据权利要求6所述的方法，其特征在于，所述客户端要调用的深度学习推理模型有多个功能时，所述消息还包括调用的推理模型的功能标识，根据所述消息中推理模型
8.根据权利要求1至7任一项所述的方法，其特征在于，所述图像数据包括n通道的数据包括以下之一：
9.一种基于RPC框架的云端深度学习模型调用装置，应用于客户端，其特征在于，包括：
10.一种基于RPC框架的云端深度学习模型推理装置，应用于服务器，其特征在于，包括：
...【技术特征摘要】
1.一种基于rpc框架的云端深度学习模型调用方法，应用于客户端，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述消息还包括：所调用的推理模型的名称标识和所调用的推理模型的数据输入接口标识；
3.根据权利要求2所述的方法，其特征在于，所述客户端要调用的深度学习推理模型有多个功能时，所述消息还包括：所调用的推理模型的功能标识，用于使所述服务器据此确定所调用的推理模型的所要使用的推理功能。
4.根据权利要求3所述的方法，其特征在于，所述序列化的消息以主题发送，且每条消息分配一个唯一的键，以使所述服务器能够按顺序接收其订阅的该主题的序列化的消息。
5.一种基于rpc框架的云端深度学习模型推理方法，应用于服务器，...
【专利技术属性】
技术研发人员：刘骁哲，
申请(专利权)人：北京东土科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。