图像信息处理方法及服务器技术

本申请公开了一种图像信息处理方法及服务器。该方法包括所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作，其中，所述图形处理器用于在服务器中接收用户请求，以及在服务器中通过运行深度学习网络模型处理所述用户请求。本申请解决了模型运行效率较低的技术问题。本申请可提高资源利用率。

【技术实现步骤摘要】
图像信息处理方法及服务器
本申请涉及计算机视觉
，具体而言，涉及一种图像信息处理方法及服务器。
技术介绍
深度学习的发展和深层次网络的出现大大增加了计算机视觉领域的图片分类和物体识别的准确率，并加速了计算机视觉领域的发展。应用到现实场景中时，不管是服务器端还是移动端，在准确率达到一定标准的同时，模型的处理效率和资源利用率也是一个同样重要的标准。针对相关技术中模型运行效率较低的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种图像信息处理方法及服务器，以解决模型运行效率较低的问题。为了实现上述目的，根据本申请的一个方面，提供了一种图像信息处理方法。根据本申请的图像信息处理方法，在服务器部署多个图形处理器，所述方法包括：所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作，其中，所述图形处理器用于在服务器中接收用户请求，以及在服务器中通过运行深度学习网络模型处理所述用户请求。进一步地，所述预设应用程序编程接口包括：PyCUDA。进一步地，所述深度学习推理框架包括：TensorRT。进一步地，所述在服务器中通过运行深度学习网络模型处理所述用户请求包括：经过训练的模型。进一步地，所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作包括：判断图形处理器是否可用；如果判断图形处理器为可用，则通过深度学习推理框架从可用的多个所述图形处理器中选择出用于加载深度学习网络模型的预设图形处理器。进一步地，所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作包括：判断图形处理器是否可用以及可用的个数；如果判断图形处理器为可用，则通过深度学习推理框架在可用的多个所述图形处理器中加载统一的深度学习网络模型。进一步地，所述图形处理器用于在服务器中接收用户请求至少包括：网络接口调用请求。为了实现上述目的，根据本申请的另一方面，提供了一种图像信息处理服务器。根据本申请的图像信息处理服务器，部署多个图形处理器，包括：执行模块，用于通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作，其中，所述图形处理器用于在服务器中接收用户请求，以及在服务器中通过运行深度学习网络模型处理所述用户请求。进一步地，服务器还包括：第一判断单元，用于判断图形处理器是否可用；第一执行单元，用于判断图形处理器为可用时，通过深度学习推理框架从可用的多个所述图形处理器中选择出用于加载深度学习网络模型的预设图形处理器。进一步地，服务器还包括：第二判断单元，用于判断图形处理器是否可用以及可用的个数；第二执行单元，用于判断图形处理器为可用时，通过深度学习推理框架在多个所述图形处理器中加载统一的深度学习网络模型。在本申请实施例中，采用在服务器端执行的方式，通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作，达到了提高图形处理器资源利用率的目的，从而实现了提高图形处理器处理效率的技术效果，进而解决了模型运行效率较低的技术问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请第一实施例的图像信息处理方法示意图；图2是根据本申请第二实施例的图像信息处理方法示意图；图3是根据本申请第三实施例的图像信息处理方法示意图；图4是根据本申请第一实施例的图像信息处理装置示意图；图5是根据本申请第二实施例的图像信息处理装置示意图；以及图6是根据本申请第三施例的图像信息处理装置示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。如图1所示，本申请提供了的图像信息处理方法，在服务器部署多个图形处理器，该方法包括如下的步骤S102至步骤S106：步骤S102，所述图形处理器用于在服务器中接收用户请求，步骤S104，在服务器中通过运行深度学习网络模型处理所述用户请求，步骤S106，所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作。具体地，本申请通过使用预设应用程序编程接口和深度学习推理框架实现在应用计算机视觉技术去提取图片信息的现实场景中。当使用服务器接收用户请求和运行深度学习网络模型来处理请求时，GPU使用的负载均衡。当使用服务器接收图像信息和服务器中运行深度学习网络模型来提取图片信息时，GPU使用负载均衡。需要注意的是，深度学习推理框架本身目前只支持在单个GPU上运行网络模型,并不支持多GPU上同时运行同一个网络模型比如GPU集群。故，因此当服务器有多个GPU时，深度学习推理框架并不能将全部GPU资源都利用到，资源利用比例较低。但通过服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作，能够提高GPU的资源利用率。进一步可实现GPU上同时运行同一个网络模型。作为本实施例中的优选，所述预设应用程序编程接口包括：PyCUDA。PyCU本文档来自技高网...

【技术保护点】
1.一种图像信息处理方法，在服务器部署多个图形处理器，其特征在于，所述方法包括：所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作，其中，所述图形处理器用于在服务器中接收用户请求，以及在服务器中通过运行深度学习网络模型处理所述用户请求。

【技术特征摘要】
1.一种图像信息处理方法，在服务器部署多个图形处理器，其特征在于，所述方法包括：所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作，其中，所述图形处理器用于在服务器中接收用户请求，以及在服务器中通过运行深度学习网络模型处理所述用户请求。2.根据权利要求1所述的图像信息处理方法，其特征在于，所述预设应用程序编程接口包括：PyCUDA。3.根据权利要求1所述的图像信息处理方法，其特征在于，所述深度学习推理框架包括：TensorRT。4.根据权利要求1所述的图像信息处理方法，其特征在于，所述在服务器中通过运行深度学习网络模型处理所述用户请求包括：经过训练的模型。5.根据权利要求1所述的图像信息处理方法，其特征在于，所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载均衡操作包括：判断图形处理器是否可用；如果判断图形处理器为可用，则通过深度学习推理框架从可用的多个所述图形处理器中选择出用于加载深度学习网络模型的预设图形处理器。6.根据权利要求1所述的图像信息处理方法，其特征在于，所述服务器通过预设应用程序编程接口在深度学习推理框架中使用多个所述图形处理器时执行负载...

【专利技术属性】
技术研发人员：赵昊，张默，
申请(专利权)人：北京陌上花科技有限公司，
类型：发明
国别省市：北京,11