【技术实现步骤摘要】
本专利技术涉及适用于硬件设备、硬件平台、操作系统上的人工智能推理部署，特别涉及一种基于队列的分布式通用人工智能推理部署方法，尤其是一种基于图像视频推理的通用方法。
技术介绍
1、人工智能日益火爆，各种新的思路、技术、算法、模型层出不穷，但更多的处于实验室或演示阶段，距离实际落地部署还要经历很多工业化的过程；虽然有些公司提供了自己的部署解决方案，但受限于产品形态和该公司的技术栈，运行环境千差万别，并不具备足够的灵活性；随着新算法的不断涌现和模型的不断优化，人工智能推理部署是一个不断迭代、演变的过程。最终用户需求的多样性需要一种兼容性强、可灵活扩展的人工智能推理部署方法。
技术实现思路
1、鉴于现有的人工智能部署现状，本专利技术提供一种基于队列的分布式通用人工智能推理部署方法。主要涉及视频或图片的接入、处理、发布的全流程。
2、本专利技术采取的技术方案是：一种基于队列的分布式通用人工智能推理部署方法，所述方法涉及人工智能系统的推理任务、一个或多个的输入节点、推理节点、输出节点、消息队列；所述人工智能系统的推理任务被分布到一个或多个的输入节点、推理节点、输出节点上进行处理；输入节点、推理节点、输出节点之间采用消息队列来进行推理任务的调度和协调；输入节点、推理节点和输出节点部署在不同的硬件设备、硬件平台、操作系统上。
3、本专利技术所产生的有益效果是：基于队列的分布式通用人工智能推理部署方法是一种兼容性强、可灵活扩展的人工智能推理部署方法。将人工智能系统的推理任务分
本文档来自技高网...【技术保护点】
1.一种基于队列的分布式通用人工智能推理部署方法，其特征在于，所述方法涉及人工智能系统的推理任务、一个或多个的输入节点、推理节点、输出节点、消息队列；所述人工智能系统的推理任务被分布到一个或多个的输入节点、推理节点、输出节点上进行处理；输入节点、推理节点、输出节点之间采用消息队列来进行推理任务的调度和协调；输入节点、推理节点和输出节点部署在不同的硬件设备、硬件平台、操作系统上。
2.根据权利要求1所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，所述推理任务是将IPC摄像头采集的视频、本地的媒体文件通过人工智能推理算法，识别出目标物体的原始信息，原始信息数据通过输入节点、推理节点、输出节点进行处理。
3.根据权利要求2所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，人工智能推理算法采用Faster R-CNN或YOLO系列算法，对目标物体进行检测。
4.根据权利要求3所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，输入节点处理流程执行以下操作：初始化硬件环境，连接消息队列服务；读取媒体文件、网络IP
5.根据权利要求4所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，推理节点处理流程执行以下操作：初始化硬件环境，加载模型模拟算法，连接消息队列服务；订阅特定的主题，将收到的图片信息反序列化，获取元数据和JPEG图像；经过JPEG解码为原始图片信息，对原始图片信息进行分类、检测、分割操作，获取推理结果；对推理结果添加元数据，经过序列化后为推理结果信息，通过消息队列服务发布在特定的主题上发布。
6.根据权利要求5所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，输出节点处理流程执行以下操作：初始化硬件环境，连接消息队列服务，订阅特定的主题，提取推理结果信息进行后处理，将处理后的推理结果信息保存、推流、http输出，进行业务处理。
7.根据权利要求6所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，采用Protobuf v3格式来进行序列化和反序列化，所述Protobuf v3格式包含消息类型、数据类型、字段和字段的唯一标识，字段为图片序号，图片发送时刻的时间戳，JPEG压缩后的图片信息，图片序号和图片发送时刻时间戳的数据类型为uint64，图片信息的数据类型为bytes。
8.根据权利要求7所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，输入节点、推理节点和输出节之间的通信采用TCP/IP通信，通信格式采用统一的自定义的序列化信息。
9.根据权利要求8所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，消息队列利用观察者模式，以降低节点间的耦合，实现人工智能推理部署时输入、推理、输出的无关性。
...【技术特征摘要】
1.一种基于队列的分布式通用人工智能推理部署方法，其特征在于，所述方法涉及人工智能系统的推理任务、一个或多个的输入节点、推理节点、输出节点、消息队列；所述人工智能系统的推理任务被分布到一个或多个的输入节点、推理节点、输出节点上进行处理；输入节点、推理节点、输出节点之间采用消息队列来进行推理任务的调度和协调；输入节点、推理节点和输出节点部署在不同的硬件设备、硬件平台、操作系统上。
2.根据权利要求1所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，所述推理任务是将ipc摄像头采集的视频、本地的媒体文件通过人工智能推理算法，识别出目标物体的原始信息，原始信息数据通过输入节点、推理节点、输出节点进行处理。
3.根据权利要求2所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，人工智能推理算法采用faster r-cnn或yolo系列算法，对目标物体进行检测。
4.根据权利要求3所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，输入节点处理流程执行以下操作：初始化硬件环境，连接消息队列服务；读取媒体文件、网络ipc摄像头图片信息，对图片信息进行预处理后，编码为jpeg图像，添加元数据为图像信息；将图像信息通过消息队列服务在特定的主题上发布。
5.根据权利要求4所述的一种基于队列的分布式通用人工智能推理部署方法，其特征在于，推理节点处理流程执行以下操作：初始化硬件环境，加载模型模拟算法，...
【专利技术属性】
技术研发人员：孙盼盼，路峻巍，郭智勇，秦嗣波，邹华勇，李世凯，李博美，徐甜，马奔，赵冀，张志圆，陈广通，徐小华，
申请(专利权)人：天津七一二移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。