一种基于事件驱动的智能服务弹性部署系统技术方案

本发明专利技术公开了一种基于事件驱动的智能服务弹性部署系统，该智能服务弹性部署系统包括：图像采集模块、智能服务消费者模块、智能服务协议传输模块及智能服务提供者模块；所述图像采集模块，用于图像及视频的采集和编解码；所述智能服务消费者模块，用于利用智能服务统一接口及编程语言进行业务研发；所述智能服务协议传输模块，用于利用E

【技术实现步骤摘要】
一种基于事件驱动的智能服务弹性部署系统


[0001]本专利技术涉及计算机通信传输协议及软件框架领域，具体来说，涉及一种基于事件驱动的智能服务弹性部署系统。

技术介绍

[0002]当下时代，基于深度学习的人工智能技术被广泛地应用于各行各业地生产实践中，包括制造业、工业、社会安防等。由于人工智能技术是以数据作为生产资料、算力作为生产力的新型技术，区别于传统的计算机信息化系统，所以跨平台、可扩展、通用等需求一直是智能服务（AI Service）落地的强大阻碍。人工智能服务部署方案可以通过两个角度进行分类，第一是以基于部署的硬件环境进行分类，例如，TensorFlow官方、Pytorch官方等都提出各自的推理服务接口和模型文件格式，这些推理方案通常基于的是HTTP协议，除此之外，深度学习框架也为模型制定了各自的模型格式标准，例如TensorFlow采用pb格式文件、Pytorch采用pt或pth格式文件，Keras提供了h5格式文件，由于不同的模型文件格式互补兼容，加剧了模型部署的难度和牺牲了模型部署的灵活性。
[0003]ONNX（Open Neural Network Exchange）是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型，它使得不同的人工智能框架（如Pytorch、MXNet）可以采用相同格式存储模型数据并交互。目前官方支持加载ONNX模型并进行推理的深度学习框架有：Caffe2、PyTorch、MXNet、ML.NET、TensorRT及Microsoft CNTK，并且TensorFlow也非官方的支持ONNX，ONNX在一定程度上解决了模型格式不统一的问题，缓解了模型部署的压力，然而，不断有新的算子提出，ONNX的更新远远不能够满足最新的模型表达和存储。
[0004]目前，现有的模型部署通常采用的方式是通过Python编程语言根据深度学习框架提供的接口编写智能应用服务接口，但是由于智能模型的推理和运行强烈依赖硬件环境，只有适合对应的硬件环境才能够实现较高效的性能。然而，智能服务部署的过程中极容易发生硬件环境的变化，比如操作系统的变化、CPU架构的变化、计算芯片架构发生变化，导致智能服务部署失败或以极低效率的方式进行运行，最终导致服务不可用，此外，在系统运行地过程中需要不断加入新的智能应用服务，由于应用端和服务提供端是不同人员或机构开发的，因此无法对现有的系统服务进行扩展，必须对当前系统版本进行大范围的升级，在升级的过程中需要停止现有的服务，无法做到热部署。
[0005]除此之外，以上现有的各种模型部署技术都非常青睐于硬件环境，即都是为了适配各种不同硬件算力而研发的技术，不仅没有面向工业落地服务进行优化，导致在实际部署中遇到非常难以解决的问题，且问题通常需要重复解决，极大地浪费研发精力，滞后工业智能服务落地。
[0006]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0007]针对相关技术中的问题，本专利技术提出一种基于事件驱动的智能服务弹性部署系
统，以克服现有相关技术所存在的上述技术问题。
[0008]为此，本专利技术采用的具体技术方案如下：一种基于事件驱动的智能服务弹性部署系统，该智能服务弹性部署系统包括：图像采集模块、智能服务消费者模块、智能服务协议传输模块及智能服务提供者模块；所述图像采集模块，用于图像及视频的采集，并将采集的图像及视频传输至智能服务消费者模块；所述智能服务消费者模块，用于利用智能服务统一接口及编程语言进行业务研发；所述智能服务协议传输模块，用于利用E
‑
AI
‑
SEP协议在服务系统之间进行整合部署及扩展，并根据系统场景进行定制化分发；所述智能服务提供者模块，用于对模型进行推理并开放智能服务统一接口。
[0009]进一步的，所述智能服务提供者模块包括模型推理模块及智能服务统一接口模块；所述模型推理模块，用于对深度学习框架训练得到的模型进行推理；所述智能服务统一接口模块，用于利用策略模式对模型推理进行封装并对模型推理步骤进行调整及热插拔；其中，所述智能服务统一接口包括分类信息接口、目标检测接口、图像分割接口、人体姿态估计接口及物体追踪接口。
[0010]进一步的，所述对深度学习框架训练得到的模型进行推理包括以下步骤：预置深度学习框架，并利用深度学习框架提供常用智能服务；获取扩展接口，并通过扩展接口进行进一步定制化。
[0011]进一步的，所述深度学习框架包括ONNX框架、OpenVINO框架及TensorRT框架；其中，所述ONNX框架表示跨平台的模型推理框架；所述OpenVINO框架表示CPU加速工具库；所述TensorRT框架表示适应图形图像处理单元的模型推理工具。
[0012]进一步的，所述常用智能服务包括图像分类、目标检测、图像分割、多目标追踪、文本分类及语音识别服务。
[0013]进一步的，所述利用E
‑
AI
‑
SEP协议在服务系统之间进行整合部署及扩展，并根据系统场景进行定制化分发包括以下步骤：服务端设置协议交换类型；按照协议交换类型指定开放多个接口，并启动服务端；客户端采用不同的编程接口接入算法服务；客户端在接入算法服务后，进行算法请求与响应。
[0014]进一步的，所述E
‑
AI
‑
SEP协议支持数据格式为JSON、二进制流及RTSP/RTMP视频流数据格式。
[0015]进一步的，所述协议交换类型包括JSON交换类型、ALGO交换类型、UNIX交换类型及REST交换类型；其中，JSON交换类型表示服务端及客户端之间通过JSON数据格式进行发送请求和响应请求；
ALGO交换类型表示服务端及客户端之间通过系统指定的抽象格式；UNIX交换类型表示在同一主机之间进行数据二进制流的高速数据交换；REST交换类型表示用HTTP/HTTPS协议，并使用POST请求和GET请求进行算法服务请求。
[0016]进一步的，所述按照协议交换类型指定开放多个接口，并启动服务端包括以下步骤：按照协议交换类型针对不同的应用平台开放多个接口；在接口开放完成后，启动服务端。
[0017]进一步的，所述客户端在接入算法服务后，进行算法请求与响应包括以下步骤：客户端根据与服务端约定的编程接口进行算法请求发送；对发送的消息抽象及接收的消息抽象进行封装；获取算法的结果格式，并根据结果格式对客户端的下游业务进行服务。
[0018]本专利技术的有益效果为：1、本专利技术能够详细的制定相关协议和标准，完成智能服务在不同平台上地集群部署，该部署方式具备可扩展性、弹性及高效等优点。
[0019]2、本专利技术通过面相服务应用的角度构建了一个新的智能服务系统，制定了通信协议和算法抽象模型，并且能够通过智能服务系统便于进行系统服务部署，并进行渐进式的扩展。
[0020]3、本专利技术能够对各种不同的模型推理引擎进行底层抽象，用户开发无需进行关注特定计算引擎的细节，只本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件驱动的智能服务弹性部署系统，其特征在于，该智能服务弹性部署系统包括：图像采集模块、智能服务消费者模块、智能服务协议传输模块及智能服务提供者模块；所述图像采集模块，用于图像及视频的采集，并将采集的图像及视频传输至智能服务消费者模块；所述智能服务消费者模块，用于利用智能服务统一接口及编程语言进行业务研发；所述智能服务协议传输模块，用于利用E
‑
AI
‑
SEP协议在服务系统之间进行整合部署及扩展，并根据系统场景进行定制化分发；所述智能服务提供者模块，用于对模型进行推理并开放智能服务统一接口。2.根据权利要求1所述的一种基于事件驱动的智能服务弹性部署系统，其特征在于，所述智能服务提供者模块包括模型推理模块及智能服务统一接口模块；所述模型推理模块，用于对深度学习框架训练得到的模型进行推理；所述智能服务统一接口模块，用于利用策略模式对模型推理进行封装并对模型推理步骤进行调整及热插拔；其中，智能服务统一接口包括分类信息接口、目标检测接口、图像分割接口、人体姿态估计接口及物体追踪接口。3.根据权利要求2所述的一种基于事件驱动的智能服务弹性部署系统，其特征在于，所述对深度学习框架训练得到的模型进行推理包括以下步骤：预置深度学习框架，并利用深度学习框架提供常用智能服务；获取扩展接口，并通过扩展接口进行进一步定制化。4.根据权利要求3所述的一种基于事件驱动的智能服务弹性部署系统，其特征在于，所述深度学习框架包括ONNX框架、OpenVINO框架及TensorRT框架；其中，所述ONNX框架表示跨平台的模型推理框架；所述OpenVINO框架表示CPU加速工具库；所述TensorRT框架表示适应图形图像处理单元的模型推理工具。5.根据权利要求4所述的一种基于事件驱动的智能服务弹性部署系统，其特征在于，所述常用智能服务包括图像分类、目标检测、图像分割、多目标追踪、文本分类及语...

【专利技术属性】
技术研发人员：刘鹏，张真，张堃，王美民，江兴斌，
申请(专利权)人：南京云创大数据科技股份有限公司，
类型：发明
国别省市：