一种用于人工智能算法模型试用的交互装置制造方法及图纸

本发明专利技术涉及一种用于人工智能算法模型试用的交互装置，包括：模型调度服务中间件，用于部署推理服务；模型试用界面组件用于基于部署推理服务进行算法模型试用界面的设置和发布，并通过显示界面向用户展示算法模型试用界面，接受用户发送的试用请求信息；模型试用逻辑中间件，用于对模型试用进行定义管理，并对用户的试用请求信息进行处理；模型调度服务中间件还用于接收试用请求信息，根据需要伸缩和调度推理服务资源；容器集群，用于提供容器运行环境和服务器资源管理；为算法供应商提供一种低开发成本实现多种类人工智能模型展示与试用的装置，并实现了资源的按需使用，在多种类、低频次调用的场景下，仍可保证较低资源占用。仍可保证较低资源占用。仍可保证较低资源占用。

【技术实现步骤摘要】
一种用于人工智能算法模型试用的交互装置


[0001]本专利技术涉及计算机
，尤其涉及一种用于人工智能算法模型试用的交互装置。

技术介绍

[0002]随着人工智能技术的高速发展和广泛应用，大量的企业和个人开发者投入到了人工智能算法模型的开发工作之中。人工智能算法模型一般以数据文件方式存在，通过推理引擎加载执行，对外提供命令行或编程接口，以便上层应用集成。这种存在形式对于开发者而言是友好的，然而对于最终用户而言并不友好，因为它不能提供端到端的交互式用户体验以及图形化的操作方式。算法模型开发者开发出人工智能算法模型之后，为了向最终用户展示算法模型的效果，往往需要应用开发者配合，为算法模型开发一套用于展示或试用的图形界面，才能让最终用户直观感受到算法模型的端到端使用效果。这就为算法模型开发带来了额外的时间和成本开销，也使得算法开发者无法专注于核心技术工作。对于从事配合工作的应用开发者而言，反复开展这种“一事一议”的展示或试用界面开发也会因为代码代码复用性差而造成浪费。
[0003]尽管随着TensorFlow Serving、ONNX Runtime Server等标准化推理引擎的流行，在其基础上封装通用的算法模型展示或试用图形界面成为可能，然而事实上从标准的推理引擎到通用的展示与试用工具还有相当多的技术问题需要解决。例如：(1)针对输入输出格式及交互模式各异的算法模型，如何以一套统一的框架涵盖其差异化的需求，对框架设计者而言是一个挑战；(2)面向展示或试用的业务具有种类丰富但调用频次低的特点，如果简单使用传统常驻服务，就会因为闲置时间占比大而浪费资源。

技术实现思路

[0004]本专利技术针对现有技术中存在的技术问题，提供一种用于人工智能算法模型试用的交互装置，为算法供应商(工程师)提供一种低开发成本实现多种类人工智能模型展示与试用的装置，并实现了资源的按需使用，在多种类、低频次调用的场景下，仍可保证较低资源占用。
[0005]根据本专利技术的第一方面，提供了一种用于人工智能算法模型试用的交互装置方法，包括：模型试用界面组件、模型试用逻辑中间件、模型调度服务中间件和容器运行集群；各个算法模型封装到容器镜像并调度到所述容器集群运行；
[0006]所述模型调度服务中间件，用于基于模型提供者提供的信息部署推理服务；
[0007]所述模型试用界面组件用于基于所述部署推理服务进行算法模型试用界面的设置和发布，并通过显示界面向用户展示算法模型试用界面，接受用户发送的试用请求信息；所述算法模型试用界面展示的内容包括：模型信息、功能演示以及用户试用模型进行推理的推理结果；
[0008]所述模型试用逻辑中间件，用于对模型试用进行定义管理，并对用户的所述试用
请求信息进行处理；
[0009]所述模型调度服务中间件还用于接收所述试用请求信息，根据需要伸缩和调度推理服务资源；
[0010]所述容器集群，用于提供容器运行环境和服务器资源管理。
[0011]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0012]可选的，所述模型试用界面组件进行所述算法模型试用界面的设置和发布，包括：
[0013]选择推理服务，设置试用界面布局，设置预置素材，设置试用交互参数，发布算法模型试用界面。
[0014]可选的，所述模型试用界面组件包括：模型试用界面渲染引擎；
[0015]所述模型试用界面渲染引擎用于渲染算法模型试用界面，包括：
[0016]从所述模型试用逻辑中间件获取所述算法模型试用界面的定义，渲染所述算法模型试用界面。
[0017]可选的，所述模型试用界面组件提供交互的方式包括：Web页面方式和Rest
‑
API接口方式；
[0018]所述Web界面方式通过直观可视化的展示已有模型功能和信息实现与用户的交互；
[0019]所述Rest
‑
API接口方式通过提供编程方式的第三方接入实现与用户的交互。
[0020]可选的，所述交互终端能够同时提供多个所述算法模型的展示和试用，向用户提供算法模型列表，接受用户检索和选择试用感兴趣的所述算法模型。
[0021]可选的，所述算法模型的类型包括视频分类、图像分类、目标检测和数据预测。
[0022]可选的，所述推理结果包括所述算法模型的评估结果，所述评估结果的类型包括：准确率、精确率、召回率和F1值。
[0023]可选的，所述算法模型的样本数据来源为所述交互装置提供的样本数据试用模型服务或者用户自主提交样本数据试用模型服务。
[0024]可选的，所述推理结果的展示方式包括：图形化的标注结果以及原始JSON结果数据展示。
[0025]可选的，所述模型调度服务中间件根据需要伸缩和调度推理服务资源的过程包括：根据资源需求将所述推理服务以容器化方式运行到对应的集群节点，并根据服务负载强度自动调整服务副本数，按需使用集群资源；
[0026]没有算法模型试用时，所述服务副本数伸缩到0。
[0027]本专利技术提供的一种用于人工智能算法模型试用的交互装置，有益效果包括：
[0028](1)使得人工智能算法模型的展示与试用服务的开发变得简便且快速。只需要算法开发者经过简单的图形化、交互式操作即可完成，不需要应用开发者的参与。
[0029](2)能够支持输入输出格式及交互模式各异的多种算法模型的展示与试用，使得这类服务的开发不再“一事一议”，进而降低开发成本，避免重复开发的开销。
[0030](3)在展示与试用服务的运行时，实现了资源的按需分配和使用。在多种类、低频次调用的场景下，仍可保证较低资源占用量，从而能够有效提升资源利用率。
附图说明
[0031]图1为本专利技术提供的一种用于人工智能算法模型试用的交互装置的流程图；
[0032]图2为本专利技术提供的一种用于人工智能算法模型试用的交互装置的实施例的交互过程示意图。
具体实施方式
[0033]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0034]图1为本专利技术提供的一种用于人工智能算法模型试用的交互装置的实施例的结构示意图，图2为本专利技术提供的一种用于人工智能算法模型试用的交互装置的实施例的交互过程示意图，如图1和图2所示所示，该交互装置包括：模型试用界面组件、模型试用逻辑中间件、模型调度服务中间件和容器运行集群；各个算法模型封装到容器镜像并调度到所述容器集群运行；
[0035]所述模型调度服务中间件，用于基于模型提供者提供的信息部署推理服务；
[0036]所述模型试用界面组件用于基于所述部署推理服务进行算法模型试用界面的设置和发布，并通过显示界面向用户展示算法模型试用界面，接受用户发送的试用请求信息；所述算法模型试用界面展示的内容包括：模型信息、功能演示以及用户试用模型进行推理的推理结果；
[0037]所述模型试用逻辑中间件，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于人工智能算法模型试用的交互装置，其特征在于，所述交互装置包括：模型试用界面组件、模型试用逻辑中间件、模型调度服务中间件和容器运行集群；各个算法模型封装到容器镜像并调度到所述容器集群运行；所述模型调度服务中间件，用于基于模型提供者提供的信息部署推理服务；所述模型试用界面组件用于基于所述部署推理服务进行算法模型试用界面的设置和发布，并通过显示界面向用户展示算法模型试用界面，接受用户发送的试用请求信息；所述算法模型试用界面展示的内容包括：模型信息、功能演示以及用户试用模型进行推理的推理结果；所述模型试用逻辑中间件，用于对模型试用进行定义管理，并对用户的所述试用请求信息进行处理；所述模型调度服务中间件还用于接收所述试用请求信息，根据需要伸缩和调度推理服务资源；所述容器集群，用于提供容器运行环境和服务器资源管理。2.根据权利要求1所述的交互装置，其特征在于，所述模型试用界面组件进行所述算法模型试用界面的设置和发布，包括：选择推理服务，设置试用界面布局，设置预置素材，设置试用交互参数，发布算法模型试用界面。3.根据权利要求2所述的交互装置，其特征在于，所述模型试用界面组件包括：模型试用界面渲染引擎；所述模型试用界面渲染引擎用于渲染算法模型试用界面，包括：从所述模型试用逻辑中间件获取所述算法模型试用界面的定义，渲染所述算法模型试用界面。4.根据权利要求1所述的交互装置，其特征在于，所述模型试用界面组件提供交互的方式包括：W...

【专利技术属性】
技术研发人员：叶龙，谢冬鸣，黄进军，杨远航，廖子南，林健，
申请(专利权)人：东云睿连武汉计算技术有限公司，
类型：发明
国别省市：