一种配置化的人工智能场景应用研发方法和系统技术方案

本说明书一个或多个实施例提供了一种人工智能配置化研发的方法和系统，应用于包含多种领域场景的人工智能研发，所述配置化人工智能研发系统，包括：一、系统研发工具，是各类工具集成的功能套件，其中包括数据处理工具、模型训练工具、配置工具，提供可视化的界面操作；二、算法引擎，集成和定制了人工智能主流的和自研的各种算法框架；三、基础设施，为系统运行的环境管理，提供算力优化和运行监控。本发明专利技术通过该方法和系统，可帮助非人工智能专业人员专注于业务方案，通过配置功能，不需代码开发，即可实现数据的整理、模型的建立、模型部署与运行监控，从而可快速实现人工智能应用系统的交付。该系统中，对人工智能应用场景进行了分类管理，对人工智能应用进行了领域的专业化设计与数据、知识的积累，从而基于场景领域的人工智能应用系统可更快速的研发交付，具备更高的专业水平。

【技术实现步骤摘要】
一种配置化的人工智能场景应用研发方法和系统1
本专利技术属于人工智能
，具体是涉及一种可通过配置化进行快速研发交付人工智能应用的方法和系统。2
技术介绍
人工智能技术迅猛发展，各种技术框架和算法不断推出，各种人工智能应用的需求也空前增多，但人工智能技术门槛高，研发成本高，缺乏行业领域数据和模型的实践积累。现有工具都需进行代码开发，需要深入理解底层算法，缺少交互式开发，缺少模型的场景管理和行业积累，缺少专家对模型的纠偏优化功能等，开发效率低，实施门槛高，成本高昂，实施周期长，这些都成为大多数企业人工智能开展的难题。目前尚未有提出有效的解决方案。3
技术实现思路
有鉴于此，本说明书提供一种配置化人工智能快速研发交付应用系统的方法、系统，实施人员只需专注于业务方案，便可在该系统中通过配置功能，不需代码开发，即可实现数据的整理、模型的建立、模型部署与运行监控，从而可快速实现人工智能应用系统的交付。为实现上述目的，本说明书提供了一种人工智能配置化研发的方法，应用于包含多种领域场景的人工智能研发。包括以下步骤：对于不同数据源，进行数据导入；通过数据处理，对导入数据源的数据，进行清洗、整合等处理；通过数据特征化，对清洗后的数据进行特征处理，如实现标准化，可调整各种特征化参数等；通过模型集管理，根据应用场景建立新的模型集或选择已有的模型集，并在该模型集下建立项目工程，对模型集参数进行管理；选择数据源，将特征化的数据根据一定规则划分为训练数据和测试数据；选择计算框架，选择算法，可组合算法，调整算法顺序和逻辑关系，建立模型；调整模型算法参数；选择目标函数，模型运行参数；通过模型训练，训练模型得到训练结果，测试模型得到测试结果；通过模型评估，选择评估方法，对测试结果进行评估；专家对训练数据、测试数据进行检查，去除异常数据，调整模型参数；将模型一键发布，生成服务；对模型集的参数进行管理和分析，生成场景应用的适用范围/最优值等，从而实现场景应用的不断优化；将算法框架进行封装，将算法封装，提供使用界面和接口；对运行环境进行封装成容器，对GPU/CPU等计算能力进行优化；封装各算法框架的运行/部署指令，形成部署服务；对模型及服务进行监控，展示状态/性能等指标，并可执行启动/暂停/停止等操作。相应地，为实现上述目的，本专利技术提供一种配置化人工智能研发的平台系统。包括系统工具、算法引擎及基础设施三大子系统：系统工具：为各类工具集成的功能套件，提供可视化的界面操作；算法引擎：集成和定制了人工智能主流的和自研的各种算法框架；基础实施：为系统运行的环境管理，提供算力优化和运行监控。作为本专利技术的进一步改进，所述系统工具包括数据处理工具、模型训练工具、配置工具：10：数据处理工具，由数据接入工具、数据处理模块、样本标注工具、特征处理模块组成。11：数据接入工具，用于接入不同数据源。12：数据处理模块，用于对数据源数据进行格式转换等数据处理功能。13：样本标注工具，用于生成样本标注数据，作为训练的基础数据。14：特征处理工具：用于模型训练前的数据预处理，将业务数据转化为机器学习的数字特征数据。作为本专利技术的进一步改进，所述模型训练工具包括：21：场景管理模块，用于场景模型的知识积累和管理，达到场景模型的不断优化、支持特定业务场景方案的目的。22：模型构建模块：可进行单模型构建和复杂模型构建，支持各类算法。23：模型训练模块：用于训练模型。24：模型评估模块：用于确定评估标准，对模型质量进行分析和评估。25：模型集管理模块：用于场景集的分类管理。26：专家系统：用于专家对领域模型的分析、调整和优化，实现专家优化模型的目的。27：模型发布模块：用于模型发布，生成可消费服务。28：版本管理模块：用于对训练的模型和发布的模型进行版本管理。作为本专利技术的进一步改进，所述配置工具包括：31：配置化模块：用于为各功能提供交互式人工界面，包括拖拉拽图形流程配置功能。32：代码编辑器：用于通过代码进行数据、模型、服务等的高级设计。33：SDK：用于提供调用的API功能，包括数据输入，数据处理、模型运行，模型发布，计算结果等封装的API。作为本专利技术的进一步改进，所述统一算法引擎包括：41：算法框架：用于集成、封装主流的AI框架。42：算法库：用于引入各类框架中的算法，集成自研算法。43：算法集成模块，对算法库中的算法做了上层封装及实现参数配置功能。44：算法调优模块：用于在算法层面进行场景算法优化。45：算力优化模块：用于对运行环境提供分布式并行计算，提供计算能力。作为本专利技术的进一步改进，所述基础设施包括：51：运行容器：用于将主流深度学习框架运行的中间件、类库等进行封装，生成可直接部署的容器。52：部署工具：用于发布训练模型，实现模型、服务的在线部署。53：数据存储：用于存储各类计算过程中的各类数据，支持多种存储介质和存储方案。54：运行控制台：用于调度、监控服务器、模型、服务等运行的控制台。由以上技术方案可见，本说明书提供的配置化人工智能研发的方法和系统，将数据处理、模型训练、服务发布、运行监控等人工智能研发过程实现了配置化的交付和管理，实现了场景模型的管理，达到了人工智能场景应用快速配置研发的技术效果。4附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本说明书所提供的配置化人工智能场景研发的技术框架示意图；图中的数字在
技术实现思路
和具体实施方式中，对应到模块名称，具体如下：10：数据处理工具，11：数据接入工具，12：数据处理模块，13：样本标注工具，14：特征处理工具；20：模型训练工具，21：场景管理模块，22：模型构建模块，23：模型训练模块，24：模型评估模块，25：模型集管理模块，26：专家系统，27：模型发布模块，28：版本管理模块；30：配置化工具，31配置化模块，32：代码编辑器，33：SDK；40：算法引擎，41：算法框架，42：算法库，43：算法集成模块，44：算法调优模块，45：算力优化模块；50：基础设施，51：运行容器，52：部署工具，53：数据存储，54：运行控制台。图2为本说明书所述的可支持的人工智能技术框架和算法示意图。5具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，本文档来自技高网...

【技术保护点】
1.一种基于配置的人工智能场景应用研发平台系统，其特征在于，包括：/n系统工具，各类人工智能研发工具集成的功能套件，提供可视化的界面操作，通过配置实现人工智能模型从数据处理到模型创建、训练、评估、优化、发布、运行完整流程的研发及管理；/n算法引擎，集成和定制了人工智能主流的和自研的各种算法框架和算法，对外提供算法服务和参数管理；/n基础实施，为人工智能应用系统运行的环境管理，提供部署、算力优化和运行监控等功能。/n

【技术特征摘要】
1.一种基于配置的人工智能场景应用研发平台系统，其特征在于，包括：
系统工具，各类人工智能研发工具集成的功能套件，提供可视化的界面操作，通过配置实现人工智能模型从数据处理到模型创建、训练、评估、优化、发布、运行完整流程的研发及管理；
算法引擎，集成和定制了人工智能主流的和自研的各种算法框架和算法，对外提供算法服务和参数管理；
基础实施，为人工智能应用系统运行的环境管理，提供部署、算力优化和运行监控等功能。


2.如权利要求1所述的基于配置的人工智能场景应用研发平台系统，其特征在于，所述系统工具包括：
数据处理工具，用于获取各类数据源，最终转化为符合深度学习特征和要求的数据；
模型训练工具，用于实现人工智能模型全生命周期管理的工具；
配置工具，用于进行配置化研发的工具。


3.如权利要求1或2所述的基于配置的人工智能场景应用研发平台系统，其特征在于，所述数据处理工具包括：
数据接入工具，用于接入不同数据源的数据；
数据处理模块，用于对数据源数据进行转换、去重、异常检查、默认值处理、整合、简单计算等数据处理功能；
样本标注工具，用于生成样本标注数据，作为训练的基础数据；
特征处理工具，用于模型训练前的数据预处理，将源数据转化为机器学习的数字特征数据。


4.如权利要求1或2所述的基于配置的人工智能场景应用研发平台系统，其特征在于，所述模型训练工具包括：
场景管理模块，用于场景模型的知识积累和管理，达到场景模型的不断优化、支持业务场景方案的目的；
模型构建模块，可进行单模型构建或复杂模型构建，支持各类算法；
模型集管理模块，用于场景集的分类管理；
模型训练模块，用于训练模型；
模型评估模块，用于确定评估标准，对模型质量进行分析和评估；
专家系统，用于专家对领域模型的分析、调整和优化，实现专家优化模型的目的；模型发布模块，用于模型发布，生成可消费服务；
版本管理模块，用于对训练的模型和发布的模型进行版本管理。


5.如权利要求1或2所述的基于配置的人工智能场景应用研发平台系统，其特征在于，所述配置工具包括：
配置化模块，用于为系统功能提供交互式人工界面，包括拖拉拽图形流程配置功能；
代码编辑器，用于通过代码编写进行数据、模型、服务等的高级设计实现；
SDK，用于提供调用的API功能，包括数据输入，数据处理、模型运行，模型发布，计算结果等封装的API。

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海钛空猫智能科技有限公司，
类型：发明
国别省市：上海;31