【技术实现步骤摘要】
本专利技术涉及人工智能，具体来说是一种通用ai服务接入方法及系统。
技术介绍
1、随着人工智能技术的不断发展，各种ai能力已经被广泛应用于各种业务场景，然而，随之而来的是不同模型具有不同的输入输出和处理速度的问题，例如，图片识别和语音识别这两个模型在处理方式和应用场景上有着显著的区别。
2、每当我们需要接入一种新的模型时，我们首先需要构建模型服务的pipeline，由于不同的模型有着不同的接入方式和服务构造要求，因此需要根据模型的不同来构建不同的接入服务，这不仅增加了开发成本，而且随着需要接入的模型数量的不断增加，这种重复的适配工作和高昂的维护成本也会变得越来越显著。
3、目前亟待解决的技术问题是设计一套能够适应不同类型的模型的通用ai能力接入方案。
技术实现思路
1、本专利技术要解决的技术问题是克服现有技术的不足，提供一种能够适应不同类型模型的通用ai服务接入方法及系统，减少开发成本和维护成本。
2、为了实现上述目的，设计一种通用ai服务接入方法，方法具体如下：
3、s1.接收业务方输入的任务参数，所述任务参数包括：单个资源链接resource选自文本、图片链接、音频链接，多个资源链接multi_resource，以及自定义参数raw_params；
4、s2.由调度层将所述任务参数包装为任务并置入队列中，以便根据设定的优先级等待后续的模型处理；
5、s3.模型层根据任务的优先级和队列权重从队列中批量地选择任
6、s31.将批量任务放入线程池中进行处理，对于单个资源链接resource执行下载并转换为本地文件地址的操作，对于多个资源链接multi_resource执行并发下载的操作，而对于文本类型的resource则直接传递；
7、s32.完成参数的预处理后，将任务放入本地队列中；
8、s33.模型处理器不断从本地队列获取参数并启动模型进行处理，如果单个资源链接resource为本地文件地址，则读取文件内容后进行推理处理，否则直接使用单个资源链接resource进行推理处理；
9、s34.模型处理完毕后返回结果，对于返回的结果，如果是本地文件或超长文本，则由结果处理器先上传至远端存储，并转换为文件链接，若结果为短小的文本，则无需上传；最后将结果与任务状态关联后，包装成完整数据放入结果队列中；
10、s4.调度层从结果队列获取消息进行解析，通过业务方的选择的结果获取方式把任务状态和结果给到业务方。
11、通用ai服务接入系统包括请求接入层，请求接入层根据服务模式以grpc server形式提供同步服务和以消息的形式提供异步服务，其中异步服务里为了提高计算资源的利用率还支持网络io和计算的分离执行；通用处理层，通用处理层处理和解析参数，根据不同参数形式支持单文件下载或者批量文件下载，根据模型返回的结果格式采取不同的策略；模型接入协议，模型只要按照协议实现特定的类，即可被调用而不用关心如何解析参数和如何返回结果；模型推理层，用于对接ai服务。
12、本专利技术同现有技术相比，其优点在于：
13、本专利技术所述的通用ai服务接入方法能够适应不同类型的模型，包括图片识别、语音识别、自然语言处理等，并且能够提供统一的接口和服务构造方式，以减少开发成本和维护成本。
本文档来自技高网...【技术保护点】
1.一种通用AI服务接入方法，其特征在于所述方法具体如下：
2.一种采用如权利要求1所述接入方法的通用AI服务接入系统，其特征在于包括
【技术特征摘要】
1.一种通用ai服务接入方法，其特征在于所述方法具体如下：
2...
【专利技术属性】
技术研发人员：陈振华，朱辰昊，李晓捷，王林霄，
申请(专利权)人：再惠上海网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。