一种分布式AI服务引擎系统技术方案

本发明专利技术提出了一种分布式AI服务引擎系统，包括原子服务层、引擎中控层和应用层，其中，原子服务层包括负载均衡器和多个AI服务实例，用于实现AI模型的推理能力；引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点，用于创建表达式服务、调用表达式服务和更新缓存；其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块；应用层，用于调用中控层提供的表达式构建和服务调用的功能。通过本发明专利技术提出的分布式AI服务引擎系统，有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。服务响应速度和减少了系统资源的浪费。服务响应速度和减少了系统资源的浪费。

【技术实现步骤摘要】
一种分布式AI服务引擎系统


[0001]本专利技术属于计算机


技术介绍

[0002]人工智能(AI)技术的出现对经济、教育、医疗等生活中的许多领域都产生了极其重要的意义。在传统的AI服务中，服务与服务之间是解耦的、独立的，因此很难细粒度的复用已有服务的AI原子能力生产新的服务。
[0003]现有的服务引擎可以实现服务的编排，即按服务的依赖关系依次调用服务。在现有技术方案中，使用可视化拖拽的方式构建了服务的依赖图，并配置图中节点和线的参数，交给代理去执行此依赖图，实现了服务的编排；或者将用户定义的编排结果中的组件转换为其预定义的QL表达式，按照组件间的依赖关系依次执行这些表达式，得到组件调用的结果。
[0004]这些技术方案可以满足对一般服务的编排，对于AI服务会存在重复调用导致的性能下降、依赖图过长导致的响应时间过长、服务编排产生的易用性等问题。
[0005]本专利技术在云环境下提出了一种分布式AI服务引擎，该引擎以表达式即服务方式实现了对已有服务AI原子能力的细粒度复用，并对表达式服务的构建、调用等方面进行了优化，有效的提高了服务开发效率以及服务响应速度和减少了系统资源的浪费。

技术实现思路

[0006]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0007]为此，本专利技术的目的在于提出一种分布式AI服务引擎系统，用于提高了服务开发效率、服务响应速度和减少了系统资源的浪费。
[0008]为达上述目的，本专利技术第一方面实施例提出了一种分布式AI服务引擎系统，包括原子服务层、引擎中控层和应用层，其中，所述原子服务层包括负载均衡器和多个AI服务实例，用于实现AI模型的推理能力；所述引擎中控层包括一个Leader节点和与所述Leader节点对应的多个Worker节点，用于创建表达式服务、调用表达式服务和更新缓存；其中所述Leader节点与所述Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块；所述应用层，用于调用中控层提供的表达式构建和服务调用的功能。
[0009]另外，根据本专利技术上述实施例的一种分布式AI服务引擎还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述引擎中控层用于创建表达式服务，包括：获取请求的Type字段；
根据所述Type字段通过所述功能决策模块将所述请求转发给所述归并优化器；通过所述归并优化器进行归并优化，将优化的结果以配置文件的形式存储到所述存储服务模块中，完成表达式服务的创建过程。
[0010]进一步地，在本专利技术的一个实施例中，所述引擎中控层用于调用表达式服务，包括：获取请求的Type字段；根据所述Type字段通过所述功能决策模块将所述请求转发给所述状态控制器；通过所述状态控制器从所述存储服务中找到表达式服务的配置文件；根据所述配置文件中CallService内容获取线程，并行调用原子服务，直到全部的原子服务返回结果，将所述结果传入到所述逻辑运算器；根据所述结果和正则列表通过所述逻辑运算器计算真值，将所述真值写入到所述溢写模块并返回给客户端。
[0011]进一步地，在本专利技术的一个实施例中，所述引擎中控层用于更新缓存，包括：通过溢写模块记录所有请求与表达式服务的运算结果，每当溢写模块存储的键值超过上限时，将记录的运算结果写入到所述存储服务模块中；通过所述排序模块定期拉取所述存储服务模块中的结果进行聚合并降序排列，将所述结果的前N个写入到缓存中完成缓存的更新。
[0012]为达上述目的，本专利技术第二方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的一种分布式AI服务引擎系统。
[0013]为达上述目的，本专利技术第三方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的一种分布式AI服务引擎系统。
[0014]本专利技术实施例的分布式AI服务引擎系统，以表达式即服务方式实现了对已有服务AI原子能力的细粒度复用。表达式中的项是服务的AI原子能力，解决了服务之间因原子性、隔离性而导致服务利用率低的问题，并对AI服务的构建、调用等方面进行了优化，有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。
附图说明
[0015]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例所提供的一种分布式AI服务引擎系统的结构示意图。
[0016]图2为本专利技术实施例所提供的一种分布式AI服务引擎系统中的表达式服务举例示意图。
[0017]图3为本专利技术实施例所提供的一种表达式服务的创建示意图。
[0018]图4为本专利技术实施例所提供的一种配置文件示例示意图。
[0019]图5为本专利技术实施例所提供的一种表达式服务创建在引擎中控层中的执行过程示意图。
[0020]图6为本专利技术实施例所提供的一种表达式服务的调用过程示意图。
[0021]图7为本专利技术实施例所提供的一种表达式服务调用在引擎中控层的执行过程示意图。
[0022]图8为本专利技术实施例所提供的一种原子服务的并行调用示意图。
[0023]图9为本专利技术实施例所提供的一种缓存的更新过程示意图。
[0024]图10为本专利技术实施例所提供的一种缓存更新在引擎中控层的执行过程示意图。
具体实施方式
[0025]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0026]下面参考附图描述本专利技术实施例的分布式AI服务引擎系统。
[0027]图1为本专利技术实施例所提供的一种分布式AI服务引擎系统的示意图。
[0028]如图1所示，该分布式AI服务引擎原子服务层、引擎中控层和应用层，其中，原子服务层包括负载均衡器和多个AI服务实例，用于实现AI模型的推理能力；引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点，用于创建表达式服务、调用表达式服务和更新缓存；其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块；应用层，用于调用中控层提供的表达式构建和服务调用的功能。
[0029]具体的，AI服务引擎的三层结构：原子服务层、引擎中控层和应用层，每一层都采用了分布式的结构。核心层是引擎中控层，它采用Leader
‑
Worker的结构保证中控层的高可用性和一致性，单节点的内部由功能决策、缓存、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务、溢写模块等模块组成，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式AI服务引擎系统，其特征在于，包括原子服务层、引擎中控层和应用层，其中，所述原子服务层包括负载均衡器和多个AI服务实例，用于实现AI模型的推理能力；所述引擎中控层包括一个Leader节点和与所述Leader节点对应的多个Worker节点，用于创建表达式服务、调用表达式服务和更新缓存；其中所述Leader节点与所述Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块；所述应用层，用于调用中控层提供的表达式构建和服务调用的功能。2.根据权利要求1所述的系统，其特征在于，所述引擎中控层用于创建表达式服务，包括：获取请求的Type字段；根据所述Type字段通过所述功能决策模块将所述请求转发给所述归并优化器；通过所述归并优化器进行归并优化，将优化的结果以配置文件的形式存储到所述存储服务模块中，完成表达式服务的创建过程。3.根据权利要求1所述的系统，其特征在于，所述引擎中控层用于调用表达式服务，包括：获取请求的Type字段；根据所述Type字段通过所述功能决策模块将所述请求转发给所述状态控制器；通过所述状态控制器...

【专利技术属性】
技术研发人员：鄂海红，王浩田，宋美娜，周晓阳，竹倩叶，魏文定，刘钟允，
申请(专利权)人：四方联盟北京科技发展有限公司中网数安北京科技有限公司，
类型：发明
国别省市：