AIGC制造技术

本申请提供了

【技术实现步骤摘要】
AIGC系统算力资源分配方法及其系统


[0001]本申请涉及
AIGC
技术
，尤其涉及
AIGC
系统算力资源分配方法及其系统
。

技术介绍

[0002]AIGC
即
AI
‑
Generated Content
，人工智能生产内容
。
狭义上是指通过人工智能技术自动生成内容的生产方式
。
广义的
AIGC
可以基于训练数据和生成算法模型，自动生成新的文本
、
图像
、
音乐
、
视频
、3D
交互内容等各种形式的内容和数据
。
[0003]目前有众多
AIGC
系统，
AIGC
系统为用户提供了利用
AIGC
生产内容的生产环境
。
[0004]由于用户在特定的需求下生成所需要的素材时，会根据不同的要求，例如分辨率
、
素材风格等，选用不同的
AIGC
模型，因此，
AIGC
系统需要同时为用户提供多种不同的
AIGC
模型以满足其生产需求
。
而每一种
AIGC
模型的部署均需要一定的系统资源，例如内存
、CPU、
显存等，并且不同模型在使用时也会发生资源抢占，当同时有多个用户需要执行生产任务时，对于生产环境的设置就会变得更为繁杂，例如
AIGC
模型的配置
、
系统算力资源的分配
、
实时任务的调度等
。
[0005]目前，为确保系统稳定运行，通常会极大限制
AIGC
模型数量，导致
AIGC
系统算力资源利用率低
。

技术实现思路

[0006]本申请的目的在于解决现有技术中，
AIGC
系统算力资源利用率较低的问题
。
因此，本申请提供了
AIGC
系统算力资源分配方法及其系统，通过初次分配和二次分配结合，在保证分配效率的同时，提高了
AIGC
系统算力利用率，且提高了各个
AIGC
模型利用
AIGC
系统算力资源的均衡性，从而降低各个
AIGC
模型运行时资源抢占风险，提高了
AIGC
系统运行效率和稳定性，提升了用户体验
。
[0007]本申请实施例提供了一种
AIGC
系统算力资源分配方法，所述
AIGC
系统用于运行多个
AIGC
模型集，所述
AIGC
模型集包括多个不同类型的
AIGC
模型；
[0008]所述
AIGC
系统包括多个运算节点，所述运算节点用于部署所述
AIGC
模型集中的各个所述
AIGC
模型；所述分配方法包括：
[0009]获取待部署的各个所述
AIGC
模型所需要的算力资源需求量；
[0010]获取各个所述运算节点的算力资源的实时剩余量；
[0011]初次分配，将所述
AIGC
模型集分配至各个所述运算节点；
[0012]二次分配；
[0013]所述二次分配包括：
[0014]获取所述
AIGC
模型集中多个所述
AIGC
模型的队列，所述队列按照算力资源需求量递减排序；
[0015]获取所述多个运算节点的实时队列，所述实时队列按照实时剩余量递减排序；
[0016]对所述
AIGC
模型进行部署，将所述
AIGC
模型集中的多个所述
AIGC
模型按照队列顺
序循环部署至所述
AIGC
系统中的各所述运算节点；
[0017]其中，当所述
AIGC
模型的算力资源需求量大于对应的所述运算节点的实时剩余量时，或者，当一个所述
AIGC
模型集中的多个所述
AIGC
模型均被部署过时，或者，每部署成功一个
AIGC
模型时，更新所述多个运算节点的实时队列，并重新对所述
AIGC
模型进行部署，直至所有所述运算节点的实时剩余量小于所需部署的所述
AIGC
模型的算力资源需求量，则停止部署
。
[0018]采用上述技术方案，通过初次分配实现对
AIGC
系统大部分算力资源的分配，提高分配效率，再通过二次分配对剩余较少的算力资源进行分配，提高
AIGC
系统算力利用率；同时二次分配中
AIGC
模型集的按照队列顺序循环部署至各运算节点，提高了各个
AIGC
模型对剩余
AIGC
系统算力资源利用的均衡性，从而降低各个
AIGC
模型运行时资源抢占风险，提高了
AIGC
系统运行效率，提升了用户体验
。
[0019]在一些实施例中，所述
AIGC
模型集的按照队列顺序循环部署过程为：按照所述
AIGC
模型队列的顺序循环部署至实时剩余量最大的所述运算节点中
。
[0020]在一些实施例中，所述
AIGC
模型集的按照队列顺序循环部署过程为：按照所述
AIGC
模型队列的顺序循环部署至所述多个运算节点的实时队列中对应顺序的所述运算节点
。
[0021]在一些实施例中，所述初次分配包括：
[0022]根据算力资源需求量和实时剩余量，对各个所述运算节点部署其可支持的最大数量的所述
AIGC
模型集
。
[0023]采用上述技术方案，提高了初次分配中各个
AIGC
模型利用
AIGC
系统算力资源的均衡性，从而进一步降低各个
AIGC
模型运行时资源抢占风险，提高了
AIGC
系统运行效率，提升了用户体验
。
[0024]在一些实施例中，当增加所述运算节点，和
/
或增加所述
AIGC
模型时，包括：
[0025]获取现行分配方案，所述现行分配方案为所述
AIGC
系统正在实施的各个所述运算节点分配的各个所述
AIGC
模型数量；
[0026]获取模拟分配方案，所述模拟分配方案为将增加所述运算节点和
/
或增加所述
AIGC
模型后的所述
AIGC
系统按照所述分配方法，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
AIGC
系统算力资源分配方法，其特征在于，所述
AIGC
系统用于运行多个
AIGC
模型集，所述
AIGC
模型集包括多个不同类型的
AIGC
模型；所述
AIGC
系统包括多个运算节点，所述运算节点用于部署所述
AIGC
模型集中的各个所述
AIGC
模型；所述分配方法包括：获取待部署的各个所述
AIGC
模型所需要的算力资源需求量；获取各个所述运算节点的算力资源的实时剩余量；初次分配，将所述
AIGC
模型集分配至各个所述运算节点；二次分配；所述二次分配包括：获取所述
AIGC
模型集中多个所述
AIGC
模型的队列，所述队列按照算力资源需求量递减排序；获取所述多个运算节点的实时队列，所述实时队列按照实时剩余量递减排序；对所述
AIGC
模型进行部署，将所述
AIGC
模型集中的多个所述
AIGC
模型按照队列顺序循环部署至所述
AIGC
系统中的各所述运算节点；其中，当所述
AIGC
模型的算力资源需求量大于对应的所述运算节点的实时剩余量时，或者，当一个所述
AIGC
模型集中的多个所述
AIGC
模型均被部署过时，或者，每部署成功一个
AIGC
模型时，更新所述多个运算节点的实时队列，并重新对所述
AIGC
模型进行部署，直至所有所述运算节点的实时剩余量小于所需部署的所述
AIGC
模型的算力资源需求量，则停止部署
。2.
根据权利要求1所述的
AIGC
系统算力资源分配方法，其特征在于，所述
AIGC
模型集的按照队列顺序循环部署过程为：按照所述
AIGC
模型队列的顺序循环部署至实时剩余量最大的所述运算节点中
。3.
根据权利要求1所述的
AIGC
系统算力资源分配方法，其特征在于，所述
AIGC
模型集的按照队列顺序循环部署过程为：按照所述
AIGC
模型队列的顺序循环部署至所述多个运算节点的实时队列中对应顺序的所述运算节点
。4.
根据权利要求1所述的
AIGC
系统算力资源分配方法，其特征在于，所述初次分配包括：根据算力资源需求量和实时剩余量，对各个所述运算节点部署其可支持的最大数量的所述
AIGC
模型集
。5.
根据权利要求1‑4任一所述的
AIGC
系统算力资源分配方法，其特征在于，当增加所述运算节点，和
/
或增加所述
AIGC
模型时，包括：获取现行分配方案，所述现行分配方案为所述
AIGC
系统正在实施的各个所述运算节点分配的各个所述
AIGC
模型数量；获取模拟分配方案，所述模拟分配方案为将增加所述运算节点和
/
或增加所述
AIGC
模型后的所述
AIGC
系统按照所述分配方法，对各个所述运算节点分配各个所述
AIGC
模型数量的分配方案；比较所述模拟分配方案和所述现行分配方案，获取各个所述
AIGC
模型的迁移路径，所述迁移路径指各个所述
AIGC
模型在对应所述运算节点中的数量变化；根据所述迁移路径，对所述
AIGC
系统中的各个所述运算节点分配的各个所述
AIGC
模型
数量
。6.
一种用于
AIGC
系统的算力资源分配系统，其特征在于，所述
AIGC
系统用于运行多个
AIGC
模型集，所述
AIGC
模型集包括多个不同类型的
AIGC
模型；所述
AIGC
系统包括多个运算节点，所述运算节点用于部署所述
AIGC
模型集中的各个所述
AIGC
模型；所述分配系统包括：第一获取模块，所述第一获取...

【专利技术属性】
技术研发人员：潘予极，
申请(专利权)人：利欧集团数字科技有限公司，
类型：发明
国别省市：