推理服务的部署方法、装置及处理器可读存储介质制造方法及图纸

本申请实施例提供了一种推理服务的部署方法、装置及处理器可读存储介质，包括：接收推理需求端发送的第一注册请求；根据第一注册请求包括的需求信息，确定与需求信息相匹配的推理服务和推理服务运行资源；将推理服务在推理服务运行资源中进行部署。该方法通过确定与需求信息相匹配的推理服务和推理服务运行资源，实现了满足不同需求的推理服务部署。实现了满足不同需求的推理服务部署。实现了满足不同需求的推理服务部署。

Deployment method, device and processor readable storage medium of reasoning service

【技术实现步骤摘要】
推理服务的部署方法、装置及处理器可读存储介质


[0001]本申请涉及无线通信
，具体而言，本申请涉及推理服务的部署方法、装置及处理器可读存储介质。

技术介绍

[0002]RAN(Radio Access Network，无线接入网)的应用研究中越来越多的涉及AI(Artificial Intelligence，人工智能)/ML(Machine Learning，机器学习)模型，AI/ML模型为RAN的业务保障和资源优化提供推理服务，推理服务用于网络规划、网络优化、用户业务保障、小区资源调优等的决策和判断。RAN具体应用场景中的需求多样复杂，例如流量预测、用户量预测、接入风暴预测、用电量预测、干扰预测等。现有技术中针对硬件资源可用性和基于时延的单一指标进行适配优化的部署方案无法根据不同的需求，进行相应的推理服务部署。

技术实现思路

[0003]本申请针对现有的方式的缺点，提出一种推理服务的部署方法、装置及处理器可读存储介质，用以解决上述的技术缺陷。
[0004]第一方面，提供了一种推理服务的部署方法，由部署管理端执行，包括：
[0005]接收推理需求端发送的第一注册请求；
[0006]根据第一注册请求包括的需求信息，确定与需求信息相匹配的推理服务和推理服务运行资源；
[0007]将推理服务在推理服务运行资源中进行部署。
[0008]在一个实施例中，根据第一注册请求包括的需求信息，确定与需求信息相匹配的推理服务和推理服务运行资源，包括：
[0009]根据需求信息包括的功能类型需求、推理性能需求中的至少一项，确定与功能类型需求相匹配的功能分类和/或与推理性能需求相匹配的推理服务的部署位置和推理资源，并基于功能分类和/或推理服务的部署位置和推理资源，确定推理服务；
[0010]根据需求信息包括的部署策略需求，确定与部署策略需求相匹配的独立策略或通用策略，并基于独立策略或所述通用策略，确定推理服务运行资源。
[0011]在一个实施例中，将推理服务在推理服务运行资源中进行部署，包括：
[0012]当部署策略需求用于选择独立策略，且推理服务运行资源中没有部署推理服务，则调用预设的第一列表中的推理服务对应的人工智能模型，并将人工智能模型提供的推理服务在推理服务运行资源中进行部署。
[0013]在一个实施例中，在接收推理需求端发送的第一注册请求之前，还包括：
[0014]接收推理服务提供端发送的第二注册请求，第二注册请求包括推理服务的相关信息，推理服务的相关信息包括推理服务的服务类型、推理服务的服务级别、推理服务的资源需求中的至少一项；
[0015]将推理服务的相关信息存储在预设的第一列表。
[0016]在一个实施例中，根据需求信息包括的部署策略需求，确定与部署策略需求相匹配的通用策略，包括：
[0017]根据需求信息包括的部署策略需求，确定与部署策略需求相匹配的推理服务的相关信息；
[0018]根据推理服务的相关信息包括的推理服务的服务类型、推理服务的服务级别、推理服务的资源需求中的至少一项，确定与部署策略需求相匹配的通用策略。
[0019]在一个实施例中，根据第一注册请求包括的需求信息，确定与需求信息相匹配的推理服务和推理服务运行资源，包括：
[0020]当接收到需求信息，调用第一列表中的推理服务的相关信息包括的推理服务的服务类型、推理服务的服务级别、推理服务的资源需求中的至少一项与需求信息包括的部署策略需求进行匹配。
[0021]在一个实施例中，推理服务的服务类型包括用户位置推理能力、小区流量需求推理能力、传输网络带宽需求推理能力、用户业务质量推理能力、耗电量预测推理能力中的至少一项；推理服务的服务级别包括区域网络级别、基站级别、小区级别、切片级别中的至少一项；推理服务的资源需求包括中央处理器类型需求、中央处理器资源需求量、图形处理器类型需求、图形处理器资源需求量、存储类型需求、存储需求量、容器管理平台类型需求中的至少一项。
[0022]在一个实施例中，在接收推理需求端发送的第一注册请求之前，还包括：
[0023]接收推理服务部署资源提供端发送的第三注册请求，第三注册请求包括推理服务运行资源的相关信息，推理服务运行资源的相关信息包括推理服务运行资源的位置级别分类、推理服务运行资源的资源配置分类中的至少一项；
[0024]将推理服务运行资源的相关信息存储在预设的第二列表。
[0025]在一个实施例中，根据第一注册请求包括的需求信息，确定与需求信息相匹配的推理服务和推理服务运行资源，包括：
[0026]当接收到需求信息，调用第二列表中的推理服务运行资源的相关信息包括的推理服务运行资源的位置级别分类、推理服务运行资源的资源配置分类中的至少一项与需求信息包括的部署策略需求进行匹配。
[0027]在一个实施例中，推理服务运行资源的位置级别分类包括区域云、边缘云、基站、集中单元、分布单元中的至少一项；推理服务运行资源的资源配置分类包括中央处理器、图形处理器、存储类型、网络接口类型中的至少一项。
[0028]在一个实施例中，在将推理服务在推理服务运行资源中进行部署之后，还包括：
[0029]发送响应消息给推理需求端，响应消息包括人工智能模型的地址和接口，以及第一满足度评分；第一满足度评分用于表征推理服务、推理服务运行资源中的至少一项与需求信息的匹配程度。
[0030]在一个实施例中，在发送响应消息给推理需求端之后，还包括：
[0031]当确定存在与需求信息相匹配的更新的推理服务和更新的推理服务运行资源，且第一满足度评分小于第二满足度评分，则发送包括第二满足度评分的通知消息给推理需求端，以用于使推理需求端确定是否向部署管理端发送更新请求；
[0032]更新请求用于指示部署管理端将更新的推理服务在更新的推理服务运行资源中进行部署；第二满足度评分用于表征更新的推理服务、更新的推理服务运行资源中的至少一项与需求信息的匹配程度。
[0033]第二方面，提供了一种推理服务的部署装置，由部署管理端执行，包括存储器，收发机，处理器：
[0034]存储器，用于存储计算机程序；收发机，用于在处理器的控制下收发数据；处理器，用于读取存储器中的计算机程序并执行以下操作：
[0035]接收推理需求端发送的第一注册请求；
[0036]根据第一注册请求包括的需求信息，确定与需求信息相匹配的推理服务和推理服务运行资源；
[0037]将推理服务在推理服务运行资源中进行部署。
[0038]在一个实施例中，根据第一注册请求包括的需求信息，确定与需求信息相匹配的推理服务和推理服务运行资源，包括：
[0039]根据需求信息包括的功能类型需求、推理性能需求中的至少一项，确定与功能类型需求相匹配的功能分类和/或与推理性能需求相匹配的推理服务的部署位置和推理资源，并基于功能分类和/或推理服务的部署位置和推理资源，确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理服务的部署方法，由部署管理端执行，其特征在于，包括：接收推理需求端发送的第一注册请求；根据所述第一注册请求包括的需求信息，确定与所述需求信息相匹配的推理服务和推理服务运行资源；将所述推理服务在所述推理服务运行资源中进行部署。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一注册请求包括的需求信息，确定与所述需求信息相匹配的推理服务和推理服务运行资源，包括：根据所述需求信息包括的功能类型需求、推理性能需求中的至少一项，确定与所述功能类型需求相匹配的功能分类和/或与所述推理性能需求相匹配的所述推理服务的部署位置和推理资源，并基于所述功能分类和/或所述推理服务的部署位置和推理资源，确定所述推理服务；根据所述需求信息包括的部署策略需求，确定与所述部署策略需求相匹配的独立策略或通用策略，并基于所述独立策略或所述通用策略，确定所述推理服务运行资源。3.根据权利要求2所述的方法，其特征在于，所述将所述推理服务在所述推理服务运行资源中进行部署，包括：当所述部署策略需求用于选择所述独立策略，且所述推理服务运行资源中没有部署所述推理服务，则调用预设的第一列表中的所述推理服务对应的人工智能模型，并将所述人工智能模型提供的所述推理服务在所述推理服务运行资源中进行部署。4.根据权利要求2所述的方法，其特征在于，在所述接收推理需求端发送的第一注册请求之前，还包括：接收推理服务提供端发送的第二注册请求，所述第二注册请求包括所述推理服务的相关信息，所述推理服务的相关信息包括所述推理服务的服务类型、所述推理服务的服务级别、所述推理服务的资源需求中的至少一项；将所述推理服务的相关信息存储在预设的第一列表。5.根据权利要求4所述的方法，其特征在于，所述根据所述需求信息包括的部署策略需求，确定与所述部署策略需求相匹配的通用策略，包括：根据所述需求信息包括的部署策略需求，确定与所述部署策略需求相匹配的所述推理服务的相关信息；根据所述推理服务的相关信息包括的所述推理服务的服务类型、所述推理服务的服务级别、所述推理服务的资源需求中的至少一项，确定与所述部署策略需求相匹配的通用策略。6.根据权利要求4所述的方法，其特征在于，所述根据所述第一注册请求包括的需求信息，确定与所述需求信息相匹配的推理服务和推理服务运行资源，包括：当接收到所述需求信息，调用所述第一列表中的所述推理服务的相关信息包括的所述推理服务的服务类型、所述推理服务的服务级别、所述推理服务的资源需求中的至少一项与所述需求信息包括的部署策略需求进行匹配。7.根据权利要5所述的方法，其特征在于，所述推理服务的服务类型包括用户位置推理能力、小区流量需求推理能力、传输网络带宽需求推理能力、用户业务质量推理能力、耗电量预测推理能力中的至少一项；所述推理服务的服务级别包括区域网络级别、基站级别、小
区级别、切片级别中的至少一项；所述推理服务的资源需求包括中央处理器类型需求、中央处理器资源需求量、图形处理器类型需求、图形处理器资源需求量、存储类型需求、存储需求量、容器管理平台类型需求中的至少一项。8.根据权利要求2所述的方法，其特征在于，在所述接收推理需求端发送的第一注册请求之前，还包括：接收推理服务部署资源提供端发送的第三注册请求，所述第三注册请求包括所述推理服务运行资源的相关信息，所述推理服务运行资源的相关信息包括所述推理服务运行资源的位置级别分类、所述推理服务运行资源的资源配置分类中的至少一项；将所述推理服务运行资源的相关信息存储在预设的第二列表。9.根据权利要求8所述的方法，其特征在于，所述根据所述第一注册请求包括的需求信息，确定与所述需求信息相匹配的推理服务和推理服务运行资源，包括：当接收到所述需求信息，调用所述第二列表中的所述推理服务运行资源的相关信息包括的所述推理服务运行资源的位置级别分类、所述推理服务运行资源的资源配置分类中的至少一项与所述需求信息包括的部署策略需求进行匹配。10.根据权利要8所述的方法，其特征在于，所述推理服务运行资源的位置级别分类包括区域云、边缘云、基站、集中单元、分布单元中的至少一项；所述推理服务运行资源的资源配置分类包括中央处理器、图形处理器、存储类型、网络接口类型中的至少一项。11.根据权利要求4所述的方法，其特征在于，在所述将所述推理服务在所述推理服务运行资源中进行部署之后，还包括：发送响应消息给所述推理需求端，所述响应消息包括所述人工智能模型的地址和接口，以及第一满足度评分；所述第一满足度评分用于表征所述推理服务、所述推理服务运行资源中的至少一项与所述需求信息的匹配程度。12.根据权利要求11所述的方法，其特征在于，在所述发送响应消息给所述推理需求端之后，还包括：当确定存在与所述需求信息相匹配的更新的推理服务和更新的推理服务运行资源，且所述第一满足度评分小于第二满足度评分，则发送包括所述第二满足度评分的通知消息给所述推理需求端，以用于使所述推理需求端确定是否向所述部署管理端发送更新请求；所述更新请求用于指示所述部署管理端将所述更新的推理服务在所述更新的推理服务运行资源中进行部署；所述第二满足度评分用于表征所述更新的推理服务、所述更新的推理服务运行资源中的至少一项与所述需求信息的匹配程度。13.一种推理服务的部署装置，由部署管理端执行，其特征在于，包括存储器，收发机，处理器：存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：接收推理需求端发送的第一注册请求；根据所述第一注册请求包括的需求信息，确定与所述需求信息相匹配的推理服务和推理服务...

【专利技术属性】
技术研发人员：王浩，
申请(专利权)人：大唐移动通信设备有限公司，
类型：发明
国别省市：