用在管理服务消费方和生产方的ML实体测试装置制造方法及图纸

本申请涉及用在管理服务(MnS)消费方和生产方的机器学习(ML)实体测试装置。用在MnS生产方的ML实体测试装置包括处理器电路，该处理器电路被配置为促使MnS生产方：从MnS消费方接收ML实体测试请求，其中，ML实体测试请求用于请求测试ML实体的性能；向MnS消费方发送ML实体测试响应，其中，ML实体测试响应用于指示ML实体测试请求是否被接受；测试ML实体；以及向MnS消费方发送ML实体测试报告，其中，ML实体测试报告用于指示ML实体的性能是否被成功测试。试报告用于指示ML实体的性能是否被成功测试。试报告用于指示ML实体的性能是否被成功测试。

【技术实现步骤摘要】
用在管理服务消费方和生产方的ML实体测试装置
[0001]相关申请的交叉引用
[0002]本申请基于并要求于2022年6月15日递交的美国专利申请No.63/352,525的优先权，其全部内容通过引用结合于此。


[0003]本公开的实施例一般地涉及无线通信领域，尤其涉及用在管理服务(MnS)消费方的机器学习(ML)实体测试装置和用在MnS生产方的ML实体测试装置。

技术介绍

[0004]移动通信已经从早期的语音系统发展到今天的高度复杂的综合通信平台。5G或新型无线电(NR)无线通信系统将提供各种用户和应用随时随地对信息的访问和对数据的共享。
附图说明
[0005]本公开的实施例将以示例而非限制的方式在附图中进行图示，其中，类似的附图标记指代类似的元件。
[0006]图1示出了根据本公开一些实施例的ML实体训练过程的示意图。
[0007]图2示出了根据本公开一些实施例的ML实体测试过程的示意图。
[0008]图3示出了根据本公开各种实施例的网络的示意图。
[0009]图4示出了根据本公开各种实施例的无线网络的示意图。
[0010]图5示出了根据本公开各种实施例的能够从机器可读或计算机可读介质(例如，非暂态机器可读存储介质)读取指令并执行本文讨论的各个功能实体的操作的组件的框图。
具体实施方式
[0011]将使用本领域技术人员常用的术语来描述说明性实施例的各个方面，以将本公开的实质传达给本领域其他技术人员。然而，对于本领域技术人员来说显而易见的是，可以使用所描述的方面的部分来实施许多替代实施例。出于解释的目的，给出了具体的数字、材料、和配置，以便提供对说明性实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施替代实施例。在其它实例中，为了避免模糊说明性实施例，可以省略或简化公知特征。
[0012]此外，以最有助于理解说明性实施例的方式，将各种操作依次描述为多个离散操作；然而，不应将描述顺序解释为暗示这些操作必须是顺序相关的。特别地，这些操作不需要按照呈现的顺序来执行。
[0013]本文中重复使用短语“在实施例中”、“在一个实施例中”、和“在一些实施例中”。这些短语通常不指代相同的实施例；然而，它们也可以指代相同的实施例。除非上下文另有规定，否则术语“包含”、“具有”、和“包括”是同义词。短语“A或B”和“A/B”的意思是“(A)、(B)、
或(A和B)”。
[0014]人工智能或机器学习(AI/ML)被广泛用在5G无线通信系统中。ML实体训练能力由管理服务(MnS)生产方提供，其中，ML实体是指作为ML模型或包含ML模型并且可以作为单个复合实体进行管理的实体。
[0015]图1示出了根据本公开一些实施例的ML实体训练过程的示意图。图1所示的ML实体训练过程100包括：S102，MnS消费方向MnS生产方发送ML实体训练请求，以触发ML实体训练；S104，MnS生产方向MnS消费方发送ML实体训练响应，以指示是否接受ML实体训练请求；以及S106，在接受ML实体训练请求的情况下，MnS生产方在完成ML实体训练后向MnS消费方发送训练结果。
[0016]在ML实体训练请求中，MnS消费方可以规定指示经训练ML实体的功能或目的的推理类型，例如，汇聚问题分析(CoverageProblemAnalysis)。MnS生产方可以根据规定的推理类型来执行ML实体训练。MnS消费方还可以提供包含作为用于ML实体训练的输入候选的候选训练数据的一个或多个数据源。为了获得有效的训练结果，MnS消费方还可以在ML实体训练请求中规定其对经训练ML实体的性能要求(例如，准确性等)。
[0017]在接受ML实体训练请求的情况下，MnS生产方考虑ML实体训练请求来决定何时开始ML实体训练。当决定开始ML实体训练时，MnS生产方执行以下操作：
[0018]‑
考虑MnS消费方提供的候选训练数据来选择训练数据。由于训练数据直接影响经训练ML实体的性能，因此MnS生产方可以检查由MnS消费方提供的候选训练数据，并决定不选择候选训练数据或者选择候选训练数据的部分或全部。此外，MnS生产方可以选择一些其他可用训练数据。
[0019]‑
使用所选择的训练数据训练ML实体，以获得经训练ML实体。
[0020]‑
向MnS消费方提供训练结果(包括经训练ML实体的位置等)。
[0021]ML实体训练也可以由MnS生产方发起，例如，作为经训练ML模型的性能评估结果，基于从MnS消费方接收的反馈或新训练数据，或者当描述新网络状态或事件的、非来自MnS消费方的新训练数据变得可用时。在这种情况下，当决定开始ML实体训练时，MnS生产方执行以下操作：
[0022]‑
选择训练数据。
[0023]‑
使用所选择的训练数据训练ML实体，以获得经训练ML实体。
[0024]‑
在MnS消费方已经订阅接收训练结果的情况下，向其提供训练结果(包括经训练ML实体的位置等)。
[0025]在ML实体训练完成后，MnS生产方可以向MnS消费方发送ML实体训练报告，以使经训练ML实体可由MnS消费方使用。然而，目前还没有方案使MnS消费方能够在将经训练ML实体应用于目标推理功能之前测试其性能。因此，提出了一种ML测试方案，允许MnS消费方测试经训练ML实体的性能。
[0026]图2示出了根据本公开一些实施例的ML实体测试过程的示意图。图2所示的ML实体测试过程200包括：S202a，MnS消费方向MnS生产方发送ML实体测试请求，其中，ML实体测试请求用于请求测试经训练ML实体的性能；S202b，MnS消费方从MnS生产方接收ML实体测试响应，其中，ML实体测试响应用于指示ML实体测试请求是否被MnS生产方接受；S204，在接受ML实体测试请求的情况下，MnS生产方测试经训练ML实体；以及S206，在MnS消费方已经订阅接
收关于经训练ML实体的ML实体测试报告的情况下，MnS生产方向MnS消费方发送ML实体测试报告，其中，ML实体测试报告用于指示经训练ML实体的性能是否被成功测试。
[0027]在一些实施例中，在从MnS生产方接收到ML实体训练报告后，MnS消费方可以向MnS生产方发送ML实体测试请求，以请求MnS生产方测试经训练ML实体。在ML实体测试请求中，MnS消费方可以提供经训练ML实体的标识符(即，ML实体测试请求可以包含经训练ML实体的标识符)。
[0028]在一些实施例中，ML实体测试请求可以包含用于测试经训练ML实体的性能的测试数据。例如，测试数据可以具有与训练数据相同的模式。MnS生产方可以使用由MnS消费方提供的测试数据来测试经训练ML实体的性能。具体地，测试经训练ML实体的性能是指由经训练ML实体使用测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用在管理服务(MnS)消费方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括处理器电路，所述处理器电路被配置为促使所述MnS消费方：向MnS生产方发送ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及从所述MnS生产方接收ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。2.根据权利要求1所述的ML实体测试装置，其中，所述ML实体测试请求包含所述ML实体的标识符。3.根据权利要求1所述的ML实体测试装置，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。4.根据权利要求3所述的ML实体测试装置，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。5.根据权利要求1所述的ML实体测试装置，其中，所述处理器电路进一步被配置为促使所述MnS消费方：从所述MnS生产方接收ML实体测试报告，其中，所述ML实体测试报告用于指示所述ML实体的性能是否被成功测试。6.根据权利要求5所述的ML实体测试装置，其中，当所述ML实体的性能被成功测试时，所述ML实体测试报告包含对于所述ML实体的测试结果。7.根据权利要求6所述的ML实体测试装置，其中，对于所述ML实体的所述测试结果包含由所述ML实体基于每个测试数据示例进行推理产生的推理输出。8.一种用在管理服务(MnS)生产方的机器学习(ML)实体测试装置，其中，所述ML实体测试装置包括处理器电路，所述处理器电路被配置为促使所述MnS生产方：从第一MnS消费方接收ML实体测试请求，其中，所述ML实体测试请求用于请求测试ML实体的性能；以及向所述第一MnS消费方发送ML实体测试响应，其中，所述ML实体测试响应用于指示所述ML实体测试请求是否被所述MnS生产方接受。9.根据权利要求8所述的ML实体测试装置，其中，所述ML实体测试请求包含所述ML实体的标识符。10.根据权利要求8所述的ML实体测试装置，其中，所述ML实体测试请求包含用于测试所述ML实体的性能的测试数据。11.根据权利要求10所述的ML实体测试装置，其中，测试所述ML实体的性能是指由所述ML实体使用所述测试数据作为推理输入进行推理，并产生针对每个测试数据示例的推理输出。12.根据权利要求8...

【专利技术属性】
技术研发人员：姚羿志，乔伊，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：