【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种大模型预存上下文信息的推理方法及装置。
技术介绍
1、随着人工智能技术发展，在未来的网络中业务会包含大量的人工智能(artificial intelligence，ai)模型，终端侧和边缘侧计算能力日益增强、服务多样化，具备协作计算的能力，当一个用户(例如：网络平台自身/终端侧/第三方)向网络侧提交一个业务请求时，网络侧需要对业务进行合理的编排、调度，确保业务在一个或者多个计算节点上正常运行。其中，编排功能实体主要用于基于提交的业务请求，对业务进行工作流编排，将业务拆分成n个任务(n>＝1)，各个任务间存在的一定的依赖关系。而调度功能实体主要用于基于编排后的任务、当前的网络/资源状态、业务需求等信息，将业务编排后一个或者多个任务分别调度至合适的算力节点上运行。
2、未来端边云协作场景下，随着新型业务的层出不穷，以及网络中的应用、工具库、应用程序编程接口(application programming interface，api)越来越多，在网络中部署对智能业务的管理、编排和调度等功能的大...
【技术保护点】
1.一种大模型预存上下文信息的推理方法，其特征在于，应用于第一节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一节点基于第二特征向量和所述第一特征向量确定与用户请求相关的上下文信息，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述第一节点基于所述上下文信息确定所述上下文信息对应的特征向量，包括：
5.根据权利要求1-3任一项所述的方法，其特征在于，所述第一节点基于所述上下文信息确定所述上下文信息对应的特征向量，包括：
6.根据...
【技术特征摘要】
1.一种大模型预存上下文信息的推理方法，其特征在于，应用于第一节点，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一节点基于第二特征向量和所述第一特征向量确定与用户请求相关的上下文信息，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述第一节点基于所述上下文信息确定所述上下文信息对应的特征向量，包括：
5.根据权利要求1-3任一项所述的方法，其特征在于，所述第一节点基于所述上下文信息确定所述上下文信息对应的特征向量，包括：
6.根据权利要求5所述的方法，其特征在于，所述第一节点基于所述上下文信息、所述第一特征向量以及所述第三特征向量确定所述上下文信息对应的特征向量，包括：
7.根据权利要求5所述的方法，其特征在于，所述第一节点基于所述上下文信息、所述第一特征向量以及所述第三特征向量确定所述上下文信息对应的特征向量，包括：
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1-8任一项所述的方法，其特征在于，所述第一特征向量、所述第二特征向量、所述第三特征向量以及所述上下文信息对应的特征向量中的每个特征向量包括以下一项或多项：多个词元token中每个token的键值向量、每个token的注意力值attention、嵌入embedding信息，所述键值向量用于表示token的特征，所述注意力值用于表示所述token与所述多个token中其他token之间的关联关系，所述嵌入信息用于表示文段的特征。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述工具描述信息包括以下一项或多项：工具完成的功能、工具完成所述功能需要的输入输出内容、使用工具的限制条件或具备该功能的节点的位置信息。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述计算节点信息包括以下一项或多项：所述计算节点的位置、所述计算节点具有的算力能力信息、可用资源能力信息、当前的忙闲状态或传输接口速率。
12.一种大模型预存上下文信息的推理装置，其特征在于，所述装置包括预处理模...
【专利技术属性】
技术研发人员：林皓，梁文亮，沈海华，王恩博，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。