数据处理方法、端侧设备、存储介质、芯片系统以及计算机程序产品技术方案

本申请实施例提供的数据处理方法、端侧设备、存储介质、芯片系统以及计算机程序产品，涉及终端技术领域。由于第一存储中多个第二专家模块是第二线程在第一线程利用第一模型执行预填充阶段流程的情况下，基于第一请求的专家偏好策略，执行预加载流程形成的，因此，实现了预加载流程与预填充阶段流程的并行执行，由此，降低了I/O延迟，提高了第一模型的推理效率。并且由于第一请求具有专家偏好，而存储于第一存储的多个第二专家模块是根据第一请求来确定的，因此，第一线程在利用第一模型执行解码阶段流程的情况下，使得第一线程可以直接从第一存储获取与第一专家模块对应的第二专家模块，由此提高了缓存命中率，进而提高了第一模型的推理效率。

【技术实现步骤摘要】

本申请涉及终端，尤其涉及数据处理方法、端侧设备、存储介质、芯片系统以及计算机程序产品。

技术介绍

1、随着终端技术和人工智能（artificial intelligence，ai）技术的发展，可以将大语言模型（large language model，llm）部署于端侧设备，以利用端侧设备具有的本地计算、低延迟、低功耗、安全性、可靠性、可用性或隐私保护等特点，来为用户提供更优的ai体验。可以将部署于端侧设备的大模型称为端侧模型。端侧模型可以应用于自然语言处理（natural language processing，nlp）任务或计算机视觉（computer vision，cv）任务等中的至少一项。

2、端侧模型的推理效率较低，影响了用户的使用体验。

技术实现思路

1、本申请实施例提供一种数据处理方法、端侧设备、存储介质、芯片系统以及计算机程序产品，应用于终端
，能够提高第一模型（即端侧模型）的推理效率。

2、第一方面，本申请实施例提出一种数据处理方法。该方法可以包括：第一线程可以本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，还包括：

4.根据权利要求2或3所述的方法，其特征在于，所述第二线程根据所述第一请求，从所述多个专家模块中确定多个第三专家模块，包括：

5.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.根据权利要求5所述的方法，其特征在于，所述第四专家模块是所述第一集合中与所述第一请求对应的第二专家模块；或p>

8.根据权...

【技术特征摘要】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，还包括：

4.根据权利要求2或3所述的方法，其特征在于，所述第二线程根据所述第一请求，从所述多个专家模块中确定多个第三专家模块，包括：

5.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.根据权利要求5所述的方法，其特征在于，所述第四专家模块是所述第一集合中与所述第一请求对应的第二专家模块；或

8.根据权利要求5所述的方法，其特征在于，还包括：

9.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：

10.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：

11.根据权利要求10所述的方法，其特征在于，所述第一条件包括以下至少一项：第一容量达到第二阈值、第一数目达到第三阈值、第一使用率达到第四阈值或第一命中率小于或等于第五阈值，所述第一容量用于指示所述第一集合的总存储大小，所述第二阈值是根据所述第一存储单元的存储容量确定的，所述第一数目用于指示所述第一集合中第二专家模块的总数目，所述第三阈值是根据所述第一存储单元的...

【专利技术属性】
技术研发人员：陈立庚，肖俊，安宁，
申请(专利权)人：荣耀终端股份有限公司，
类型：发明
国别省市：