批量处理多个用户请求的方法、设备、计算机程序产品技术

本公开实施例涉及用于批量处理多个用户请求的方法、设备、计算机程序产品。方法包括利用预训练语言模型对批处理请求中的多个用户请求处理。方法还包括在检测到预训练语言模型输出与至少一个用户请求对应的响应结果的情况下，将候选用户请求输入至预训练语言模型中。方法还包括利用预训练语言模型对候选用户请求和批处理请求中的其他用户请求处理，其他用户请求包括批处理请求中除至少一个用户请求之外的用户请求。通过使用本方法，语言模型对批处理请求中的一个用户请求处理完成后即可输出该用户请求对应的响应结果，而不用等待其他用户请求的处理结果全部生成后才能输出，这样不仅可以提高资源利用率，还可以降低语言模型的延迟，优化用户的使用体验。

【技术实现步骤摘要】

本公开的实施例涉及语言模型领域，并且更具体地，涉及用于批量处理多个用户请求的方法、设备和计算机程序产品。

技术介绍

1、语言模型(language model，lm)是一种基于深度学习的自然语言处理模型。语言模型能够通过学习大量的文本数据，生成具有语法和意义的自然语言文本。语言模型在词性标注、句法分析、机器翻译、信息检索等自然语言处理任务中都起到了重要作用。

2、目前，语言模型可以在同一时间段接收到多个用户输入的多个用户请求。为了提高语言模型的图形处理器(graphics processing unit，gpu)利用率以及吞吐量服务，可以利用语言模型一次性处理多个用户请求。在传统的批处理策略中，多个用户请求通常会被分成批次(batch)进行处理，以便在gpu或其他硬件上进行并行计算。

技术实现思路

1、本公开的实施例涉及批量处理多个用户请求的方法、设备和计算机程序产品。

2、根据本公开的第一方面，提供了用于批量处理多个用户请求的方法。方法包括利用预训练语言模型对批处理请求中的多个用户请本文档来自技高网...

【技术保护点】

1.一种用于批量处理多个用户请求的方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中所述利用所述预训练语言模型对所述候选用户请求和所述批处理请求中的其他用户请求处理包括：

4.根据权利要求1所述的方法，其中所述利用预训练语言模型对批处理请求中的多个用户请求处理包括：

5.根据权利要求4所述的方法，其中所述基于所述多个序列长度，利用所述预训练语言模型对所述多个用户请求处理包括：

6.根据权利要求1所述的方法，其中所述利用所述预训练语言模型对所述候选用户请求和所述批处理请求中的其他用户请求处理包...

【技术特征摘要】

1.一种用于批量处理多个用户请求的方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中所述利用所述预训练语言模型对所述候选用户请求和所述批处理请求中的其他用户请求处理包括：

4.根据权利要求1所述的方法，其中所述利用预训练语言模型对批处理请求中的多个用户请求处理包括：

5.根据权利要求4所述的方法，其中所述基于所述多个序列长度，利用所述预训练语言模型对所述多个用户请求处理包括：

6.根据权利要求1所述的方法，其中所述利用所述预训练语言模型对所述候选用户请求和所述批处理请求中的其他用户请求处理包括：

7.根据权利要求6所述的方法，还包括：

8.根据权利要求1所述的方法，还包括：

9.根据权利要求1所述的方法，还包括：

10.根据权利要求1所述的方法，其中所述用户请求包括文本生成、图像生成、文本分类、语音生成、图像描述中的任意一项请求。

11.一种电子设备，包括：

<...

【专利技术属性】
技术研发人员：陈强，P·费尔南德斯·奥雷利亚纳，
申请(专利权)人：戴尔产品有限公司，
类型：发明
国别省市：