智能体推理方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种智能体推理方法、系统、设备及存储介质，该方法包括：对问题文本和对应的上下文描述文本进行封装处理，便于模型预测的答案与问题对应；然后基于改进后的BERT网络模型生成答案，改进后的BERT网络模型包括嵌入层、Transformer编码器和全连接层，通过Transformer编码器对编码后的文本数据进行细粒度优化的并行计算，从而能够将数据划分到多个实例进行并行计算，每个实例可以使用更少的内核实现更低的延迟，提高了资源利用率，最后通过全连接层将文本特征数据转换为文本位置概率值，并根据文本位置概率值确定答案文本，从而能够提高了众核处理器上智能体推理的速度。

【技术实现步骤摘要】

本专利技术涉及计算机并行计算，尤其涉及一种智能体推理方法、系统、设备及存储介质。

技术介绍

1、智能体通过基于transformer的神经网络计算推理，理解用户的文本输入，输出文本与用户进行交互，可以应用在各种场景。在基于transformer的神经网络中，代表模型有bert和gpt等，但是这类模型通常为了数据预测精度，其计算性能欠佳，其模型结构中的transformer编码器或解码器的计算占比最大，而其还有很大的改进空间。同时，越来越多的处理器核心被同时放置在一台机器上，多核处理器引入了非统一内存访问体系结构(numa)，如intel cpu和amd cpu等，多个核心被组织成一个numa节点，若干个numa节点组织成一台众核设备。虽然这些特性潜在地带来了更高的聚合计算能力，但由于缓存争用、线程同步和numa远程访问而导致的低效并行性也变得更加严重。

2、因此，在众核cpu上部署深度学习应用程序需要更复杂的并行化来实现更高的性能。目前的智能体推理应用大多是传统多核cpu或多gpu平台进行推理加速，但是欠缺对众核设备平台的适配和优化，若直接运行本文档来自技高网...

【技术保护点】

1.一种智能体推理方法，其特征在于，所述方法应用于众核处理器，所述智能体推理方法包括：

2.如权利要求1所述的智能体推理方法，其特征在于，所述将所述处理后的文本数据输入至改进后的BERT网络模型，生成答案文本，包括：

3.如权利要求2所述的智能体推理方法，其特征在于，所述通过所述Transformer编码器对所述编码后的文本数据进行并行计算处理，获得文本特征数据，包括：

4.如权利要求3所述的智能体推理方法，其特征在于，所述Transformer编码器包括主实例和辅助实例；所述通过所述Transformer编码器将所述编码后的文本数据和网络模型参数执行...

【技术特征摘要】

1.一种智能体推理方法，其特征在于，所述方法应用于众核处理器，所述智能体推理方法包括：

2.如权利要求1所述的智能体推理方法，其特征在于，所述将所述处理后的文本数据输入至改进后的bert网络模型，生成答案文本，包括：

3.如权利要求2所述的智能体推理方法，其特征在于，所述通过所述transformer编码器对所述编码后的文本数据进行并行计算处理，获得文本特征数据，包括：

4.如权利要求3所述的智能体推理方法，其特征在于，所述transformer编码器包括主实例和辅助实例；所述通过所述transformer编码器将所述编码后的文本数据和网络模型参数执行优化后的细粒度并行的矩阵乘法任务，获得qkv矩阵，包括：

5.如权利要求3所述的智能体推理方法，其特征在于，所述执行优化后的细粒度并行的矩阵乘法任务，包括：

6.如权利要求5所述的智能体推理方...

【专利技术属性】
技术研发人员：黄聃，卢宇彤，林沛佳，江嘉治，
申请(专利权)人：中山大学，
类型：发明
国别省市：