基于BERT的自然语言处理方法及相关设备技术

本申请涉及人工智能技术领域，具体提供了一种基于BERT的自然语言处理方法及相关设备，其中，该方法包括：获取自然语言文本的词向量；按照第一CUDA程序，将自然语言文本的词向量加载至图形处理器中，以使图形处理器基于自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，并将查询矩阵、键矩阵和值矩阵存放至内存中；按照第二CUDA程序，从内存中获取查询矩阵、键矩阵和值矩阵，将查询矩阵、键矩阵和值矩阵加载至图形处理器中，以使图形处理器基于查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到自然语言文本的第一注意力特征。本申请实施例有利于提升自然语言处理的效率。理的效率。理的效率。

【技术实现步骤摘要】
基于BERT的自然语言处理方法及相关设备


[0001]本申请涉及机器学习
，尤其涉及一种基于BERT的自然语言处理方法及相关设备。

技术介绍

[0002]自然语言处理(Natural Language Processing)是人工智能领域研究的热点之一，如何让计算机读懂人类的语言是NLP技术的重点，随着研发力度的加大，NLP技术已经取得了突破性进展，在智能问答、机器翻译、垃圾邮件过滤等众多细分领域均可见到NLP的身影。NLP技术通常依赖于NLP模型，谷歌研发团队推出的BERT(Bidirectional Encoder Representations from Transformers，基于Transformers的双向编码表示)是近些年使用最为广泛，且表现较好的NLP模型，但是BERT的模型参数量非常巨大，过亿级的参数使得BERT在批量处理的场景下，需要耗费数百毫秒。可见，目前基于BERT的自然语言处理，存在处理效率较低的问题。

技术实现思路

[0003]针对上述问题，本申请提供了一种基于BERT的自然语言处理方法及相关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT的自然语言处理方法，其特征在于，所述方法包括：获取自然语言文本的词向量；按照第一CUDA程序，将所述自然语言文本的词向量加载至图形处理器中，以使所述图形处理器基于所述自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，并将所述查询矩阵、所述键矩阵和所述值矩阵存放至内存中；按照第二CUDA程序，从内存中获取所述查询矩阵、键矩阵和值矩阵，将所述查询矩阵、键矩阵和值矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到所述自然语言文本的第一注意力特征。2.根据权利要求1所述的方法，其特征在于，所述将所述自然语言文本的词向量加载至图形处理器中，以使所述图形处理器基于所述自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，包括：将所述自然语言文本的词向量加载至图形处理器中，以使所述图形处理器基于所述自然语言文本的词向量构建对应的查询向量、键向量和值向量；从内存中获取查询权重矩阵、键权重矩阵和值权重矩阵；将所述查询权重矩阵、所述键权重矩阵和所述值权重矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询向量和所述查询权重矩阵、所述键向量和所述键权重矩阵、以及所述值向量和所述值权重矩阵并行计算出所述查询矩阵、所述键矩阵和所述值矩阵。3.根据权利要求1或2所述的方法，其特征在于，所述将所述查询矩阵、键矩阵和值矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到所述自然语言文本的第一注意力特征，包括：将所述查询矩阵、键矩阵和值矩阵加载至所述图形处理器中，以使所述图形处理器基于所述查询矩阵、所述键矩阵和所述值矩阵并行计算出注意力权重；将所述注意力权重与所述值矩阵相乘，得到所述自然语言文本的第一注意力特征。4.根据权利要求3所述的方法，其特征在于，所述查询矩阵、所述键矩阵和所述值矩阵为多头注意力机制中每一头注意力机制的输入，所述第一注意力特征为所述每一头注意力机制的输出，所述方法还包括：对所述第一注意力特征进行拼接，得到注意力拼接特征；根据所述注意力拼接特征，得到所述自然语言文本的第二注意力特征。5.根据权利要求4所述的方法，其特征在于，所述根据所述注意力拼接特征，得到所述自然语言文本的第二注意力特征，包括：对所述注意力拼接特征进行线性映射，得到所述第二注意力特征；或者，对所述注意力拼接特征的拼接...

【专利技术属性】
技术研发人员：成杰峰，彭奕，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：