一种将序列的位置信息添加到文本特征的多通道方法及装置制造方法及图纸

本发明专利技术提出了一种将序列的位置信息添加到文本特征的多通道方法及装置，以解决现有神经网络模型中存在的模型预测准确率较差、收敛速度慢的问题。通过对神经网络模型的结构进行合理的规划，将序列的位置数据信息、文本的特征数据信息并结合不同的静态权重进行融合，提高了神经网络模型预测准确率和收敛速度。

【技术实现步骤摘要】

本专利技术涉及计算机领域，尤其涉及一种将序列的位置信息添加到文本特征的多通道方法及装置。

技术介绍

1、自然语言处理（natural language processing，nlp）是一门交叉学科，它位于计算机科学、人工智能和语言学的交汇点，旨在让计算机能够理解、解释以及生成人类的自然语言。随着信息技术的飞速发展和互联网数据的爆炸性增长，自然语言处理技术变得日益重要，广泛应用于各种场景中，从日常交流的智能助手、机器翻译、情感分析，到专业领域的文档摘要、信息抽取、智能客服等。

2、自然语言处理模型的发展是人工智能领域的一大里程碑，它们的演化史见证了从基于规则的方法到统计学习模型，再到现今广泛应用的深度学习模型的转变。

3、现有自然语言处理（nlp）模型尽管取得了显著的进步，但仍面临神经网路模型的预测的准确率较差的问题。

技术实现思路

1、本专利技术提供一种将序列的位置信息添加到文本特征的多通道方法及装置，以解决现有的神经网络模型的预测准确率、模型的运算速度慢的问题。</p>

2、第一本文档来自技高网...

【技术保护点】

1.一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，具体包括如下步骤：

2.根据权利要求1所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，步骤S1中，所述神经网络模型具体包括如下模块：

3.根据权利要求2所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，所述神经网络模型中，layer模块、多通道按位置衰减的线性关联特征模块和Linear Layer模块的数量大小均为n，一个layer模块、一个多通道按位置衰减的线性关联特征模块和一个Linear Layer模块形成一个链路，共形成n个并连的链路。p>

4.根据权...

【技术特征摘要】

1.一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，具体包括如下步骤：

2.根据权利要求1所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，步骤s1中，所述神经网络模型具体包括如下模块：

3.根据权利要求2所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，所述神经网络模型中，layer模块、多通道按位置衰减的线性关联特征模块和linear layer模块的数量大小均为n，一个layer模块、一个多通道按位置衰减的线性关联特征模块和一个linear layer模块形成一个链路，共形成n个并连的链路。

4.根据权利要求3所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，所述n个并连的链路的第一端为所述norm模块，第二端为所述f(abc)模块，每个所述的链路从第一端至第二端依次连接layer模块、多通道按位置衰减的线性关联特征模块和liner layer模块。

5.根据权利要求3或4所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，所述n个并连的链路中，每个链路的输入均为序列a。

6.根据权利要求2所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，所述norm模块将token_emb中的每个数据减去token_emb数据的均值后，再除以token_emb数据的方差，实现数据的归一化处理。

7.根据权利要求2所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，每个所述多通道按位置衰减的线性关联特征模块包括m个并连的单通道按位置衰减的线性关联特征子模块，每个所述单通道按位置衰减的线性关联特征子模块均不相同，设置有不同的权重headz；

8.根据权利要求7所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，所述单通道按位置衰减的线性关联特征子模块中的权重headz，计算公式如下：

9.根据权利要求8所述的一种将序列的位置信息添加到文本特征的多通道方法，其特征在于，所述单通道按位...

【专利技术属性】
技术研发人员：杨华，
申请(专利权)人：上海岩芯数智人工智能科技有限公司，
类型：发明
国别省市：