一种基于NLP预训练技术模型的语言处理系统技术方案

本发明专利技术公开了一种基于NLP预训练技术模型的语言处理系统，涉及语言处理技术领域，包括转换模块、语句分析模块与语言模块，所述转换模块将文字信息数据输入语句分析模块中对文字信息进行语句分割，分割的语句输入语言模块中进行前向语言模型分析相关度，将相关度正常的语句反馈至所述语句分析模块中进行词汇分离与维度分析，并赋予对应语句维度量，再输入至所述语言模块中的双向语言模型中分析处理，从而在相关度高的数据中进一步提取出语义丰富的文字数据喂入到语言模型，可以大大提高语言模型的数据分析，从而为智能外呼系统提供更为准确的智能AI与用户进行沟通，使得大大降低了智能AI与用户沟通过程中答不上来的问题，能极大的辅助智能AI与用户进行沟通，从而提高人机会话的质量与效率。

【技术实现步骤摘要】

本专利技术涉及语言处理，具体为一种基于nlp预训练技术模型的语言处理系统。

技术介绍

1、自然语言是作为人类相互沟通的一种方式，自然语言处理(英文为：naturallanguage processing，简称nlp)广义上定义为通过软件对语音和文本这样的自然语言进行自动分析处理和操作，最常见的自然语言处理应用包括文本朗读、语音合成、语音识别、中文自动分词、词性标注、句法分析、自然语言生成、文本分类、信息检索、信息抽取、文字校对、问答系统、机器翻译、自动摘要和文字蕴涵等；

2、而现有的通信技术中，智能外呼服务的使用较为广泛，而智能外呼的人机会话的过程中，智能ai的沟通需要不断的进行学习完善才能更好的应对沟通，目前的自然语言处理中对于一些语义较多的词语组成的语句进行分析时，极容易产生语言歧义，而且容易出现在一些与目标内容不相关的语句上，一旦这些语句数据喂入到语言模型中，就极容易导致模型对语言的处理出现问题，从而影响到人机会话。

技术实现思路

1、本专利技术的目的在于提供一种基于nlp预训练技术模型的语本文档来自技高网...

【技术保护点】

1.一种基于NLP预训练技术模型的语言处理系统，其特征在于：包括将外呼对话语音转化为文字信息的转换模块，所述转换模块将文字信息数据输入语句分析模块中对文字信息进行语句分割，分割的语句输入语言模块中的前向语言模型进行分析相关度，将具有相关度的语句反馈至所述语句分析模块中进行词汇分离与维度分析，并赋予对应语句一个维度量，再将具有维度量的词汇分离语句输入至所述语言模块中的双向语言模型中分析处理。

2.根据权利要求1所述的一种基于NLP预训练技术模型的语言处理系统，其特征在于：所述语句分析模块中将每组对话的文字信息中的第一个句子分割设置为Pt，所述第一个句子的前一个句子分割设置为Pt...

【技术特征摘要】

1.一种基于nlp预训练技术模型的语言处理系统，其特征在于：包括将外呼对话语音转化为文字信息的转换模块，所述转换模块将文字信息数据输入语句分析模块中对文字信息进行语句分割，分割的语句输入语言模块中的前向语言模型进行分析相关度，将具有相关度的语句反馈至所述语句分析模块中进行词汇分离与维度分析，并赋予对应语句一个维度量，再将具有维度量的词汇分离语句输入至所述语言模块中的双向语言模型中分析处理。

2.根据权利要求1所述的一种基于nlp预训练技术模型的语言处理系统，其特征在于：所述语句分析模块中将每组对话的文字信息中的第一个句子分割设置为pt，所述第一个句子的前一个句子分割设置为pt-1，所述第一个句子的后一个句子分割设置为pt+1，则每组对话的文字信息为q(p1,p2,…,pt-1…,pt,…,pt+1)，将pt输入前向语言模型进行相关度分析，得到输出pt+1的概率为每组对话的文字信息q的相关度。

3.根据权利要求2所述的一种基于nlp预训练技术模型的语言处理系统，其特征在于：所述前向语言模型中进行相关度分析的方法包括以下步骤：

4.根据权利要求3所述的一种基于nlp预训练技术模型的语言处理系统，其特征在于：所述语句分析模块中对相关度正常的语句进行词汇分离包括对pt分词，每个有效的分词设置为t，确定pt的有效分词量n，则为pt(t1,t2,…，tn-1，…tn+1)。

5.根据权利要求4所述的一种基于nlp...

【专利技术属性】
技术研发人员：李钊，汤建利，吴佳林，
申请(专利权)人：浙江荣腾信息科技有限公司，
类型：发明
国别省市：