单语句通顺度预测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种单语句通顺度预测方法，包括：获取待判断的单语句并确定该单语句对应的应用场景；将单语句输入对应的预置语句通顺度模型，其中，语句通顺度模型为神经网络模型，且以Bert模型作为输入层、以CNN模型作为分类器；通过Bert模型将单语句转换为句向量并输入CNN模型；依次通过CNN模型的卷积层、池化层、Flatten层、连接层、Dropout层、全连接层的处理后，得到单语句中的全局特征向量；将全局特征向量输入CNN模型的输出层进行Sigmoid函数计算后输出，得到单语句的语句通顺度预测值。本发明专利技术还公开了一种单语句通顺度预测装置、设备及计算机可读存储介质。本发明专利技术实现了各种应用场景下的单语句的通顺度的预测打分，提高了机器对话的智能化水平。

【技术实现步骤摘要】
单语句通顺度预测方法、装置、设备及存储介质
本专利技术涉及人工智能
，尤其涉及一种单语句通顺度预测方法、装置、设备及存储介质。
技术介绍
语句通顺度是指一个句子的语义是否通顺、表达是否符合语法、是否存在用词不恰当；或者句子与句子之间通顺畅达、文气贯通，没有任何含混、错乱和别扭之处。从表达方面来说，如果一篇文章病句较多，语言不通顺，缺乏文采，即使立意再新，结构再巧妙，表达方式运用得再好，这样的文章也只能使人不堪卒读。因此在自然语言处理领域，如何对语句通顺程度进行衡量也是一件比较重要的任务，例如在自动问答机器人或者智慧客服等场景，这项任务可以辅助识别和筛选有效的用户Query，提升应答的准确率。传统的单语句通顺度的衡量方法是基于语言模型的，也就是对每个词或者字，估算其在现有词句之后出现的概率，以此迭代直至句子生成，然后通过累乘等手段进行组合得到整个语句的概率，即为通顺度。但建立语言模型需要积累大量的高质量文本，虽然在一般通用场景下可以通过爬虫抓取维基百科等开放语料进行训练，但此方案无法推广到特定场景下，对专有名词无法自适应，这样就会导致语句的通顺度偏低。
技术实现思路
本专利技术的主要目的在于提供一种单语句通顺度预测方法、装置、设备及存储介质，旨在解决传统的单语句通顺度预测方法无法自适应场景的技术问题。为实现上述目的，本专利技术提供一种单语句通顺度预测方法，所述单语句通顺度预测方法包括以下步骤：获取待判断的单语句并确定该单语句对应的应用场景；将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以Bert模型作为所述神经网络模型的输入层、以CNN模型作为所述神经网络模型的分类器；通过所述Bert模型将所述单语句转换为句向量并输入所述CNN模型，所述CNN模型依次包括：卷积层、池化层、Flatten层、连接层、Dropout层、全连接层以及由Sigmoid函数构成的输出层；依次通过所述卷积层、池化层、Flatten层、连接层、Dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；将所述全局特征向量输入所述输出层进行Sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。可选地，所述依次通过所述卷积层、池化层、Flatten层、连接层、Dropout层、全连接层的处理后，得到所述单语句中的全局特征向量包括：通过所述卷积层提取所述句向量中的局部特征向量并输入所述池化层进行降维，得到多个低维度的局部特征向量以及通过Flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量；通过所述Dropout层对所述多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量；将所述多个最优局部特征向量输入所述全连接层进行特征组合，得到所述单语句中的全局特征向量。可选地，在所述获取待判断的单语句并确定该单语句对应的应用场景的步骤之前，还包括：获取指定应用场景下的正常语句作为正样本；分别调整各正样本中字词的表达顺序，得到对应的负样本；重复调整各正样本中字词的表达顺序，直至正样本与负样本的比例达到预置比例，其中，所述预置比例为1:2、1:3、1:4中的任一种。可选地，所述分别调整各正样本中字词的表达顺序，得到对应的负样本包括：分别将各正样本中语句按字或词进行随机排序并重构成新语句，得到对应的负样本；和/或分别将各正样本中语句的字或词随机替换成预置词典中的字或词，得到对应的负样本，其中，随机替换的字词的总长度小于对应语句的字词长度的一半。可选地，在所述获取待判断的单语句并确定该单语句对应的应用场景的步骤之前，还包括：将所有正样本的样本标签设置为1、所有负样本的样本标签设置为-1；将各带样本标签的正样本和负样本输入所述神经网络模型中进行训练，并判断所述神经网络模型对应的交叉熵损失函数是否收敛；若所述神经网络模型对应的交叉熵损失函数收敛，则停止训练，得到所述语句通顺度模型，否则调整所述神经网络模型的学习权重并继续进行训练。进一步地，为实现上述目的，本专利技术还提供一种单语句通顺度预测装置，所述单语句通顺度预测装置包括：获取模块，用于获取待判断的单语句并确定该单语句对应的应用场景；输入模块，用于将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以Bert模型作为所述神经网络模型的输入层、以CNN模型作为所述神经网络模型的分类器；预处理模块，用于通过所述Bert模型将所述单语句转换为句向量并输入所述CNN模型，所述CNN模型依次包括：卷积层、池化层、Flatten层、连接层、Dropout层、全连接层以及由Sigmoid函数构成的输出层；特征获取模块，用于依次通过所述卷积层、池化层、Flatten层、连接层、Dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；通顺度输出模块，用于将所述全局特征向量输入所述输出层进行Sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。可选地，所述特征获取模块包括：特征提取单元，用于通过所述卷积层提取所述句向量中的局部特征向量并输入所述池化层进行降维，得到多个低维度的局部特征向量以及通过Flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量；特征优化单元，用于通过所述Dropout层对所述多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量；特征组合单元，用于将所述多个最优局部特征向量输入所述全连接层进行特征组合，得到所述单语句中的全局特征向量。可选地，所述单语句通顺度预测装置还包括：样本处理模块，用于获取指定应用场景下的正常语句作为正样本；分别调整各正样本中字词的表达顺序，得到对应的负样本；重复调整各正样本中字词的表达顺序，直至正样本与负样本的比例达到预置比例，其中，所述预置比例为1:2、1:3、1:4中的任一种。进一步地，为实现上述目的，本专利技术还提供一种单语句通顺度预测设备，所述单语句通顺度预测设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的单语句通顺度预测程序，所述单语句通顺度预测程序被所述处理器执行时实现如上述任一项所述的单语句通顺度预测方法的步骤。进一步地，为实现上述目的，本专利技术还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有单语句通顺度预测程序，所述单语句通顺度预测程序被处理器执行时实现如上述任一项所述的单语句通顺度预测方法的步骤。本专利技术所使用的语句通顺度模型为神经网络模型，具体由Bert模型与卷积神经网络模型融合而成，Bert模型为该神经网络模型的输入层、而CNN模型为该神经网络模型的分类器，Bert模型将待预测本文档来自技高网...

【技术保护点】
1.一种单语句通顺度预测方法，其特征在于，所述单语句通顺度预测方法包括以下步骤：/n获取待判断的单语句并确定该单语句对应的应用场景；/n将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以Bert模型作为所述神经网络模型的输入层、以CNN模型作为所述神经网络模型的分类器；/n通过所述Bert模型将所述单语句转换为句向量并输入所述CNN模型，所述CNN模型依次包括：卷积层、池化层、Flatten层、连接层、Dropout层、全连接层以及由Sigmoid函数构成的输出层；/n依次通过所述卷积层、池化层、Flatten层、连接层、Dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；/n将所述全局特征向量输入所述输出层进行Sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。/n

【技术特征摘要】
1.一种单语句通顺度预测方法，其特征在于，所述单语句通顺度预测方法包括以下步骤：
获取待判断的单语句并确定该单语句对应的应用场景；
将所述单语句输入所述应用场景对应的预置语句通顺度模型，其中，所述语句通顺度模型为神经网络模型，且以Bert模型作为所述神经网络模型的输入层、以CNN模型作为所述神经网络模型的分类器；
通过所述Bert模型将所述单语句转换为句向量并输入所述CNN模型，所述CNN模型依次包括：卷积层、池化层、Flatten层、连接层、Dropout层、全连接层以及由Sigmoid函数构成的输出层；
依次通过所述卷积层、池化层、Flatten层、连接层、Dropout层、全连接层的处理后，得到所述单语句中的全局特征向量；
将所述全局特征向量输入所述输出层进行Sigmoid函数计算后输出，得到所述单语句的语句通顺度预测值，其中，单语句的通顺度与所述语句通顺度预测值成正比。


2.如权利要求1所述的单语句通顺度预测方法，其特征在于，所述依次通过所述卷积层、池化层、Flatten层、连接层、Dropout层、全连接层的处理后，得到所述单语句中的全局特征向量包括：
通过所述卷积层提取所述句向量中的局部特征向量并输入所述池化层进行降维，得到多个低维度的局部特征向量以及通过Flatten层将多个低维度的局部特征向量压缩为多个一维的局部特征向量；
通过所述Dropout层对所述多个一维的局部特征向量进行正则化处理，得到处理后的多个最优局部特征向量；
将所述多个最优局部特征向量输入所述全连接层进行特征组合，得到所述单语句中的全局特征向量。


3.如权利要求1所述的单语句通顺度预测方法，其特征在于，在所述获取待判断的单语句并确定该单语句对应的应用场景的步骤之前，还包括：
获取指定应用场景下的正常语句作为正样本；
分别调整各正样本中字词的表达顺序，得到对应的负样本；
重复调整各正样本中字词的表达顺序，直至正样本与负样本的比例达到预置比例，其中，所述预置比例为1:2、1:3、1:4中的任一种。


4.如权利要求3所述的单语句通顺度预测方法，其特征在于，所述分别调整各正样本中字词的表达顺序，得到对应的负样本包括：
分别将各正样本中语句按字或词进行随机排序并重构成新语句，得到对应的负样本；和/或
分别将各正样本中语句的字或词随机替换成预置词典中的字或词，得到对应的负样本，其中，随机替换的字词的总长度小于对应语句的字词长度的一半。


5.如权利要求3或4所述的单语句通顺度预测方法，其特征在于，在所述获取待判断的单语句并确定该单语句对应的应用场景的步骤之前，还包括：
将所有正样本的样本标签设置为1、所有负样本的样本标签设置为-1；
将各带样本标签的正样本和负样本输入所述神经网络模型中进行训练，并判断所述神...

【专利技术属性】
技术研发人员：黄嘉鑫，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44