文本规整方法及装置、存储介质、电子设备制造方法及图纸

本公开提供一种文本规整方法及装置、存储介质、电子设备。所述方法包括：获取待规整文本数据；提取所述待规整文本数据的文本规整特征，所述文本规整特征包括：所述待规整文本数据中各单词的词向量、所述待规整文本数据中各单词的词性向量、和用于描述所述待规整文本数据中重复部分的离散特征；基于所述文本规整特征，通过预先构建的文本规整模型进行规整，获得文本规整结果，所述文本规整模型的拓扑结构为编码器‑解码器结构。如此方案，有助于提高文本规整效果。

【技术实现步骤摘要】
文本规整方法及装置、存储介质、电子设备
本公开涉及自然语言处理领域，具体地，涉及一种文本规整方法及装置、存储介质、电子设备。
技术介绍
随着互联网技术的迅速发展，人们每天面对的信息越来越多，而这些信息中大部分是以文本的形式出现。在实际应用过程中，文本数据中可能会存在大量噪声数据，例如，无意义的且大量出现的词，或者语义相近重复出现的词，严重干扰用户获取文本信息。此外，由于这些噪声数据的存在，使得文本数据的描述较为随意，无法直接使用，例如，记者采访过程中的语音数据，经过语音识别得到的文本数据中，经常会存在语气词、应答语、口头禅或重复描述等现象，导致无法直接使用文本数据中的相关描述编辑成稿发表，大大增加了文本编辑人员的工作量。因此，如何去除文本数据中的噪声数据，对文本数据进行规整，使规整后的文本数据更书面化具有重要意义。目前的文本规整方案主要有以下两种：方式一，通过人工对文本数据中存在的重复、无意义、口语化的词进行规整。该方案中，既需要耗费大量的人力资源，又受限于规整人员的专业性无法确保文本规整的质量。方式二，预先设定部分关键词的规整规则，利用关键词与待规整文本数据进行匹配，如果能匹配中，本文档来自技高网...

【技术保护点】
一种文本规整方法，其特征在于，所述方法包括：获取待规整文本数据；提取所述待规整文本数据的文本规整特征，所述文本规整特征包括：所述待规整文本数据中各单词的词向量、所述待规整文本数据中各单词的词性向量、和用于描述所述待规整文本数据中重复部分的离散特征；基于所述文本规整特征，通过预先构建的文本规整模型进行规整，获得文本规整结果，所述文本规整模型的拓扑结构为编码器‑解码器结构。

【技术特征摘要】
1.一种文本规整方法，其特征在于，所述方法包括：获取待规整文本数据；提取所述待规整文本数据的文本规整特征，所述文本规整特征包括：所述待规整文本数据中各单词的词向量、所述待规整文本数据中各单词的词性向量、和用于描述所述待规整文本数据中重复部分的离散特征；基于所述文本规整特征，通过预先构建的文本规整模型进行规整，获得文本规整结果，所述文本规整模型的拓扑结构为编码器-解码器结构。2.根据权利要求1所述的方法，其特征在于，所述待规整文本数据中各单词的词向量为所述单词对应的汉字生成的词向量；或者，所述待规整文本数据中各单词的词向量为所述单词对应的笔划串生成的词向量。3.根据权利要求2所述的方法，其特征在于，利用所述单词对应的笔划串生成词向量的方式为：将所述单词对应的笔划串向量输入卷积神经网络，并对所述卷积神经网络的输出进行时域池化操作，获得定长的隐层特征；对所述定长的隐层特征进行线性变换，得到所述单词的词向量。4.根据权利要求1所述的方法，其特征在于，按照以下方式构建所述文本规整模型：采集训练文本数据，并获得各条训练文本数据对应的规整后文本数据；提取所述训练文本数据的文本规整特征，所述文本规整特征包括：所述训练文本数据中各单词的词向量、所述训练文本数据中各单词的词性向量、和用于描述所述训练文本数据中重复部分的离散特征；确定所述文本规整模型的拓扑结构为编码器-解码器结构；利用所述训练文本数据的文本规整特征、以及所述编码器-解码器结构，训练所述文本规整模型，直至所述文本规整模型输出的文本规整结果与所述规整后文本数据相符为止。5.根据权利要求4所述的方法，其特征在于，所述编码器-解码器结构为基于Attention机制的编码器-解码器结构，则所述利用所述训练文本数据的文本规整特征、以及所述编码器-解码器结构，训练所述文本规整模型，包括：将所述训练文本数据的文本规整特征输入所述编码器，并对所述编码器的输出进行Attention系数线性加权，再输入到所述解码器，进行编码器解码器训练，得到所述文本规整模型。6.一种文本规整装置，其特征在于，所述装置包括：待规整文本数据获取模块，用于获取待规整文本数据；文本规整特征提取模块，用于提取所述待规整文本数据的文本规整特征，所述文本规整特征包括：所述待规整文本数据...

【专利技术属性】
技术研发人员：孔常青，包叶波，高建清，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34