句型识别方法技术

本发明专利技术公开了一种句型识别方法，通过获取训练数据集，在对训练数据集进行预处理后，根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列，获取待识别语句中的各个词，得到多个目标词，在第一词向量序列中查找各个目标词的第一词向量，依据各个第一词向量确定问句词向量QV1，在第二词向量序列中查找各个目标词的第二词向量，依据各个第二词向量确定非问句词向量QV2，计算问句词向量QV1和非问句词向量QV2之间的余弦相似度，根据余弦相似度确定待识别语句的类型，使待识别语句的类型以待识别语句所包括的目标词为依据，可以提高识别结果的准确性，从而提高识别精度。

【技术实现步骤摘要】
句型识别方法
本专利技术涉及信号处理
，尤其涉及一种句型识别方法和存储介质。
技术介绍
问答系统(QuestionAnsweringSystem，QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。一个问答系统牵涉到问和答，那么从海量的语句中识别出问句是个很迫切的需求。只有识别出C端(客户端)的问答需求，才能更好的针对问题进行归纳整理答案，更好的服务客户。传统方案往往通过分析标点等句型特征进行句型识别，虽然在一定程度上可以响应句型识别需求，然而往往存在识别精度低的问题。
技术实现思路
针对以上问题，本专利技术提出一种句型识别方法和存储介质。为实现本专利技术的目的，提供一种句型识别方法，包括如下步骤：S10，获取训练数据集；所述训练数据集包括多个标注句型的问句以及多个标注句型的非问句；S30，在对训练数据集进行预处理后，根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列；所述第一词向量序列用于计算各个词语的第一词向量，第一词向量表征相应词语属于问句的概率，所述第二词向量序列用于计算各个词语的第二词向量，第二词向量表征相应词语属于非问句的概率；S40，获取待识别语句中的各个词，得到多个目标词，在第一词向量序列中查找各个目标词的第一词向量，依据各个第一词向量确定问句词向量QV1，在第二词向量序列中查找各个目标词的第二词向量，依据各个第二词向量确定非问句词向量QV2；S50，计算问句词向量QV1和非问句词向量QV2之间的余弦相似度，根据所述余弦相似度确定待识别语句的类型。在一个实施例中，所述计算问句词向量QV1和非问句词向量QV2之间的余弦相似度，根据所述余弦相似度确定待识别语句的类型包括：分别将问句词向量QV1和非问句词向量QV2转换为设定长度的向量，计算转换后的两个向量的余弦相似度；当余弦相似度大于设定阈值时，判定待识别语句为非问句，当余弦相似度小于设定阈值时，判定待识别语句为问句。在一个实施例中，在对训练数据集进行预处理后，根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列之前，还包括：S20，对所述训练数据集进行预处理，以去除所述训练数据集中各个语句中的噪声词。作为一个实施例，所述对所述训练数据集进行预处理包括：获取训练数据集中语句集合C＝{C1，C2，C3，...，Cn}和标签集合L＝{L1，L2，L3，...，Ln}；Ci表示第i个语句，i＝1，2，......，n，n表示训练数据集中的语句个数；将每个语句进行分词，去除各个语句中的停用词；对去除停用词后的各个语句进行词过滤，得到过滤结果；去除过滤结果所包括的各个语句中的重复词，根据标签集合L＝{L1，L2，L3，...，Ln}将语句集合C＝{C1，C2，C3，...，Cn}划分为问句集Q1和非问句集Q2。作为一个实施例，所述对去除停用词后的各个语句进行词过滤包括：获取各个词语在各个语句中的出现次数，定义最小出现次数为min和最大出现次数为max；剔除出现次数在区间(min，max)以外的词语。作为一个实施例，所述根据预处理后的训练数据集确定问句对应的第一词向量序列包括：获取问句集中各个语句的去重分词结果集T1，以及各个语句的去除过滤结果集S1；计算问句集第m个语句中各个词的第一词频值；第m个语句中第j个词Tj的第一词频值TF1(Tj)的计算公式包括：其中，count1Tj为语句C1m的分词结果中词Tj出现的数目，count1Sj为语句C1m分词结果中所有词的数目，C1m为问句集第m个语句；计算问句集第m个语句中各个词的IDF1值；第m个语句中第j个词Tj的IDF值IDF1(Tj)的计算公式包括：其中，N1表示问句集包括的语句数，N1(Tj)代表示问句集中包含词Tj的语句数；计算问句集第m个语句中各个词的TF-IDF1值；第m个语句中第j个词Tj的TF-IDF1值TF-IDF1(Tj)为：TF-IDF1(Tj)＝TF1(Tj)*IDF1(Tj)；计算去重分词结果集T1中各个词分别对应的TF-IDF1值，将这组TF-IDF1值组成一个一维向量，得到问句一维向量；对问句一维向量进行标准化处理，使问句一维向量的各个值都落在(0，1)中，得到各个词对应的第一词向量序列。作为一个实施例，所述根据预处理后的训练数据集确定非问句对应的第二词向量序列包括：获取非问句集中各个语句的去重分词结果集T2，以及各个语句的去除过滤结果集S2；计算非问句集第m个语句中各个词的第二词频值；第m个语句中第j个词Tj的第二词频值TF2(Tj)的计算公式包括：其中，count2Tj为语句C2m的分词结果中词Tj出现的数目，count2Sj为语句C2m分词结果中所有词的数目，C2m为非问句集第m个语句；计算非问句集第m个语句中各个词的IDF2值；第m个语句中第j个词Tj的IDF2值IDF2(Tj)的计算公式包括：其中，N2表示非问句集包括的语句数，N2(Tj)代表示非问句集中包含词Tj的语句数；计算非问句集第m个语句各个词的TF-IDF2值；第m个语句第j个词Tj的TF-IDF2值TF-IDF2(Tj)为：TF-IDF2(Tj)＝TF2(Tj)*IDF2(Tj)；计算去重分词结果集T2中各个词分别对应的TF-IDF2值，将这组TF-IDF2值组成一个一维向量，得到非问句一维向量；对非问句一维向量进行标准化处理，使非问句一维向量的各个值都落在(0，1)中，得到各个词对应的第二词向量序列。作为一个实施例，标准化处理的过程包括：x′＝(x-μ)/δ，其中，x′表示词标准化处理后的TF-IDF1值或TF-IDF2值，x表示词标准化处理前的TF-IDF1值或TF-IDF2值，μ表示问句一维向量中各个值的均值或者非问句一维向量中各个值的均值，δ表示问句一维向量中各个值对应的标准差或者非问句一维向量中各个值对应的标准差。上述句型识别方法，通过获取训练数据集，在对训练数据集进行预处理后，根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列，获取待识别语句中的各个词，得到多个目标词，在第一词向量序列中查找各个目标词的第一词向量，依据各个第一词向量确定问句词向量QV1，在第二词向量序列中查找各个目标词的第二词向量，依据各个第二词向量确定非问句词向量QV2，计算问句词向量QV1和非问句词向量QV2之间的余弦相似度，根据所述余弦相似度确定待识别语句的类型，使待识别语句的类型以待识别语句所包括的目标词为依据，可以提高识别结果的准确性，从而提高识别精度。附图说明图1是树结构的生成过程示意图；图2是一个实施例的句型识别装置结构示意图；图3为一个实施例的计算机设备示意图。<本文档来自技高网...

【技术保护点】
1.一种句型识别方法，其特征在于，包括如下步骤：/nS10，获取训练数据集；所述训练数据集包括多个标注句型的问句以及多个标注句型的非问句；/nS30，在对训练数据集进行预处理后，根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列；所述第一词向量序列用于计算各个词语的第一词向量，第一词向量表征相应词语属于问句的概率，所述第二词向量序列用于计算各个词语的第二词向量，第二词向量表征相应词语属于非问句的概率；/nS40，获取待识别语句中的各个词，得到多个目标词，在第一词向量序列中查找各个目标词的第一词向量，依据各个第一词向量确定问句词向量QV1，在第二词向量序列中查找各个目标词的第二词向量，依据各个第二词向量确定非问句词向量QV2；/nS50，计算问句词向量QV1和非问句词向量QV2之间的余弦相似度，根据所述余弦相似度确定待识别语句的类型。/n

【技术特征摘要】
1.一种句型识别方法，其特征在于，包括如下步骤：
S10，获取训练数据集；所述训练数据集包括多个标注句型的问句以及多个标注句型的非问句；
S30，在对训练数据集进行预处理后，根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列；所述第一词向量序列用于计算各个词语的第一词向量，第一词向量表征相应词语属于问句的概率，所述第二词向量序列用于计算各个词语的第二词向量，第二词向量表征相应词语属于非问句的概率；
S40，获取待识别语句中的各个词，得到多个目标词，在第一词向量序列中查找各个目标词的第一词向量，依据各个第一词向量确定问句词向量QV1，在第二词向量序列中查找各个目标词的第二词向量，依据各个第二词向量确定非问句词向量QV2；
S50，计算问句词向量QV1和非问句词向量QV2之间的余弦相似度，根据所述余弦相似度确定待识别语句的类型。


2.根据权利要求1所述的句型识别方法，其特征在于，在一个实施方式中，所述计算问句词向量QV1和非问句词向量QV2之间的余弦相似度，根据所述余弦相似度确定待识别语句的类型包括：
分别将问句词向量QV1和非问句词向量QV2转换为设定长度的向量，计算转换后的两个向量的余弦相似度；
当余弦相似度大于设定阈值时，判定待识别语句为非问句，当余弦相似度小于设定阈值时，判定待识别语句为问句。


3.根据权利要求1所述的句型识别方法，其特征在于，在一个实施方式中，在对训练数据集进行预处理后，根据预处理后的训练数据集确定问句对应的第一词向量序列以及非问句对应的第二词向量序列之前，还包括：
S20，对所述训练数据集进行预处理，以去除所述训练数据集中各个语句中的噪声词。


4.根据权利要求3所述的句型识别方法，其特征在于，在一个实施方式中，所述对所述训练数据集进行预处理包括：
获取训练数据集中语句集合C＝{C1，C2，C3，...，Cn}和标签集合L＝{L1，L2，L3，...，Ln}；Ci表示第i个语句，i＝1，2，......，n，n表示训练数据集中的语句个数；
将每个语句进行分词，去除各个语句中的停用词；
对去除停用词后的各个语句进行词过滤，得到过滤结果；
去除过滤结果所包括的各个语句中的重复词，根据标签集合L＝{L1，L2，L3，...，Ln}将语句集合C＝{C1，C2，C3，...，Cn}划分为问句集Q1和非问句集Q2。


5.根据权利要求4所述的句型识别方法，其特征在于，在一个实施方式中，所述对去除停用词后的各个语句进行词过滤包括：
获取各个词语在各个语句中的出现次数，定义最小出现次数为min和最大出现次数为max；
剔除出现次数在区间(min，max)以外的词语。


6.根据权利要求4所述的句型识别方法，其特征在于，在一个实施方式中，所述根据预处理后的训练数据集确定问句对应的第...

【专利技术属性】
技术研发人员：王冲，崇传兵，
申请(专利权)人：江苏艾佳家居用品有限公司，
类型：发明
国别省市：江苏;32