一种基于阅读理解的智能问答方法及系统技术方案

本发明专利技术提供一种基于阅读理解的智能问答方法及系统，本发明专利技术提出了基于阅读理解的智能问答的方案，设计了制度问答系统。而且，通过本发明专利技术中的多步骤进行答案的抽取，不仅能够保证答案的准确率，还能够以90％的准确率在长文本的制度文件中找到员工问题的答案，同时也能以问答的方式对制定的制度进行合规查询。所以本发明专利技术可以解决以下问题：(1)该系统能够以90％的准确率在长文本的制度文件中找到员工问题的答案；(2)在制定规章制度时，可以利用该系统查询制定的相关规章是否符合集团规定。查询制定的相关规章是否符合集团规定。查询制定的相关规章是否符合集团规定。

【技术实现步骤摘要】
一种基于阅读理解的智能问答方法及系统


[0001]本专利技术涉及自然语言
，特别是涉及一种基于阅读理解的智能问答方法及系统。

技术介绍

[0002]随着经济的发展，目前部分集团公司的规模不断扩大，导致一个集团公司可能拥有多家子公司。而部分集团公司可能会让子公司的规章制度依照集团母公司的制度进行制定。子公司为了能够合规制定制度文件，需要不断和集团母公司相关部门进行沟通，导致子公司在制定文件时，效率较低。同时，随着制度的更新，员工需要了解和学习相关规定和申请业务流程。但由于制度规定较为繁琐，员工很难在第一时间找到相关文件和规定。并且，现有的自然语言处理技术对于长文本文件的问答并不能解决上述问题。

技术实现思路

[0003]鉴于以上所述现有技术的缺点及问题，本专利技术的目的在于提供一种基于阅读理解的智能问答方法及系统，用于解决现有技术中存在的问题。
[0004]为实现上述目的及其他相关目的，本专利技术提供一种基于阅读理解的智能问答方法，包括以下步骤：
[0005]获取历年制度文件，并以电子问卷的方式，收集员工对集团母公司历年制度文件所产生的问题，以及收集集团子公司在制定制度时所产生的问题，所述集团子公司属于集团母公司；
[0006]对同类问题进行问题归一化，并将多个问法且相同的问题映射为一个标准问题，以及将所述标准问题保存至标准问题库中；
[0007]根据制度文件的文件类型进行段落拆解，并以段落为单位将拆解后的文本内容保存至目标文件中；所述制度文件包括：集团子公司的制度文件和集团母公司的制度文件；
[0008]对保存在目标文件中的文本内容进行标注，且在进行标注时，首先基于所收集的问题对相应段落进行标注，并在完成段落标注后，基于语义分析对无问题的段落生成问题进行标注，以及将所有的标注结果存储至标准问题库中；
[0009]利用标准问题库对基于阅读理解的智能问答模型进行训练，生成用于进行人机交互的智能问答模型，所述智能问答模型可以根据用户输入的问题反馈对应的答案。
[0010]可选地，若制度文件的文件类型为word，则根据制度文件的文件类型进行段落拆解，并以段落为单位将拆解后的文本内容保存至目标文件中的过程包括：
[0011]利用python
‑
docx类库中的Document方法，获取所述制度文件中的文档对象；
[0012]根据所述文档对象以及paragraphs方法对文件类型为word的制度文件进行拆解，获取文件类型为word的制度文件中的每个段落内容；
[0013]以段落为单位将拆解后的文本内容保存至content.csv文件中。
[0014]可选地，若制度文件的文件类型为pdf，则根据制度文件的文件类型进行段落拆
解，并以段落为单位将拆解后的文本内容保存至目标文件中的过程包括：
[0015]使用pdfplumber工具以及extract_words方法按页抽取出文件类型为pdf的制度文件中的所有文字和坐标信息，并保存到list数组中；
[0016]基于list数组中的所有文本以及对应的坐标信息获取所有文本的最右坐标，判断所获取的当前文本的坐标与上一次获取的文本的坐标是否一致；若一致，则说明是当前文本与上一次获取的文本为一个段落，并将所获取的当前文本与上一次获取的文本合并为一个段落；若不一致，则将所获取的当前文本、上一次获取的文本分别作为一个段落，直至获取到所有的自然段落；
[0017]以段落为单位将获取到所有的自然段落保存至content.csv文件中。
[0018]可选地，利用标准问题库对基于阅读理解的智能问答模型进行训练，生成用于进行人机交互的智能问答模型的过程包括：
[0019]将所收集的问题以及标准问题库中的段落进行拼接，并利用词表将拼接文本映射为数字；
[0020]利用spacy类库获取问题中的词性信息，所述词性信息包括利用词表将字符转为数字；
[0021]对所述拼接文本和所述词性信息进行拼接，获取融合字符信息和词性信息的表征矩阵。
[0022]可选地，利用标准问题库对基于阅读理解的智能问答模型进行训练，生成用于进行人机交互的智能问答模型的过程还包括：
[0023]将所述表征矩阵、文本对应的位置编码信息、问题和文本的类型信息都输入至基于变换器的双向编码器中，利用所述双向编码器对所述表征矩阵、文本对应的位置编码信息、问题和文本的类型信息进行加权求和；
[0024]完成加权求和后，利用自注意力机制计算信息的注意力权重；
[0025]将词汇的注意力权重与信息进行乘法计算，得到注意力矩阵；
[0026]将注意力矩阵输入到归一层中，进行池化，获取编码层矩阵。
[0027]可选地，利用标准问题库对基于阅读理解的智能问答模型进行训练，生成用于进行人机交互的智能问答模型的过程还包括：
[0028]将问题和答案所对应的文本进行相同映射，分别转为问题词向量和答案词向量；
[0029]将所述问题词向量和答案词向量输入到解码器中，并经过一层线性层；
[0030]将线性层的输出和编码器的输出输入至第二层注意力机制中，让两部分的信息进行注意力权重的计算，得到两部分的关注信息；
[0031]经过全连接层得到答案生成的概率，根据所述概率获取所生成的答案信息，完成智能问答模型的训练。
[0032]可选地，利用所述智能问答模型对用户输入的问题反馈对应的答案时，还包括：
[0033]获取用户输入的问题，并使用pkuseg工具对输入的问题进行分词，提取所述问题中的关键字和实体信息，以及利用所述关键字和实体信息匹配到分数前10个的标准问题集；
[0034]对用户输入的问题进行语素解析，生成语素q
i
；
[0035]对标准问题集中的每个问题D，计算每个语素q
i
与每个问题D的相关性得分，并将
得分最高的问题作为标准问题，有：
[0036][0037]式中，W
i
是每个语素q
i
的权重，i＝1，2，
…
，n，n为自然数。
[0038]可选地，得到的标准问题后，还包括：
[0039]查询问题与答案关联库，对于固定问题，直接返回相关答案信息；
[0040]如果查询没有结果，则查询问题与段落关联库，且对于固定问题，直接返回相关段落信息；
[0041]如果查询仍没有结果，则需要到整个段落库中进行问题与段落的匹配，将得分最高的段落作为匹配结果，同时利用每个词的词频乘上总文件数目，并除以包含该词语的文件数目后进行加权投票计算，选择得分较高的段落进行返回；
[0042]若直接得到答案，则直接返回最后答案；如果返回为段落，则利用训练好的智能问答模型，进行答案抽取。
[0043]可选地，所收集的问题包括：申请办公用品的流程、请办公用具的流程是什么、笔用完了怎么拿到新的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于阅读理解的智能问答方法，其特征在于，包括以下步骤：获取历年制度文件，并以电子问卷的方式，收集员工对集团母公司历年制度文件所产生的问题，以及收集集团子公司在制定制度时所产生的问题，所述集团子公司属于集团母公司；对同类问题进行问题归一化，并将多个问法且相同的问题映射为一个标准问题，以及将所述标准问题保存至标准问题库中；根据制度文件的文件类型进行段落拆解，并以段落为单位将拆解后的文本内容保存至目标文件中；所述制度文件包括：集团子公司的制度文件和集团母公司的制度文件；对保存在目标文件中的文本内容进行标注，且在进行标注时，首先基于所收集的问题对相应段落进行标注，并在完成段落标注后，基于语义分析对无问题的段落生成问题进行标注，以及将所有的标注结果存储至标准问题库中；利用标准问题库对基于阅读理解的智能问答模型进行训练，生成用于进行人机交互的智能问答模型，所述智能问答模型可以根据用户输入的问题反馈对应的答案。2.根据权利要求1所述的基于阅读理解的智能问答方法，其特征在于，若制度文件的文件类型为word，则根据制度文件的文件类型进行段落拆解，并以段落为单位将拆解后的文本内容保存至目标文件中的过程包括：利用python
‑
docx类库中的Document方法，获取所述制度文件中的文档对象；根据所述文档对象以及paragraphs方法对文件类型为word的制度文件进行拆解，获取文件类型为word的制度文件中的每个段落内容；以段落为单位将拆解后的文本内容保存至content.csv文件中。3.根据权利要求1所述的基于阅读理解的智能问答方法，其特征在于，若制度文件的文件类型为pdf，则根据制度文件的文件类型进行段落拆解，并以段落为单位将拆解后的文本内容保存至目标文件中的过程包括：使用pdfplumber工具以及extract_words方法按页抽取出文件类型为pdf的制度文件中的所有文字和坐标信息，并保存到list数组中；基于list数组中的所有文本以及对应的坐标信息获取所有文本的最右坐标，判断所获取的当前文本的坐标与上一次获取的文本的坐标是否一致；若一致，则说明是当前文本与上一次获取的文本为一个段落，并将所获取的当前文本与上一次获取的文本合并为一个段落；若不一致，则将所获取的当前文本、上一次获取的文本分别作为一个段落，直至获取到所有的自然段落；以段落为单位将获取到所有的自然段落保存至content.csv文件中。4.根据权利要求1所述的基于阅读理解的智能问答方法，其特征在于，利用标准问题库对基于阅读理解的智能问答模型进行训练，生成用于进行人机交互的智能问答模型的过程包括：将所收集的问题以及标准问题库中的段落进行拼接，并利用词表将拼接文本映射为数字；利用spacy类库获取问题中的词性信息，所述词性信息包括利用词表将字符转为数字；对所述拼接文本和所述词性信息进行拼接，获取融合字符信息和词性信息的表征矩阵。
5.根据权利要求4所述的基于阅读理解的智能问答方法，其特征在于，利用标准问题库对基于阅读理解的智能问答模型进行训练，生成用于进行人机交互的智能问答模型的过程还包括：将所述表征矩阵、文本对应的位置编码信息、问题和文本的类型信息都输入至基于变换器的双向编码器中，利用所述双向编码器对所述表征矩阵、文本对应的位置编码信息、问题和文本的类型信息进行加权求和；完成加权求和后，利用自注意力机制...

【专利技术属性】
技术研发人员：郭绍辉，汪志成，张顺晨，石贇，
申请(专利权)人：上海欧冶金融信息服务股份有限公司，
类型：发明
国别省市：