一种基于知识图谱的语音问答系统及其应用方法技术方案

本发明专利技术公开了一种基于知识图谱的语音问答系统及其应用方法，终端应用模块用于声音录制以及获取数据的展示；语音识别模块负责实时监测并接收终端应用模块发送的音频信息，利用语音识别引擎进行模数转换，生成文本句式信息；语义理解模块实时接收来自语音识别模块生成的文本句式信息，利用语义理解引擎将关键词信息提取出来；数据检索模块负责接收语义理解模块生成的关键词信息，通过对知识图谱数据库的访问获取用户实际期望得到的信息，最后返回终端应用模块显示在界面上。本发明专利技术提高了输入效率，提高了检索问答句式的自由度和可靠性，并有效的节省了存储空间，提高了检索效率。

【技术实现步骤摘要】
一种基于知识图谱的语音问答系统及其应用方法
本专利技术涉及数据检索系统及应用方法，特别是一种基于知识图谱的、支持语音输入的高效率、高灵活性的语音问答系统及其应用方法。
技术介绍
通过多年作战指挥信息系统的建设，在数据信息中心收集、存储了各类部队、人物、车辆、工程、装备、物资等信息，已经初步地体现了数据信息汇聚的作用。但现有的作战数据汇聚和检索手段，未能满足现有系统的实际需求，数据之间的关联性、数据检索能力的准确性较弱，面向相关理论、方法和研究相对薄弱的情况下，急需开展基于现有作战数据的知识图谱语音检索研究工作。知识图谱是一种知识表示技术，可以描述客观世界的概念、实体、事件及其之间的关系。实质上，知识图谱是一种可对任何事物以及他们之间关系进行细化描述的语义关系网络。知识图谱又可以看做是一张庞大的图，图中的节点表示实体或概念，而图中的边则由属性或关系构成。目前，知识图谱在各领域中也得到了广泛的应用。同时，随着我军各领域军事数据信息的日益扩大，知识图谱的构建已是势在必行。语音识别技术是一种实现人机交互中的技术，它的功能就是让计算机完成将信息从“声音”到“文字”的转换，通过将人的语音直接转换为相应的文本或命令。从系统构成上来说，语音识别系统是建立在一定硬件平台和操作系统基础上的应用软件系统。从系统结构上来说，语音识别系统一般主要由预处理、特征提取、声学模型、识别解码、语言模型、识别结果处理等模块构成。对比传统的手动文本输入和手动命令点击，语音识别可更加有效、快速的完成文本输入和指令操作，因此语音识别技术的研究工作也是势在必行。语义可以看作是数据所对应的现实世界中的事物所代表的概念的含义，以及这些含义之间的关系，是数据在某个领域上的解释和逻辑表示。语义理解，也就是所谓的知道了一个词或一个句子的意思。它包含了两层含义：一是能够实现不同符号之间的变换；二是能够进行推理。语义理解实际涉及的范围很广，内容很多，大致包括文本分类、要素抽取、语义理解、智能客服和机器翻译等领域。对比传统的检索方式，用户需自行分析总结关键词，而语义理解用户只需给出口语化的问答句式，大大简化了用户的思考，节省了时间，而且通过语音识别输入更加自然，达到人与计算机“交流”的目的，因此语义理解技术的研究工作同样势在必行。
技术实现思路
专利技术目的：本专利技术的一个目的是提供一种基于知识图谱的、支持语音输入的高效率、高灵活性的语音问答系统。本专利技术的另一个目的是提供一种基于知识图谱的语音问答系统的应用方法。技术方案：本专利技术所述的基于知识图谱的语音问答系统，包括终端应用模块、语音识别模块、语义理解模块和数据检索模块，其中，终端应用模块用于声音录制以及获取数据的展示；语音识别模块负责实时监测并接收终端应用模块发送的音频信息，利用语音识别引擎进行模数转换，生成文本句式信息；语义理解模块实时接收来自语音识别模块生成的文本句式信息，利用语义理解引擎将关键词信息提取出来；数据检索模块负责接收语义理解模块生成的关键词信息，通过对知识图谱数据库的访问获取用户实际期望得到的信息，最后返回终端应用模块显示在界面上。优选的，语音识别模块包括语音识别客户端和语音识别服务端，语音识别客户端主要负责收录用户的提问语音并录制成pcm格式的音频文件发送至语音识别服务端；语音识别服务端执行语音识别的主要功能，先进行预处理和特征提取，通过抗混叠滤波将频谱上的杂音与目标区段区分开来，提取有用信息并完成模拟信号向数字信号的转换，然后送往解码器根据事先训练好的声学模型和语言模型进行模式匹配，最后将用户语音内容作为识别结果返回语音识别客户端。优选的，语义理解模块主要提供语义理解服务端，该语义理解服务端提供http访问接口，指挥系统通过http协议以语音识别模块得到的文本信息为参数访问语义理解服务端，语义理解服务端将文本信息与提前训练好的模板句式进行匹配，找到似然度最高的模板句式，得到该句式预先设定的关键词及其类型信息并以字符串的形式返回指挥系统。优选的，关键词对应知识图谱数据库中数据表的名称字段、属性名称或关系名称，类型对应数据表名、属性或关系，通过对表的查询得到用户想要检索的信息。本专利技术所述的语音问答系统的应用方法，包括以下步骤：(1)配置知识图谱数据库中表的结构信息，通过知识图谱数据库中表的字段关联构建本体模型，并利用这些模型之间的关联字段构建数据关系模型，将数据关系模型存入知识图谱数据库中；(2)用户通过录音设备将想要检索的内容以口语的方式录入，生成音频文件发送至语音识别服务端，语音识别服务端将音频文件解析成文本信息返回给语音识别客户端；该步骤将音频录制生成音频文件，通过信号预处理、语音特征提取、训练与识别等模块对音频文件进行处理并解码，最终转换成文本信息，具有较高的精度和实时性。(3)构建问答句式模型，以便语义理解模块匹配挑选出对应的关键词信息；该步骤结合语义特征的关键词及其类型，将其分类并重组形成语义模板句式，使得运用范围更广、信息获取更灵活，提升整体问答检索的准确性和普适性。(4)语音识别客户端将文本信息作为参数访问语义理解服务提供的http端口，语义理解服务将该文本信息提取关键词返回给语音识别客户端；该步骤通过语料采集和语义建模生成文本语料库，并针对语料库进行语料训练和测试生成特征模板，用于分析给定的文本句式将其中的关键词通过匹配特征模板提取出来，并标注关键词的类型。(5)数据检索模块通过该关键词信息到知识图谱数据库中查询该关系或属性信息并通过终端应用模块展示给用户。该步骤通过语义功能获取的关键词及其类型，匹配相应的数据关系模型，并到数据库中搜索相应的属性或关系内容，信息特征提取后即可在页面显示。进一步的，步骤(1)中数据关系模型的构建方法为：(11)根据数据源进行本体模型构建，每张数据表都能作为一个本体；(12)进行本体模型关系构建，两张数据表之间若存在关联字段，便进行本体模型关系构建；(13)进行实体关系构建，将数据表中的每一条数据作为一个实体，每条数据的每个字段作为该实体的属性，两个实体间若存在关联属性的值相等或经过特定公式计算后相等，则进行实体关系构建；(14)将生成的数据存入图数据库并建立索引，完成数据关系模型构建。进一步的，步骤(2)中语音识别实现方法为：(21)语音识别客户端接收到操作者在指挥系统录制的音频后生成pcm格式的音频文件发送至语音识别服务端；(22)语音识别服务端接收到音频文件后，对语音信号进行预处理，首先进行端点检测，识别出语音的起始和结束位置；然后对语音高频部分添加权重，以增加语音分辨率；最后对语音信号进行加窗处理，强调语音波形，削弱其他波形，以提高语音质量，达到预处理效果；(23)特征提取，对语音信号进行滤波，将输出的信号能量作为信号的基本特征；(24)特征提取后进行解码，根据训练好的声学模型和语言模型进行匹配，输出似然度最高的词序作为识别结果；其中声学模型主要负责将音频信号与本文档来自技高网...

【技术保护点】
1.一种基于知识图谱的语音问答系统，其特征在于，包括：/n终端应用模块，用于声音录制以及获取数据的展示；/n语音识别模块，负责实时监测并接收终端应用模块发送的音频信息，利用语音识别引擎进行模数转换，生成文本句式信息；/n语义理解模块，实时接收来自语音识别模块生成的文本句式信息，利用语义理解引擎将关键词信息提取出来；/n数据检索模块，负责接收语义理解模块生成的关键词信息，通过对知识图谱数据库的访问获取用户实际期望得到的信息，最后返回终端应用模块显示在界面上。/n

【技术特征摘要】
1.一种基于知识图谱的语音问答系统，其特征在于，包括：
终端应用模块，用于声音录制以及获取数据的展示；
语音识别模块，负责实时监测并接收终端应用模块发送的音频信息，利用语音识别引擎进行模数转换，生成文本句式信息；
语义理解模块，实时接收来自语音识别模块生成的文本句式信息，利用语义理解引擎将关键词信息提取出来；
数据检索模块，负责接收语义理解模块生成的关键词信息，通过对知识图谱数据库的访问获取用户实际期望得到的信息，最后返回终端应用模块显示在界面上。


2.根据权利要求1所述的基于知识图谱的语音问答系统，其特征在于，语音识别模块包括语音识别客户端和语音识别服务端，语音识别客户端主要负责收录用户的提问语音并录制成pcm格式的音频文件发送至语音识别服务端；语音识别服务端执行语音识别的主要功能，先进行预处理和特征提取，通过抗混叠滤波将频谱上的杂音与目标区段区分开来，提取有用信息并完成模拟信号向数字信号的转换，然后送往解码器根据事先训练好的声学模型和语言模型进行模式匹配，最后将用户语音内容作为识别结果返回语音识别客户端。


3.根据权利要求1所述的基于知识图谱的语音问答系统，其特征在于，语义理解模块主要提供语义理解服务端，该语义理解服务端提供http访问接口，指挥系统通过http协议以语音识别模块得到的文本信息为参数访问语义理解服务端，语义理解服务端将文本信息与提前训练好的模板句式进行匹配，找到似然度最高的模板句式，得到该句式预先设定的关键词及其类型信息并以字符串的形式返回指挥系统。


4.根据权利要求1所述的基于知识图谱的语音问答系统，其特征在于，关键词对应知识图谱数据库中数据表的名称字段、属性名称或关系名称，类型对应数据表名、属性或关系，通过对表的查询得到用户想要检索的信息。


5.一种基于知识图谱的语音问答系统的应用方法，其特征在于，包括以下步骤：
(1)配置知识图谱数据库中表的结构信息，通过知识图谱数据库中表的字段关联构建本体模型，并利用这些模型之间的关联字段构建数据关系模型，将数据关系模型存入知识图谱数据库中；
(2)用户通过录音设备将想要检索的内容以口语的方式录入，生成音频文件发送至语音识别服务端，语音识别服务端将音频文件解析成文本信息返回给语音识别客户端；
(3)构建问答句式模型，以便语义理解模块匹配挑选出对应的关键词信息；
(4)语音识别客户端将文本信息作为参数访问语义理解服务提供的http端口，语义理解服务将该文本信息提取关键词返回给语音识别客户端；
(5)数据检索模块通过该关键词信息到知识图谱数据库中查询该关系或属性信息并通过终端应用模块展示给用户。


6.根据权利要求5所述的基于知识图谱的语音问答系统的应用方法，其特征在于，步骤(1)中数据关系模型的构建方法为：
(11)根据数据源进行本体模型构建，每张数据表都能作为一个本体；
(12)进行本体模型关系构建，两张数据表之间若存在关联字段，便进行本体模型关系构建；
(13)进行实体关系构建，将数据表中的每一条数据作为一个实体，每条数据的每个字段作为该实体的属性，两个实体间若存在关联属性的值相等或...

【专利技术属性】
技术研发人员：李泽宇，李磊，李煜祺，宋凯，陈忠，周宾，牛耕田，刘延杰，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏;32