【技术实现步骤摘要】
本专利技术涉及自然语言处理，尤其涉及一种基于本地知识库的农业领域知识问答系统及方法。
技术介绍
1、知识问答系统是一种基于自然语言处理及人工智能技术的应用，根据用户提问的问题，通过分析计算，从知识库或者语料库中检索到最相关的答案。该系统首先将用户输入的问题进行预处理，包括分词、词性标注及命名实体识别等，然后通过向量检索技术从知识库中检索到最相关的答案，目前，传统农业已经逐步向科技农业转变，在农业客服领域中，针对海量的农业知识问题及农业技能问题，给出快速且准确的响应是迫切要解决的问题。当前智能问答系统基于通用领域的知识库，这类知识库的特点是资料易搜集，但是其中关于农业领域的详细资料甚少，且回复相对宽泛，不具备实际应用和科普的农业价值，同时，现有智能问答系统一般基于文本问答库的对话系统，直接通过问题对知识库中的答案进行匹配，导致知识库检索压力过大，且检索得到的答案信息过于冗余直板，无法被用户直接接收理解。基于本地知识库的问答系统在进行文本嵌入向量时对计算机的运行内存要求极高，在内存不大的服务器上上传知识库时容易造成程序崩溃。
2、通过构建农业领域的本地知识库，获取丰富的农业相关知识及信息，搭建组织化、结构化的数据集合，为农业领域的专业人员、农民及决策者提供方便快捷的信息资源，基于批处理解决问答系统在进行文本嵌入时容易出现的程序崩溃问题，同时，结合大语言模型使得到的问题答案更加精准易理解。
技术实现思路
1、本专利技术针对现有技术中的缺点，提供了一种基于本地知识库的农业领域知
2、为了解决上述问题，本专利技术通过下述技术方案得以解决：
3、一种基于本地知识库的农业领域知识问答系统，包括本地知识库搭建模块、词向量生成模块、词向量处理模块及检索问答模块；
4、所述本地知识库搭建模块，用于通过获得农业知识信息形成知识文档，基于知识文档搭建本地知识库；
5、所述词向量生成模块，用于对本地知识库中所有知识文档进行预处理得到知识词语，对所述知识词语进行批处理，采用词向量模型将知识词语映射到向量空间，得到词向量，对词向量进行合并形成初始词向量库；
6、所述词向量处理模块，用于通过初始词向量库构建初始词向量矩阵，对初始词向量矩阵进行均值中心化及降维处理，得到降维词向量矩阵，通过对降维词向量矩阵进行索引化，得到索引向量；
7、所述检索问答模块，用于将待回答问题进行预处理，得到问题向量，基于问题向量结合索引向量检索降维词向量矩阵，得到答案向量，将问题向量及答案向量输入至知识问答模型得到问题答案。
8、作为一种可实施方式，所述农业知识信息包括作物养殖信息、土壤水资源信息、农业机械设备信息、病虫害防治信息、农产品加工贮藏信息、农村经济政策信息及气象气候信息。
9、作为一种可实施方式，所述预处理为切分处理，所述切分处理按照标点符号、空格及文档类型对知识文档进行切分。
10、作为一种可实施方式，所述对所述知识词语进行批处理，包括以下步骤：
11、基于所述知识词语得到文本实际长度，基于文本实际长度，得到每批次导入的数据量，表示如下：
12、
13、
14、lmaxsize＝lcpu*0.8
15、其中，lbatch表示每批次输入的数据量，ldocs表示输入的字符总长度，li表示每一行的文本长度，lmaxsize表示最大输入阈值，lcpu表示当前服务器的总运行内存。
16、作为一种可实施方式，所述基于初始词向量知识库构建初始词向量矩阵，对初始词向量矩阵进行均值中心化及降维处理，得到降维词向量矩阵，包括以下步骤：
17、获取初始词向量知识库中所有词向量，基于所述词向量构成初始词向量矩阵，其中，每一行代表一个词的词向量，每一列代表词向量的维度；
18、对初始词向量矩阵进行均值中心化操作，得到标准向量矩阵，其中，所述标准词向量矩阵服从标准正态分布；
19、采用降维算法对标准词向量矩阵进行降维操作，降低标准词向量矩阵维度且保留标准词向量矩阵的表达内容，得到降维词向量矩阵。
20、作为一种可实施方式，所述对初始词向量矩阵进行均值中心化操作，得到标准向量矩阵，表示如下：
21、
22、
23、
24、其中，xij表示第i个样本的第j列向量，μj表示每一列特征的均值，m表示行数，σj表示每一列特征的标准差，zij表示标准向量矩阵中第i个样本的第j列向量。
25、作为一种可实施方式，所述采用降维算法对标准词向量矩阵进行降维操作，表示如下：
26、
27、cijvn＝λnvn
28、y＝x·vl
29、vl＝{v1,v2,...,vl}
30、其中，cij表示协方差矩阵，zki表示正态向量矩阵中第k个样本的第i列向量，zkj表示正态向量矩阵中第k个样本的第j列向量，表示正态向量矩阵中第i行特征的均值，表示正态向量矩阵中第j行特征的均值，λn表示特征值，vn表示对应的特征向量，y表示降维词向量矩阵，vl表示v1,v2,...,vl构成的特征向量矩阵，l表示预设阈值。
31、作为一种可实施方式，所述将问题向量及答案向量输入至知识问答模型得到问题答案，包括：
32、所述问题向量与降维词向量矩阵中所包含降维词向量维度一致；
33、设置降维词向量矩阵的子空间数量，基于子空间数量对降维词向量矩阵进行聚类，得到降维词向量子集；
34、基于问题向量，构建问题索引，选择降维词向量子集并进行检索，得到与问题向量匹配度最高的检索词向量，所述匹配度最高的检索词向量即为答案向量，其中，所述答案向量为与问题向量之间的l2距离最小的检索词向量；
35、所述距离表示如下：
36、
37、其中，qj表示问题向量q在维度j上对应的元素，xij表示索引向量xi在维度j上对应的元素，l2(q,xi)表示距离，imin表示答案向量对应索引，
38、一种基于本地知识库的农业领域知识问答方法，包括以下步骤：
39、通过获得农业知识信息形成知识文档，基于知识文档搭建本地知识库；
40、对本地知识库中所有知识文档进行预处理得到知识词语，对所述知识词语进行批处理，采用词向量模型将知识词语映射到向量空间，得到词向量，对词向量进行合并形成初始词向量库；
41、通过初始词向量库构建初始词向量矩阵，对初始词向量矩阵进行均值中心化及降维处理，得到降维词向量矩阵，通过对降维词向量矩阵进行索引化，得到索引向量；
42、将待回答问题进行预处理，得到问题向量，基于问题向量结合索引向量检索降维词向量矩阵，得到答案向量，将问题向量及答案向量输入至知识问答模型得到问题答案。
43、作为一种可实施方式，所述通过初始词向量库构建初本文档来自技高网...
【技术保护点】
1.一种基于本地知识库的农业领域知识问答系统，其特征在于，包括本地知识库搭建模块、词向量生成模块、词向量处理模块及检索问答模块；
2.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述农业知识信息包括作物养殖信息、土壤水资源信息、农业机械设备信息、病虫害防治信息、农产品加工贮藏信息、农村经济政策信息及气象气候信息。
3.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述预处理为切分处理，所述切分处理按照标点符号、空格及文档类型对知识文档进行切分。
4.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述对所述知识词语进行批处理，包括以下步骤：
5.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述通过初始词向量库构建初始词向量矩阵，对初始词向量矩阵进行均值中心化及降维处理，得到降维词向量矩阵，包括以下步骤：
6.根据权利要求5所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述对初始词向量矩阵进行均值中心化操作，得到标准
7.根据权利要求5所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述采用降维算法对标准词向量矩阵进行降维操作，表示如下：
8.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述将问题向量及答案向量输入至知识问答模型得到问题答案，包括：
9.一种基于本地知识库的农业领域知识问答方法，其特征在于，包括以下步骤：
10.根据权利要求9所述的基于本地知识库的农业领域知识问答方法，其特征在于，所述通过初始词向量库构建初始词向量矩阵，对初始词向量矩阵进行均值中心化及降维处理，得到降维词向量矩阵，包括以下步骤：
...【技术特征摘要】
1.一种基于本地知识库的农业领域知识问答系统，其特征在于，包括本地知识库搭建模块、词向量生成模块、词向量处理模块及检索问答模块；
2.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述农业知识信息包括作物养殖信息、土壤水资源信息、农业机械设备信息、病虫害防治信息、农产品加工贮藏信息、农村经济政策信息及气象气候信息。
3.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述预处理为切分处理，所述切分处理按照标点符号、空格及文档类型对知识文档进行切分。
4.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述对所述知识词语进行批处理，包括以下步骤：
5.根据权利要求1所述的基于本地知识库的农业领域知识问答系统，其特征在于，所述通过初始词向量库构建初始词向量矩阵，对初始词向量矩阵进...
【专利技术属性】
技术研发人员：陈渝阳，钱鹏，王惠义，朱堃，
申请(专利权)人：浙江森特信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。