一种支持多模态和多轮对话的农业智能问答方法和系统技术方案

技术编号：40041453 阅读：10 留言：0更新日期：2024-01-16 19:47

本发明专利技术公开了一种支持多模态和多轮对话的农业智能问答方法和系统，包括数据源整合、对话系统开发和信息检索，S1.数据源整合还包括问答库数据处理、专题库构建、知识库构建和知识图谱融合与表示；本发明专利技术农业智能问答系统为用户提供多项实用功能，包含农业知识搜索、农业农技问答、动植物病虫害诊断、动植物生长状态检测、专家推荐咨询等，并支持多模态输入，包括语音、文本和图像，为用户提供更多输入方式的选择。同时，该系统加入多轮对话管理功能以辅助实现更准确用户意图识别，根据用户意图判别问题种类，根据问题种类采用对应的检索方式进行局部搜索，最终对结果进行排序输出，使得在保障高精度的同时提高检索效率。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术属于农业，更具体地说，尤其涉及一种支持多模态和多轮对话的农业智能问答方法。同时，本专利技术还涉及一种支持多模态和多轮对话的农业智能问答系统。

技术介绍

1、随着人工智能和深度学习的快速发展，融合深度神经网络等技术的智能问答系统已广泛应用于各种实际生产活动。农业是其中一大应用领域，智能问答系统能快速为农业相关工作者(比如农民、农技人员、农业专家等)提供相关信息、较为精确的答复等，以减少人力、物力、时间的损耗，从而促进农业生产效率的提高。

2、经检索，现有技术中，中国专利申请号：202210815432.2，公开了一种蔬菜病虫害图片问答方法及装置，该专利技术：包括：获取与蔬菜病虫害相关的数据集；使用数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。该专利技术能够提升蔬菜病虫害图片问答结果的准确性。

3、然而，现有主流的农业领域问答系统还存在以下问题：

4、(1)系统功能单一，训练数据较少，数据库存量较低，不能满足多种农业生产活动的问题查询需要；

5、(2)输入方式单一，多数只支持文本这一种信息，对图片、语音等其他模态信息运用较少，用户选择较少；

<p>6、(3)部分系统未设置用户意图识别模块或意图识别能力差，系统理解困难，没有根据用户意图采取特定的检索方法，全局搜索耗时耗力；

7、(4)知识图谱不支持多模态表示学习，无法获得多种模态之间的关联信息，且召回率低，无法满足用户需求。

技术实现思路

1、本专利技术的目的是为了解决现有技术中存在的缺点，实现多项实用功能，包含农业知识搜索、农业农技问答、动植物病虫害诊断、动植物生长状态检测、专家推荐咨询等，并支持多模态输入，包括语音、文本和图像，为用户提供更多输入方式的选择；同时，该系统加入多轮对话管理功能以辅助实现更准确用户意图识别，根据用户意图判别问题种类，根据问题种类采用对应的检索方式进行局部搜索，最终对结果进行排序输出，使得在保障高精度的同时提高检索效率。

2、为实现上述目的，本专利技术提供如下技术方案：

3、一种支持多模态和多轮对话的农业智能问答方法，包括数据源整合、对话系统开发和信息检索，

4、s1.数据源整合还包括问答库数据处理、专题库构建、知识库构建和知识图谱融合与表示；

5、问答库数据处理：对现有农业问答库进行数据处理，包括问题重写(构造更丰富的问题表示方式)、领域分类(细分类别，提供更快速的匹配)、质量维护(对问答数据进行清洗处理，提供更高质量的回答)、向量表示(对问题进行向量表示，提供语义检索)；

6、专题库构建：对现有文献库、政策库进行数据处理，构建专题库，包括关键词生成(为各文献、文章、政策生成更多的关键词)、领域分类(细分类别，提供更快速的匹配)、向量表示(对问题进行向量表示，提供语义检索)；

7、知识库构建：收集课题组训练模型时所用数据，构建知识库，如病虫害图像、作物生长状况图像及其标签或文本描述等，支撑系统完成图像检索等需求；

8、知识图谱融合与表示：收集课题组构建的农业各领域知识图谱，并对多源数据进行对齐、映射、融合得到统一跨模态知识图谱；基于图神经网络、图嵌入等技术对统一后的知识图谱的实体和关系进行嵌入和表示；

9、s2.对话系统开发还包括：意图识别性、槽填充、多轮对话管理和自然语言生成；

10、意图识别性：意图识别是分析用户的意图，从而完成用户所需任务；农业智能问答系统中的意图识别需要根据功能支撑和问答场景设计全面、准确的意图系统，用于对接用户意图和功能支撑，本专利技术采用countvectorsfeaturizer、spacyfeaturizer、dietclassifier等方法组合构建文本分类模型，实现用户意图分类(如图4所示)；同时，引入规则方法(正则、关键词等)来解决训练数据较少的问题；

11、槽填充：用户输入数据可能存在关键信息用于任务输入和状态判断，所以需要抽取文本中的关键信息；需要基于设计好的意图识别系统，进一步针对不同意图设计槽位、表单等结构，最后抽取文本中的实体信息来填充槽位；本专利技术设计好槽位、表单结构后，采用crfentityextractor、spacyentityextractor、regexentityextractor等方法实现用户输入数据中的实体抽取，根据抽取结果来实现槽填充；

12、多轮对话管理：多轮问答技术涉及到对话状态跟踪和对话策略，对话状态跟踪是指通过自然语言理解技术将用户的话语转化成对话状态；并且，对话策略是指根据当前的对话状态和领域知识，确定系统下一步的行动；根据多轮对话流程如图6所示；采用rule-based、ted policy、memoization policy等，以及基于深度强化学习的policy实现对话状态跟踪和对话策略；

13、自然语言生成：自然语言生成是将系统结果以自然语言或多模态方式反馈给用户；本专利技术利用大语言模型生成或包装答案，使答案在保证精度的同时可读性更强，使用户与系统的交互更加流畅、和谐；

14、s3.信息检索还包括图像/文本检索、图像/文本向量表示和知识图谱检索；

15、图像/文本检索：文本数据相似度检索采用基于关键词和向量的多策略组合检索方式实现，基于关键词的检索技术可使用倒排索引、bm25方式快速返回结果，基于向量的检索技术可以通过预训练模型、统计模型转换为向量表示，采用聚类等方法实现检索；图像检索与基于向量的文本检索思路一致(图7)，通过预训练模型对图像进行向量转化，采用k-means、ivf、hnsw等方法完成图像检索；并且，采用余弦相似度计算两个向量之间的相似度，计算公式如下：

16、

17、图像/文本向量表示：图像和文本数据在进行检索和相似度计算时，通常需要以向量形式进行实现，而向量表示的质量决定着检索和相似度计算的效果，预训练模型采用无监督或自监督等方式在大规模通用数据中训练，可以提供丰富的特征信息；

18、针对文本，采用simcse方法(如图8、图9所示)对文本进行对比学习，实现文本向量表示，假设数据集xi和为语义相关的句子；通过模型可以得到句子x的向量h，并通过如下公式计算两个向量的余弦相似度：

19、

20、对比学习的损失(目标)函数如下所示：

21、

22、其中li表示的训练目标函数，τ表示温度系数，hi和分别为xi和的向量表示，n为mini-batch size；

23、此外，图像向量表示采用clip方法实现，具体本文档来自技高网...

【技术保护点】

1.一种支持多模态和多轮对话的农业智能问答方法，包括数据源整合、对话系统开发和信息检索，其特征在于：

2.一种支持多模态和多轮对话的农业智能问答系统，包括应用支撑、对话系统、技术组件和数据/模型支撑，其特征在于：所述应用支撑包括农业知识搜索、农业农技问答、动植物病虫害诊断、动植物生长状态检测、专家咨询推荐等；所述对话系统包括意图识别、槽填充、对话状态跟踪、对话策略、自然语言生产等；所述技术组件包括文本检索、文本相识度计算、图像检索、图像相似度计算、知识图谱检索、API调用等；所述数据/模型支撑包括问答库、跨模态知识图谱、专题库、知识库、课题组模型API。

4.根据权利要求2所述的一种支持多模态和多轮对话的农业智能问答系统，其特征在于：所述动植物病虫害诊断：通过对植物和动物的病症、症状等进行诊断，可以确定病虫害种类，从而采取相应的防治措施，这对于提高农业生产效率、降低病虫害损失具有重要的意义；所述动植物生长状态检测：通过对动植物的生长状态、健康状况等进行检测，可以了解其生长发育情况，及时发现问题并采取措施，以保证动植物的健康生长和高产高效。

5.根据权利要求2所述的一种支持多模态和多轮对话的农业智能问答系统，其特征在于：所述专家咨询推荐：通过与农业领域专家交流、咨询，可以获取更深入、更专业的建议和推荐；这对于农业从业者规划生产、提高生产效率、把控产品质量等具有非常重要的意义。

6.根据权利要求2所述的一种支持多模态和多轮对话的农业智能问答系统，其特征在于：所述意图识别：通过对用户输入的自然语言文本进行分析和理解，识别出用户的意图和需求，这对于智能对话系统有效地理解用户意图和提供相应服务具有重要作用；所述槽填充：当识别出用户意图后，需要从用户输入的文本中抽取出与该意图相关的信息和数据，填充到相应的槽位中，这对于系统识别和满足用户需求非常重要；所述对话状态跟踪：在对话过程中，需要对用户的输入、系统的回答以及槽位和实体的状态进行不断跟踪，这有助于系统实时调整对话策略和生成合适的回答；所述对话策略：在对话系统中，针对不同的用户需求和交互情景，需要制定相应的对话策略，包括对话类型、回答方式、问题推荐等等，对话策略的制定能够有效提高系统的用户体验和满意度；所述自然语言生产：在对话过程中，需要对系统的回答进行自然语言生成，使得回答更加符合语言习惯和流畅易懂，自然语言生成的优秀质量可以大大提升交互用户体验。

7.根据权利要求2所述的一种支持多模态和多轮对话的农业智能问答系统，其特征在于：所述问答库：是一个包含农业领域相关问题和答案的数据库，用户可以查询问答库来获得与农业相关的回答，问答库的作用在于能够有效地解决用户的问题，提高用户满意度，减轻专家与农民之间的交流负担；所述跨模态知识图谱：是一种结构化的、可视化的知识表示形式，能够表达出不同领域的相关知识关系，可以整合多个数据源，在农业领域中，可以通过跨模态知识图谱链接农业知识资源，进行知识链接、知识查询、知识推理等操作，有效提高农业知识的综合利用价值；所述专题库：是一个包含特定主题或问题解决方案的数据库，在农业领域中，有大量专题库，例如种植技术、养殖技术、农机技术、病虫害防治等，使农业从业者和农民更好地了解特定问题，以提高生产效率和收益。

8.根据权利要求2所述的一种支持多模态和多轮对话的农业智能问答系统，其特征在于：所述知识库：是一个维护农业领域相关知识的数据库，在知识库中，存储着各种实践经验、技术理论、科研成果等，供相关从业人员参考和学习；所述课题组模型API：是农业科技人员研发出的模型API，具有实现一些特定任务的功能，如病虫害检测、农作物生长预测等；这种API可以被开发者调用，用于实现定制化的农业应用程序，从而更好地服务于农业领域需求。

...

【技术特征摘要】

1.一种支持多模态和多轮对话的农业智能问答方法，包括数据源整合、对话系统开发和信息检索，其特征在于：

2.一种支持多模态和多轮对话的农业智能问答系统，包括应用支撑、对话系统、技术组件和数据/模型支撑，其特征在于：所述应用支撑包括农业知识搜索、农业农技问答、动植物病虫害诊断、动植物生长状态检测、专家咨询推荐等；所述对话系统包括意图识别、槽填充、对话状态跟踪、对话策略、自然语言生产等；所述技术组件包括文本检索、文本相识度计算、图像检索、图像相似度计算、知识图谱检索、api调用等；所述数据/模型支撑包括问答库、跨模态知识图谱、专题库、知识库、课题组模型api。

3.根据权利要求2所述的一种支持多模态和多轮对话的农业智能问答系统，其特征在于：所述农业知识搜索：可以帮助人们在农业领域中获取各种有用的信息；这些知识可以包括种植、养殖、农业机械、施肥、病虫害防治等方面的知识；通过搜索，人们可以得到最新的科研成果、实践措施、市场行情以及相关政策法规等方面的信息；这些知识可以帮助农民提高生产效率，增加收益；也可以帮助农业从业者了解市场需求和产品价格等方面的信息，从而更好地规划农业生产和销售；所述农业农技问答：可以帮助农民解决在农业生产中遇到的问题，例如如何防治病虫害、如何施肥、如何选购农业机械等等；通过问答的方式，农民可以获取准确、专业的信息，从而更好地规划生产和解决问题。

6.根据权利要求2所述的一种支持多模态和多轮对话...

【专利技术属性】
技术研发人员：张鹤，李沄沨，谷训刚，孙嘉泽，许若华，王国峰，李玉汝，候学杰，李宁，
申请(专利权)人：中图科信数智技术北京有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人