【技术实现步骤摘要】
一种蔬菜病虫害图片问答方法及装置
[0001]本专利技术属于机器学习
，具体涉及一种蔬菜病虫害图片问答方法及装置。
技术介绍
[0002]随着计算机视觉与自然语言处理领域的不断进步，人们也希望计算机能够像人一样思考、对话和行动等。像人一样完成人的一些基本行为。在智能问答领域，人们对获取问题答案的形式越来越多样化，图像问答也是其中的一种形式。在蔬菜种植过程种，最难的就是“各种病害的识别”，如果不能辨别病虫害就没办法对蔬菜对症下药，那么会严重的影响作物的生长，蔬菜病虫害的图片问答就是利用用户的病虫害症状描述文本和蔬菜症状图片信息，将分析出的病虫害类型返回给用户作为答案。在现有技术中，由于用户描述文本信息所能提供的信息有限，图像问答的准确度有待提高。
技术实现思路
[0003]本专利技术的目的是提供一种蔬菜病虫害图片问答方法及装置，能够提升蔬菜病虫害图片问答结果的准确性。
[0004]为了解决上述技术问题，本专利技术公开了一种蔬菜病虫害图片问答方法，包括：获取与蔬菜病虫害相关的数据集；使用所述数据集对...
【技术保护点】
【技术特征摘要】
1.一种蔬菜病虫害图片问答方法，其特征在于，包括：获取与蔬菜病虫害相关的数据集；使用所述数据集对蔬菜病虫害图片问答模型进行训练，以得到训练好的蔬菜病虫害图片问答模型，所述蔬菜病虫害图片问答模型的输出向量为混合了病虫害症状描述文本的文本特征和涉及的农业蔬菜知识信息以及蔬菜症状图片的通道维度特征和空间维度特征之后所得到的，所述蔬菜症状图片的通道维度特征和空间维度特征分别采用注意力机制所得到；通过训练好的蔬菜病虫害图片问答模型对输入的待识别数据进行处理，以得到蔬菜病虫害类型。2.如权利要求1所述的一种蔬菜病虫害图片问答方法，其特征在于，得到所述蔬菜病虫害图片问答模型的输出向量包括：对所述数据集中的病虫害症状描述文本进行分词和编码，得到词语级向量的文本特征a；对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码，得到词语级向量的农业蔬菜知识信息b；对所述数据集中的蔬菜症状图片在通道维度和空间维度上分别使用注意力机制进行表示，得到通道维度特征d和空间维度特征g；混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量。3.如权利要求2所述的一种蔬菜病虫害图片问答方法，其特征在于，所述混合所述文本特征a、农业蔬菜知识信息b、通道维度特征d和空间维度特征g以得到输出向量包括：对文本特征a基于通道维度特征d的注意力机制表示t1为：；；；其中，W1和W2为所述数据集对蔬菜病虫害图片问答模型的待训练参数，病虫害症状描述文本S=（ω1,ω2,
……
，ω
M
），M为病虫害症状描述文本的特征数量；对农业蔬菜知识信息b基于通道维度特征d的注意力机制表示t2为：；；；
其中，病虫害症状描述文本所包含的农业蔬菜知识图谱实体为（e1,e2,
……
，e
T
），T为病虫害症状描述文本所包含的农业蔬菜知识图谱的实体数量；对文本特征a基于空间维度特征g的注意力机制表示t3为：；；；对农业蔬菜知识信息b基于空间维度特征g的注意力机制表示t4为：；；；混合所述注意力机制t1、t2、t3、t4以得到输出向量。4.如权利要求2所述的一种蔬菜病虫害图片问答方法，其特征在于，在使用所述数据集对蔬菜病虫害图片问答模型进行训练之前还包括：获取农业领域文本语料，对所述农业领域文本语料进行清洗并分词，之后使用Bert模型对分词后的所述农业领域文本语料进行词向量的预训练，得到基于农业领域的词语级向量；根据构建的农业蔬菜知识图谱，训练以得到所述农业蔬菜知识图谱的TransE向量，所述TransE向量将所述农业蔬菜知识图谱中的实体和关系映射到向量空间；所述对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体进行编码包括：对所述数据集中的病虫害症状描述文本所包含的农业蔬菜知识图谱实体用训练好TransE向量进行编码。5.如权利要求2所述的一种蔬菜病虫害图片问答方法，其特征在于，所述对所述数据集中的病虫害症状描述文本和其所包含的农业蔬菜知识图谱实体的编码均为通过BiGRU进行编码。6.一种蔬菜病虫害图片问答装置，包括存储器、处理器及存储在存储器上...
【专利技术属性】
技术研发人员：嵇望，安毫亿，陈默，梁青，王伟凯，
申请(专利权)人：杭州远传新业科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。