【技术实现步骤摘要】
本专利技术涉及作物巡检领域，尤其涉及一种大规模农作物巡检方法、装置及存储介质。
技术介绍
1、农作物在种植后需要不定期进行巡视，以保证种植的作物能够正常成长，对于现代化大规模机械化农业而言，一般采用高效的无人机巡检来采集农作物情况，以及时发现植物的病虫害。
2、随着人工智能在cv领域的发展，越来越多的应用在生产巡检过程中，如：cn202010113357.6基于轻量级卷积神经网络的病虫害检测无人机及检测方法，(1)无人机在农场上空进行巡航，并通过搭载的相机采集农作物图像；(2)利用领域增强算法、超像素分割方法对获取的农作物图像进行图像预处理；(3)对预处理后的图像进行剪裁，分割为小图像；(4)采用轻量级卷积神经网络yolo nano对图像进行分析，实时判断农作物是否患有某种病症或出现虫害现象；(5)如果判断农作物存在病虫害现象，则无人机停留此区域上空，自适应调节高度，计算目标区域面积，返回实时坐标至控制中心，进行下一步；若判断没有出现病虫害现象。对比文件基于yolo进行异常识别，虽然通过调整无人机高度改变视野范围来对农田异常区域进行划分能有效地降低图片处理量，但对包含异常的图像要求高，无人机升高增大摄像区域的同时，异常区域在图像中逐渐模糊，影响yolo模型对异常的判断，因此，在确定异常对应的区域时，高度一旦超出一定范围很容易识别失败；而且，在识别过程中，无人机需长时间滞空等待识别完成，需要耗费较长的飞行时间才能完成大规模区域的异常识别巡检。因此，需要一种更加有效的异常区域确定手段。
技术实
1、为了解决上述技术问题或者至少部分地解决上述技术问题，本专利技术提供一种大规模农作物巡检方法、装置及存储介质。
2、第一方面，本专利技术提供一种大规模农作物巡检方法，包括：采集大规模农田的农作物生长情况rgb视频和红外视频，在采集的过程中，记录视频帧对应的位置信息；
3、通过预训练的切片模型根据rgb视频和红外视频的特征对视频进行切片，以实现按照农作物生长情况切分视频；所述切片模型包括：基于cnn卷积网络的第一特征提取模块和第二特征提取模块；分别连接第一特征提取模块和第二特征提取模块的两组堆叠的多头自注意力模块和前馈网络，所述前馈网络由线性层、relu激活函数和线性层组成；上述前馈网络连接多模注意力模块；多模注意力模块连接双向循环神经网络，双向循环神经网络连接预测视频帧所属切片的全连接层和sigmoid激活函数；其中，通过强化学习的方式，训练所述切片模型；
4、从rgb视频不同的切片中按比例抽取设定数量的样品帧，利用预训练的识别模型提取样品帧特征进行匹配，以获知每个切片中农作物生长情况；
5、结合各个视频帧对应的位置信息，将生长情况按区域分割，完成巡视。
6、更进一步地，所述多模注意力模块包括：两个注意力模块和基于卷积的特征融合，其中一个注意力模块利用基于rgb特征生成的key和value，基于红外特征生成的query进行特征提取得到带有红外注意力的rgb特征；另一个注意力模块利用基于红外特征生成的key和value，基于rgb特征生成的query进行特征提取得到基于rgb注意力的红外特征。
7、更进一步地，所述多模注意力模块包括：两个注意力模块、query缩放模块和基于卷积的特征融合，query缩放模块包括先压缩维度再扩张维度的线性层实现，两个query缩放模块将基于rgb特征和基于红外特征生成的query进行压缩扩张处理；其中一个注意力模块利用基于rgb特征生成的key和value，基于红外特征压缩扩张生成的query进行特征提取得到带有红外注意力的rgb特征；另一个注意力模块利用基于红外特征生成的key和value，基于rgb特征压缩扩张生成的query进行特征提取得到基于rgb注意力的红外特征。
8、更进一步地，所述多模注意力模块包括：两个压缩注意力模块，两个扩张注意力模块和基于卷积的两个特征融合；
9、其中一个压缩注意力模块利用基于rgb特征生成的key和value，预设的可学习的低维query进行特征提取；另一个压缩注意力模块利用基于红外特征生成的key和value，预设的可学习的低维query进行特征提取，两个压缩注意力模块输出分别经归一化层归一化处理后进行第一次融合；
10、其中一个扩张注意力模块利用基于第一次融合后的结果生成的key和value，基于rgb特征生成的query进行特征提取；另一个扩张注意力模块利用基于第一次融合后的结果生成的key和value，基于红外特征生成的query进行特征提取；
11、两个扩张注意力模块的输出分别与rgb特征和红外特征相加，并分别进行归一化后进行第二次特征融合。
12、更进一步地，所述识别模型应用预训练的用于识别农作物生长情况的clip模型和faiss检索库构建视频帧匹配数据库；利用clip模型提取样品帧特征后，利用视频帧匹配数据库匹配出样品帧中农作物生长情况。
13、更进一步地，同一类农作物生长情况在样品帧中占比超过设定阈值时，则作为提供样品帧的切片的农作物生长情况。
14、更进一步地，将同一个切片内的视频帧之间差异性均值取倒数，再与不同切片间视频帧特征均值差异性的平均值相加作为奖励，以奖励最大为目标，对所述切片模型进行强化训练。
15、更进一步地，对于rgb视频的每个切片，按照切片首帧和尾帧的位置信息对切片进行定位，确定切片所表示农田区域之间的位置关系，对于时间上不相邻而空间上相邻的任一两切片，检查两切片农作物生长情况中的异常描述是否存在一致，存在一致，则将两切片区域中作为一致异常描述发生的区域，迭代的对全部切片的全部异常描述进行分区。
16、第二方面，本专利技术提供一种大规模农作物巡检装置，包括：至少一处理单元，所述处理单元通过总线单元连接存储单元，所述存储单元存储计算机程序，所述计算机程序被所述处理单元执行时，实现所述的大规模农作物巡检方法。
17、第三方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时，实现所述的大规模农作物巡检方法。
18、本专利技术实施例提供的上述技术方案与现有技术相比具有如下优点：
19、本申请支持采用无人机巡航采集的rgb视频和红外视频进行异常区域划分，完成同等规模的巡检，所需无人机飞行时间少。本申请通过所述多头自注意力模块提取rgb视频特征和红外视频特征的特征点之间的关联关系，使得特征关注农作物和反应农作物生长情况。再经多模注意力模块约束关联两个模态的特征，使两个模态更好地参与特征融合，为后续双向循环神经网络基于农作物以及农作物生长情况切片提供更好的特征支持。获知rgb视频每个切片的农作物生长情况后，结合各个视频帧对应的位置信息，将生长情况按区域分割，根据各个分区所对应的异常生长情况描述确定相应的治理方式，支持对大规模农业生产进行精细化管理，有效地降低运营成本。且本文档来自技高网...
【技术保护点】
1.一种大规模农作物巡检方法，其特征在于，包括：采集大规模农作物生长情况的RGB视频和红外视频，在采集的过程中，记录视频帧对应的位置信息；
2.根据权利要求1所述的大规模农作物巡检方法，其特征在于，所述多模注意力模块包括：两个注意力模块和基于卷积的特征融合，其中一个注意力模块利用基于RGB特征生成的Key和Value，基于红外特征生成的Query进行特征提取得到带有红外注意力的RGB特征；另一个注意力模块利用基于红外特征生成的Key和Value，基于RGB特征生成的Query进行特征提取得到基于RGB注意力的红外特征。
3.根据权利要求1所述的大规模农作物巡检方法，其特征在于，所述多模注意力模块包括：两个注意力模块、Query缩放模块和基于卷积的特征融合，Query缩放模块包括先压缩维度再扩张维度的线性层实现，两个Query缩放模块将基于RGB特征和基于红外特征生成的Query进行压缩扩张处理；其中一个注意力模块利用基于RGB特征生成的Key和Value，基于红外特征压缩扩张生成的Query进行特征提取得到带有红外注意力的RGB特征；另一个注意力模块利用基
4.根据权利要求1所述的大规模农作物巡检方法，其特征在于，所述多模注意力模块包括：两个压缩注意力模块，两个扩张注意力模块和基于卷积的两个特征融合；
5.根据权利要求1所述的大规模农作物巡检方法，其特征在于，所述识别模型应用预训练的用于识别农作物生长情况的CLIP模型和faiss检索库构建视频帧匹配数据库；利用CLIP模型提取样品帧特征后，利用视频帧匹配数据库匹配出样品帧中农作物生长情况。
6.根据权利要求5所述的大规模农作物巡检方法，其特征在于，同一类农作物生长情况在样品帧中占比超过设定阈值时，则作为提供样品帧的切片的农作物生长情况。
7.根据权利要求1所述的大规模农作物巡检方法，其特征在于，将同一个切片内的视频帧之间差异性均值取倒数，再与不同切片间视频帧特征均值差异性的平均值相加作为奖励，以奖励最大为目标，对所述切片模型进行强化训练。
8.根据权利要求1所述的大规模农作物巡检方法，其特征在于，对于RGB视频的每个切片，按照切片首帧和尾帧的位置信息对切片进行定位，确定切片所表示农田区域之间的位置关系，对于时间上不相邻而空间上相邻的任一两切片，检查两切片农作物生长情况中的异常描述是否存在一致，存在一致，则将两切片区域中作为一致异常描述发生的区域，迭代的对全部切片的全部异常描述进行分区。
9.一种大规模农作物巡检装置，其特征在于，包括：至少一处理单元，所述处理单元通过总线单元连接存储单元，所述存储单元存储计算机程序，所述计算机程序被所述处理单元执行时，实现如权利要求1-8任一所述的大规模农作物巡检方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8任一项所述的大规模农作物巡检方法。
...【技术特征摘要】
1.一种大规模农作物巡检方法，其特征在于，包括：采集大规模农作物生长情况的rgb视频和红外视频，在采集的过程中，记录视频帧对应的位置信息；
2.根据权利要求1所述的大规模农作物巡检方法，其特征在于，所述多模注意力模块包括：两个注意力模块和基于卷积的特征融合，其中一个注意力模块利用基于rgb特征生成的key和value，基于红外特征生成的query进行特征提取得到带有红外注意力的rgb特征；另一个注意力模块利用基于红外特征生成的key和value，基于rgb特征生成的query进行特征提取得到基于rgb注意力的红外特征。
3.根据权利要求1所述的大规模农作物巡检方法，其特征在于，所述多模注意力模块包括：两个注意力模块、query缩放模块和基于卷积的特征融合，query缩放模块包括先压缩维度再扩张维度的线性层实现，两个query缩放模块将基于rgb特征和基于红外特征生成的query进行压缩扩张处理；其中一个注意力模块利用基于rgb特征生成的key和value，基于红外特征压缩扩张生成的query进行特征提取得到带有红外注意力的rgb特征；另一个注意力模块利用基于红外特征生成的key和value，基于rgb特征压缩扩张生成的query进行特征提取得到基于rgb注意力的红外特征。
4.根据权利要求1所述的大规模农作物巡检方法，其特征在于，所述多模注意力模块包括：两个压缩注意力模块，两个扩张注意力模块和基于卷积的两个特征融合；
5.根据权利要求1所述的大规模农作物巡检方法，其特征在于...
【专利技术属性】
技术研发人员：王飞，岳东霞，裴欢龙，王召，
申请(专利权)人：山东森普信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。