基于轻量级模型的RGB-D自适应融合信息的小麦检测方法与装置制造方法及图纸

本发明专利技术公开了一种基于轻量级模型的RGB

【技术实现步骤摘要】
基于轻量级模型的RGB
‑
D自适应融合信息的小麦检测方法与装置


[0001]本专利技术属于田间作物图像检测领域，具体说是一种基于轻量级模型的RGB
‑
D自适应融合信息的小麦检测方法与装置，该方法可以地对小麦的生长状况进行监测和分析，提高小麦的产量估计和质量监测。

技术介绍

[0002]小麦是世界上最重要的农作物之一，准确、及时地检测麦穗有助于提高小麦的产量和质量。然而，传统的单模态小麦图像检测方法难以应对复杂的田间环境，如光照变化、遮挡、背景干扰等。而基于RGB
‑
D图像检测是一种利用RGB和深度图像进行目标检测的技术。相比于传统的RGB图像检测，RGB
‑
D图像检测可得到真实的深度图，且受物体本身颜色影响小的RGB
‑
D融合检测技术为农业领域应用场景的检测提供了数据基础。
[0003]目前，现有的作物图像检测方法主要包括基于传统机器学习算法的检测方法、基于深度学习算法的检测方法。其中，基于传统机器学习算法的检测方法主要基于图像的亮度、对比度、色彩等特征进行匹配，该方法简单、易于实现，但检测准确度较低。基于深度学习算法的检测方法具有较高的检测准确度，但需要较大的计算资源和时间进行训练，难以满足检测的需求。
[0004]基于融合信息的小麦图像检测方法受到了极大的关注，可以减少误报率和漏报率，从而减少了人工干预的需要。但是，基于传统方法的检测方法由于计算量大、需要高端硬件、缺少小麦多源数据等问题，限制了其在智慧农业装备中的实际应用。

技术实现思路

[0005]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于轻量级模型的RGB
‑
D自适应融合信息的小麦检测方法与装置，以期利用RGB
‑
D图像和轻量化YSNv2网络对麦穗进行高效、准确的检测，能减少光照变化对小麦检测的影响，从而能提升麦穗检测精度，以提高农业生产效率和质量。
[0006]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0007]本专利技术一种基于轻量级模型的RGB
‑
D自适应融合信息的小麦检测方法的特点在于，包括以下步骤：
[0008]步骤1、使用双目相机获取目标麦田的小麦麦穗RGB
‑
D图像(I'
rgb
,I'
dep
)，其中，I'
rgb
表示小麦麦穗RGB图像，I'
dep
表示小麦麦穗深度伪色彩图像；
[0009]对所述小麦麦穗RGB图像I'
rgb
和小麦麦穗深度伪色彩图像I'
dep
进行对齐后，再进行画面增强并移除背景，得到处理后的RGB
‑
D图像(I
rgb
，I
dep
)并对麦穗位置进行标注，从而构建小麦麦穗RGB
‑
D数据集；其中，I
rgb
表示处理后的小麦麦穗RGB图像，I
dep
表示处理后的小麦麦穗深度伪色彩图像；令I
rgb
中麦穗位置所标注的检测框记为Box～
rgb
，I
dep
中麦穗位置所标注的检测框记为Box～
dep
；
[0010]步骤2、构建基于轻量级模型的YSNv2_RGB小麦麦穗检测网络和YSNv2_D小麦麦穗检测网络，并分别对I
rgb
，I
dep
进行处理，相应得到小麦麦穗RGB图像I
rgb
的预测结果R
rgb
＝{Box
rgb
,c
rgb
}和小麦麦穗深度伪色彩图像I
dep
的预测结果R
dep
＝{Box
dep
,c
dep
}；其中，Box
rgb
表示小麦麦穗RGB图像I
rgb
的若干检测框，c
rgb
表示RGB麦穗图像检测框Box
rgb
对应的若干置信度，Box
dep
表示小麦麦穗深度伪色彩图像I
dep
的若干检测框，c
dep
表示小麦麦穗深度图像检测框Box
dep
对应的若干置信度；
[0011]步骤3、构建交叉熵损失函数：
[0012]根据小麦麦穗RGB图像I
rgb
的预测结果R
rgb
以及所标注的检测框Box～
rgb
，构建YSNv2_RGB小麦麦穗检测网络的交叉熵损失函数L
rgb
；
[0013]根据小麦麦穗深度图像I
dep
的预测结果R
dep
以及所标注的检测框Box～
dep
，构建YSNv2_D小麦麦穗检测网络的交叉熵损失函数L
dep
；
[0014]基于所述小麦麦穗RGB
‑
D数据集，利用梯度下降法分别对所述YSNv2_RGB小麦麦穗检测网络和YSNv2_D小麦麦穗检测网络进行训练，并相应计算L
rgb
和L
dep
以更新模型参数，直到L
rgb
和L
dep
收敛为止，从而得到训练后的最优小麦麦穗RGB图像检测模型M
rgb
和最优小麦麦穗深度图像检测模型M
dep
；
[0015]步骤4、利用式(1)构建小麦麦穗RGB图像检测模型M
rgb
的动态权重因子ω
rgb
：
[0016][0017]式(1)中，Lux1和Lux2分别表示光照强度的上限和下限；Lux表示小麦麦穗RGB图像I
rgb
的光照强度；
[0018]将小麦麦穗RGB图像I
rgb
的检测框Box
rgb
的置信度更新为c'
rgb
＝ω
rgb
c
rgb
；
[0019]将小麦麦穗RGB图像I
rgb
的检测结果R
rgb
更新为R'
rgb
＝{Box
rgb
,c'
rgb
}；
[0020]步骤5、RGB
‑
D小麦麦穗融合检测：
[0021]步骤5.1、将小麦麦穗RGB图像的检测框Box
rgb
和小麦麦穗深度图像的检测框Box
dep
并合为临时检测框B＝{Box
rgb
}∪{Box
dep
}；设置临时检测框B的置信度c＝{c
dep
}∪{c'
rgb
}；
[0022本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级模型的RGB
‑
D自适应融合信息的小麦检测方法，其特征在于，包括以下步骤：步骤1、使用双目相机获取目标麦田的小麦麦穗RGB
‑
D图像(I
′
rgb
，I
′
dep
)，其中，I
′
rgb
表示小麦麦穗RGB图像，I
′
dep
表示小麦麦穗深度伪色彩图像；对所述小麦麦穗RGB图像I
′
rgb
和小麦麦穗深度伪色彩图像I
′
dep
进行对齐后，再进行画面增强并移除背景，得到处理后的RGB
‑
D图像(I
rgb
，I
dep
)并对麦穗位置进行标注，从而构建小麦麦穗RGB
‑
D数据集；其中，I
rgb
表示处理后的小麦麦穗RGB图像，I
dep
表示处理后的小麦麦穗深度伪色彩图像；令I
rgb
中麦穗位置所标注的检测框记为Box～
rgb
，I
dep
中麦穗位置所标注的检测框记为Box～
dep
；步骤2、构建基于轻量级模型的YSNv2_RGB小麦麦穗检测网络和YSNv2_D小麦麦穗检测网络，并分别对I
rgb
，I
dep
进行处理，相应得到小麦麦穗RGB图像I
rgb
的预测结果R
rgb
＝{Box
rgb
，c
rgb
}和小麦麦穗深度伪色彩图像I
dep
的预测结果R
dep
＝{Box
dep
，c
dep
}；其中，Box
rgb
表示小麦麦穗RGB图像I
rgb
的若干检测框，c
rgb
表示RGB麦穗图像检测框Box
rgb
对应的若干置信度，Box
dep
表示小麦麦穗深度伪色彩图像I
dep
的若干检测框，c
dep
表示小麦麦穗深度图像检测框Box
dep
对应的若干置信度；步骤3、构建交叉熵损失函数：根据小麦麦穗RGB图像I
rgb
的预测结果R
rgb
以及所标注的检测框Box～
rgb
，构建YSNv2_RGB小麦麦穗检测网络的交叉熵损失函数L
rgb
；根据小麦麦穗深度图像I
dep
的预测结果R
dep
以及所标注的检测框Box～
dep
，构建YSNv2_D小麦麦穗检测网络的交叉熵损失函数L
dep
；基于所述小麦麦穗RGB
‑
D数据集，利用梯度下降法分别对所述YSNv2_RGB小麦麦穗检测网络和YSNv2_D小麦麦穗检测网络进行训练，并相应计算L
rgb
和L
dep
以更新模型参数，直到L
rgb
和L
dep
收敛为止，从而得到训练后的最优小麦麦穗RGB图像检测模型M
rgb
和最优小麦麦穗深度图像检测模型M
dep
；步骤4、利用式(1)构建小麦麦穗RGB图像检测模型M
rgb
的动态权重因子ω
rgb
：式(1)中，Lux1和Lux2分别表示光照强度的上限和下限；Lux表示小麦麦穗RGB图像I
rgb
的光照强度；将小麦麦穗RGB图像I
rgb
的检测框Box
rgb
的置信度更新为c
′
rgb
＝ω
rgb
c
rgb
；将小麦麦穗RGB图像I
rgb
的检测结果R
rgb
更新为R
′
rgb
＝{Box
rgb
，c
′
rgb
}；步骤5、RGB
‑
D小麦麦穗融合检测：步骤5.1、将小麦麦穗RGB图像的检测框Box
rgb
和小麦麦穗深度图像的检测框Box
dep
并合为临时检测框B＝{Box
rgb
}∪{Box
dep
}；设置临时检测框B的置信度c＝{c
dep
}∪{c
′
rgb
}；步骤5.2、根据置信度c对B中所有的检测框进行降序排序，并将置信度最高的检测框记为b
*
；步骤5.3、计算检测框b
*
与其余每个检测框之间交并比，并筛选出交并比超过阈值的所有检测框；步骤5.4、计算筛选后的检测框的置信度，并将最大置信度所对应的检测框作为最终的
融合检测框Box
mix
，并将Box
mix
所对应的置信度c
mix
共同作为RGB
‑
D小麦麦穗RGB
‑
D图像(I
′
rgb
，I
′
dep
)的融合检测结果R
mix
。2.根据权利1所述的一种基于轻量级模型的RGB
‑
D自适应融合信息的小麦检测方法，其特征在于，所述步骤2中的轻量级模型包括：主干特征提取模块、基于加权双向的特征金字塔融合模块和检测框生成模块；步骤2.1：所述主干特征提取模块依次由N个特征提取子块组成，每个特征提取子块是由2个Shuffle_Block模块后连接一个CABlock模块组成；其中，...

【专利技术属性】
技术研发人员：杨宝华，耿洪冬，崔强，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：