本发明专利技术公开了一种基于光谱扩展方法的农作物目标检测方法及系统，方法包括：获取农作物的目标RGB图像；根据目标RGB图像，通过光谱超分辨网络，基于数据驱动方式进行光谱超分辨得到目标高光谱图像；根据目标RGB图像，通过光谱扩展生成对抗网络，基于数据驱动方式进行光谱扩展合成目标近红外图像；基于预设条件，根据目标高光谱图像合成目标可见光图像；在通道维度拼接目标可见光图像和目标近红外图像，输入早期融合目标检测网络得到农作物目标检测结果。本发明专利技术通过使用基于数据驱动的方式来重建高光谱图像和合成近红外图像，进而应用在农作物目标检测中，能够得到更为全面的物体属性，可广泛应用于目标检测技术领域。可广泛应用于目标检测技术领域。可广泛应用于目标检测技术领域。
【技术实现步骤摘要】
一种基于光谱扩展方法的农作物目标检测方法及系统
[0001]本专利技术涉及目标检测
，尤其是一种基于光谱扩展方法的农作物目标检测方法及系统。
技术介绍
[0002]农作物的目标检测对产量估计，病虫害预测等任务具有重要作用。由于单独波段的图像传感器采集的图像会受到环境因素的影响和传感器本身成像特性的限制，不能全面的反映的物体的属性。因此，单源数据的使用限制了计算机下游任务目标检测的精度。
[0003]高光谱遥感图像具有信息量丰富，光谱分辨率高，波段范围宽等优势，蕴含了更加准确的可辨识地物特征信息，捕获成本较高。近红外光谱属于分子振动光谱的倍频和主频吸收光谱，具有较强的穿透能力，不易受到环境的影响，但是缺乏对目标场景纹理细节的表现，不利于人眼的判读。可见光图像容易受到光照条件和环境条件的约束，但是捕获方便快捷。
[0004]虽然多源数据包含的物质的信息特性更多，但是多源数据捕获困难，且获取存在分辨率不一致，配准困难等问题。
技术实现思路
[0005]鉴于此，本专利技术实施例提供一种基于光谱扩展方法的农作物目标检测方法及系统，通过基于数据驱动的方式来重建高光谱图像以及合成近红外图像，应用在农作物目标检测。
[0006]一方面，本专利技术的实施例提供了一种基于光谱扩展方法的农作物目标检测方法，包括：
[0007]获取农作物的目标RGB图像；
[0008]根据所述目标RGB图像，通过光谱超分辨网络，基于数据驱动方式进行光谱超分辨得到目标高光谱图像；
[0009]根据所述目标RGB图像，通过光谱扩展生成对抗网络，基于数据驱动方式进行光谱扩展合成目标近红外图像；
[0010]基于预设条件，根据所述目标高光谱图像合成目标可见光图像；
[0011]在通道维度拼接所述目标可见光图像和所述目标近红外图像，输入早期融合目标检测网络得到农作物目标检测结果。
[0012]可选地，还包括：
[0013]基于RGB图像与高光谱图像的逆映射，通过特征提取模块、层间特征集成模块和特征增强模块构建多层级联架构的光谱超分辨网络；
[0014]其中，所述光谱超分辨网络各层级采用不同分辨率的图像作为层级输入；
[0015]所述层间特征集成模块，通过PixelShuffle进行上采样操作；
[0016]所述特征增强模块包括残差块和密集块。
[0017]可选地，还包括：
[0018]通过成对的RGB图像和高光谱图像作为数据集，结合损失函数对所述光谱超分辨网络进行优化训练。
[0019]可选地，所述光谱超分辨网络为多层级联架构，所述根据所述目标RGB图像，通过光谱超分辨网络，基于数据驱动方式进行光谱超分辨得到目标高光谱图像，包括：
[0020]通过PixelUnShuffle对所述目标RGB图像进行多种倍数下采样，得到多种分辨率图像；
[0021]将所述目标RGB图像的原始分辨率图像和所述多种分辨率图像的各种分辨率图像依次输入所述光谱超分辨网络的各个层级；
[0022]在各个层级进行特征提取、层间特征集成和特征增强，得到各个层级对应的目标高光谱图像；
[0023]其中，所述层间特征集成通过PixelShuffle进行上采样操作；所述特征增强通过残差块和密集块减少伪影。
[0024]可选地，还包括：
[0025]基于RGB图像与近红外图像的映射关系，通过生成器和鉴别器构建端到端的光谱扩展生成对抗网络；
[0026]其中，所述生成器包括编码器、瓶颈层和解码器，所述编码器包括卷积层、残差通道注意力实例化模块和离散小波变换下采样，所述解码器包括逆离散小波变换上采样和卷积层。
[0027]可选地，还包括：
[0028]通过最小二乘对抗损失对所述光谱扩展生成对抗网络进行参数优化；
[0029]通过特征匹配损失和感知损失对所述生成器进行像素级损失的约束；
[0030]通过成对的RGB图像和近红外图像作为数据集，对所述鉴别器和所述生成器进行交替训练，直至达到纳什平衡。
[0031]可选地，所述光谱扩展生成对抗网络包括生成器，所述生成器包括编码器、瓶颈层和解码器，所述根据所述目标RGB图像，通过光谱扩展生成对抗网络，基于数据驱动方式进行光谱扩展合成目标近红外图像，包括：
[0032]通过编码器对所述目标RGB图像进行第一卷积处理、残差通道注意力实例化处理和离散小波变换下采样处理，得到第一特征图；
[0033]通过瓶颈层对所述第一特征图进行第二卷积处理，得到第二特征图；
[0034]通过解码器对所述第二特征图进行逆离散小波变换上采样处理、逐元素加法操作和第三卷积处理，合成目标近红外图像。
[0035]可选地，还包括：
[0036]基于Faster R
‑
CNN网络架构，通过特征提取模块、区域帧预测模块和分类预测模块构建早期融合目标检测网络；
[0037]其中，所述特征提取模块包括6通道输入层的VGG16网络。
[0038]可选地，所述早期融合目标检测网络包括特征提取模块、区域帧预测模块和分类预测模块，所述在通道维度拼接所述目标可见光图像和所述目标近红外图像，输入早期融合目标检测网络得到农作物目标检测结果，包括：
[0039]通过特征提取模块接收处理拼接的所述目标可见光图像和所述目标近红外图像，得到第五特征图；
[0040]通过区域帧预测模块生成候选帧并投射到所述第五特征图，得到相应的特征矩阵；
[0041]通过分类预测模块基于所述特征矩阵进行缩放处理和扩散处理，得到农作物目标检测结果。
[0042]另一方面，本专利技术的实施例提供了一种基于光谱扩展方法的农作物目标检测系统，包括：
[0043]第一模块，获取农作物的目标RGB图像；
[0044]第二模块，用于根据所述目标RGB图像，通过光谱超分辨网络，基于数据驱动方式进行光谱超分辨得到目标高光谱图像；
[0045]第三模块，用于根据所述目标RGB图像，通过光谱扩展生成对抗网络，基于数据驱动方式进行光谱扩展合成目标近红外图像；
[0046]第四模块，用于基于预设条件，根据所述目标高光谱图像合成目标可见光图像；
[0047]第五模块，用于在通道维度拼接所述目标可见光图像和所述目标近红外图像，输入早期融合目标检测网络得到农作物目标检测结果。
[0048]另一方面，本专利技术的实施例提供了一种基于光谱扩展方法的农作物目标检测系统，包括处理器以及存储器；
[0049]所述存储器用于存储程序；
[0050]所述处理器执行所述程序实现如前面所述的方法。
[0051]另一方面，本专利技术的实施例提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
[0052]本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于光谱扩展方法的农作物目标检测方法，其特征在于，包括：获取农作物的目标RGB图像；根据所述目标RGB图像，通过光谱超分辨网络，基于数据驱动方式进行光谱超分辨得到目标高光谱图像；根据所述目标RGB图像，通过光谱扩展生成对抗网络，基于数据驱动方式进行光谱扩展合成目标近红外图像；基于预设条件，根据所述目标高光谱图像合成目标可见光图像；在通道维度拼接所述目标可见光图像和所述目标近红外图像，输入早期融合目标检测网络得到农作物目标检测结果。2.根据权利要求1所述的一种基于光谱扩展方法的农作物目标检测方法，其特征在于，还包括：基于RGB图像与高光谱图像的逆映射，通过特征提取模块、层间特征集成模块和特征增强模块构建多层级联架构的光谱超分辨网络；其中，所述光谱超分辨网络各层级采用不同分辨率的图像作为层级输入；所述层间特征集成模块，通过PixelShuffle进行上采样操作；所述特征增强模块包括残差块和密集块。3.根据权利要求2所述的一种基于光谱扩展方法的农作物目标检测方法，其特征在于，还包括：通过成对的RGB图像和高光谱图像作为数据集，结合损失函数对所述光谱超分辨网络进行优化训练。4.根据权利要求1所述的一种基于光谱扩展方法的农作物目标检测方法，其特征在于，所述光谱超分辨网络为多层级联架构，所述根据所述目标RGB图像，通过光谱超分辨网络，基于数据驱动方式进行光谱超分辨得到目标高光谱图像，包括：通过PixelUnShuffle对所述目标RGB图像进行多种倍数下采样，得到多种分辨率图像；将所述目标RGB图像的原始分辨率图像和所述多种分辨率图像的各种分辨率图像依次输入所述光谱超分辨网络的各个层级；在各个层级进行特征提取、层间特征集成和特征增强，得到各个层级对应的目标高光谱图像；其中，所述层间特征集成通过PixelShuffle进行上采样操作；所述特征增强通过残差块和密集块减少伪影。5.根据权利要求1所述的一种基于光谱扩展方法的农作物目标检测方法，其特征在于，还包括：基于RGB图像与近红外图像的映射关系，通过生成器和鉴别器构建端到端的光谱扩展生成对抗网络；其中，所述生成器包括编码器、瓶颈层和解码器，所述编码器包括卷积层、残差通道注意力实例化模块和离散小波变换下采样，所述解码器包括逆离散小波变换上采样和卷积层。6.根据权利要求5所述的一种基于光谱扩展方法的农作物目标检测方法，其特征在于，还包括：
通过最小二乘对抗损...
【专利技术属性】
技术研发人员：赵艮平，何玉丹，王卓薇，程良伦，
申请(专利权)人：广东能哥知识科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。