一种复杂场景下的作物三维目标检测方法技术

本发明专利技术公开了一种复杂场景下的作物三维目标检测方法，属于图像处理技术领域，包括以下步骤：S1、数据预处理：使用传感器采集农作物的RGB图像和点云数据，然后对采集的RGB图像进行标注，并利用点云数据生成深度图，最后形成农作物数据集；S2、构建网络模型；S3、将农作物数据集输入到由步骤S2获得的网络模型中，训练网络模型；S4、利用由步骤S3训练完毕的网络模型识别RGB图像中的农作物，并输出识别结果。本发明专利技术采用上述复杂场景下的作物三维目标检测方法，使用农作物图像数据用于模型训练，在农业等领域更具针对性、实用性，从而可在实际农业生产生活中辅助农作物信息检测和采摘，降低劳动力成本。劳动力成本。劳动力成本。

【技术实现步骤摘要】
一种复杂场景下的作物三维目标检测方法


[0001]本专利技术涉及图像处理
，尤其涉及一种复杂场景下的作物三维目标检测方法。

技术介绍

[0002]相比于传统的以人力为主的粗放型农业，现代智慧农业具有以下几个优势：1.生产效率高：智慧农业利用现代技术手段，如物联网、大数据、人工智能等，可以实现对种植、养殖、灌溉等环节的自动化和智能化控制，从而提高生产效率。2.生产成本低：智慧农业采用节能、环保、智能化的技术和设备，能够减少劳动力和资源的浪费，从而降低生产成本。3.促进可持续发展：智慧农业可以实现对土地、水资源的科学利用和保护，减少农业对环境的负面影响，有利于实现农业的可持续发展。
[0003]现代智慧农业中，智能采摘是一种利用现代技术手段实现农作物自动化、智能化采摘的方法。它可以实现自动化和智能化的精准采摘，避免了由于传统人工采摘导致的时间、劳动力浪费以及采摘时的误伤和损伤，从而提高了采摘质量和农业生产效率。
[0004]智慧采摘主要采用二维目标检测算法，二维目标检测在智慧采摘存在局限性，例如无法获取深度信息，对遮挡敏感，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景下的作物三维目标检测方法，其特征在于：包括以下步骤：S1、数据预处理：使用传感器采集农作物的RGB图像和点云数据，然后对采集的RGB图像进行标注，并利用点云数据生成深度图，最后利用标注后的RGB图像和深度图形成农作物数据集；步骤S1具体包括以下步骤：S11、数据采集：使用单目相机和激光雷达分别采集农作物的RGB图像和点云数据；S12、标注：图像数据标注：人工标注RGB图像中农作物的二维边界框和三维边界框；文本数据标注：人工标注RGB图像中农作物的属性信息；S13、获取深度图：利用采集的点云数据生成深度图；S2、构建网络模型，网络模型由用于进行图像特征提取的主干网络、用于进行图像深度图预测的深度预测模块、用于获得所需深度位置编码信息的位置编码模块，用于进行图像特征和深度位置编码信息融合的深度transformer编码器模块和用于进行边界框预测的检测头模块构成；步骤S2具体包括以下步骤：S21、图像特征提取：将RGB图像输入到网络模型中，通过一个主干网络模块进行图像特征提取；S22、将由步骤S21输出的图像特征输入到深度预测模块，利用深度预测模块根据输入的图像特征进行深度特征预测和深度特征增强，分别得到深度预测特征和深度增强特征，并利用深度预测特征预测深度信息特征；S23、将步骤S22输出的深度增强特征作为深度位置信息编码模块的输入，利用深度位置信息编码模块通过两次卷积和一次特征维度变换操作，将输入的深度增强特征信息转换为所需深度位置编码信息；S24、通过一次卷积操作将由步骤S22输出的深度增强特征划分为N个大小相同的块，再通过全连接层将块投影为固定长度的向量；S25、通过一次卷积操作将由步骤S21输出的图像特征划分为N个大小相同的块，再通过全连接层将块投影为固定长度的向量；S26、分别将由步骤S24输出的特征信息和步骤S25输出的图像类别信息相连接，再与步骤S23输出的深度位置编码信息相加，得到上下文特征；S27、将由步骤S26 输出的上下文特征和由步骤S22输出的深度信息特征作为深度transformer编码器模块的输入，将上下文特征和深度信息特征进行融合；S28、将步骤S27输出的融合特征作为检测头模块的输入，预测边界框；S3、将农作物数据集输入到由步骤S2获得的网络模型中，训练网络模型；步骤S3具体包括以下步骤：S31、将农作物数据集划分为训练集和测试集；S32、将训练集载入到由步骤S2获得的网络模型中，使用优化器更新网络模型的参数，并使用动态调整学习率策略对学习率进行更新，得到训练后的网络模型；S33、将测试集输入到经过由步骤S32训...

【专利技术属性】
技术研发人员：张天瀚，王崎，高杨杨，张邦梅，王亚洲，
申请(专利权)人：贵州大学，
类型：发明
国别省市：