【技术实现步骤摘要】
本申请涉及作物表型处理技术，具体而言涉及一种作物姿态采集检测设备及关键点检测方法。
技术介绍
1、小麦作为全球重要的粮食作物，其株高、茎宽和叶倾角等重要表型性状，可以有效地反映作物的生长、胁迫和营养状况。深度学习蓬勃发展的同时，姿态评估在人体方面取得了成功，在其他可变形关节物体(如动物)也不断有新的进展。
2、但在植物检测方面，姿态估计与关键点检测方向的研究进展缓慢。
3、植物的形态学结构与参数在农业生产和研究中有重要的生物学意义。其可实时检测出不同环境条件以及植物不同基因型等因素对植物形态学参数的变化影响。因此，基于机器视觉、图像分割和深度学习等技术准确地捕捉和分析植物的重要特征对生物育种和农业生产起到至关重要的作用。
技术实现思路
1、本申请针对现有技术的不足，提供一种作物姿态采集检测设备及关键点检测方法，其基于深度学习和机器视觉技术，通过作物表型图像采集机器人自动化采集盆栽作物侧视姿态图像、制作作物姿态评估数据集，利用坐标回归网络和热图回归网络对作物姿态关键点检测的适用性展开讨论，选择最优网络模型unet对作物的形态学结构进行量化，进而分析作物的生理状态。本申请不仅为非侵入性分析作物生理状态提供了新思路，还对作物干旱防灾减灾有重要意义。本申请具体采用如下技术方案。
2、首先，为实现上述目的，提出一种作物姿态采集检测设备，其主体结构包括：车载底盘和安装在车载底盘上的图像采集平台；其中，所述车载底盘采用轮式底盘，轮式底盘的主体结构包括两块钢板，
3、可选的，如上任一所述的作物姿态采集检测设备，其中，所述控制单元还在接收到作物表型图像后，触发对图像数据进行如下筛选分析步骤，得到作物姿态关键点连线图像和作物姿态图像形态学参数：使用pytorch深度学习框架构建模型，借助深度神经网络通过热图回归检测算法识别、预测单株作物的关键点，寻找损失函数最小的非线性映射关系，得到各张作物姿态关键点连线图像中热图最大值的位置坐标，通过heatmap_to_numpy函数将热图最大值的位置坐标转换为关键点坐标，然后按照作物形态学参数计算公式，根据各关键点坐标计算获取穗长、叶长、叶夹角的形态学参数
4、可选的，如上任一所述的作物姿态采集检测设备，其中，所述传感器包括红外循迹传感器，其固定在底盘下方前端，用于检测作物姿态采集检测设备运行路面上所铺设的黑色引导线吸收的热辐射，并由此确定车体中心红外循迹传感器安装位置与黑色引导线之间的位置信息，使作物姿态采集检测设备的驱动系统沿着预铺设在泡沫板上的黑色引导线循迹运行。
5、同时，为实现上述目的，本申请还提供一种作物姿态关键点检测方法，用于对如上任一所述作物姿态采集检测设备采集获得的图像数据进行如下筛选分析步骤，以得到作物姿态关键点连线图像和作物姿态图像形态学参数：使用pytorch深度学习框架构建模型，借助深度神经网络通过热图回归检测算法识别、预测单株作物的关键点，寻找损失函数最小的非线性映射关系，得到各张作物姿态关键点连线图像中热图最大值的位置坐标，通过heatmap_to_numpy函数将热图最大值的位置坐标转换为关键点坐标，然后按照作物形态学参数计算公式，根据各关键点坐标计算获取穗长、叶长、叶夹角的形态学参数。
6、可选的，如上任一所述的作物姿态关键点检测方法，其中，使用通过如下步骤训练获得的模型进行作物形态学参数的识别和提取：采用landmark_annotation软件标定每张作物侧视姿态图像的关键点，按照固定比例分别将各图像归入训练数据集、验证数据集和测试数据集；然后在配置为nvidiartx3060的pc上，使用pytorch深度学习框架构建热图网络模型，将训练数据集中作物侧视姿态图像和对应的关键点标签信息融合，输入编码器解码器进行模型训练，得到关键点检测模型和热图信息，用验证数据集验证关键点检测模型的拟合程度并相应调节网络参数，最后用测试数据集测试关键点检测模型的准确性，得到损失函数最小的非线性映射关系完成模型训练。
7、可选的，如上任一所述的关键点检测方法，其中，采用landmark_annotation软件标定每张作物侧视姿态图像的关键点后，还分别对各图像进行以下任意的增强操作：翻转、旋转、亮度增强、对比度增强，并将增强操作所获得的图像按照相同的固定比例归入训练数据集、验证数据集和测试数据集。
8、可选的，如上任一所述的关键点检测方法，其中，盆栽作物侧视姿态图像的关键点包括：麦穗、顶一叶、顶二叶、顶三叶的端点坐标和/或其中部坐标。
9、可选的，如上任一所述的关键点检测方法，其中，所述作物姿态图像形态学参数包括：顶一、二、三叶的夹角和/或顶一、二、三叶的长度；记landmark[0]代表麦穗顶部的关键点坐标，landmark[1]代表麦穗底部的关键点坐标，landmark[2]代表顶一叶顶部的关键点坐标，landmark[3]代表顶一叶中部的关键点坐标，landmark[4]代表顶一叶底部的关键点坐标，landmark[5]代表顶二叶顶部的关键点坐标，landmark[6]代表顶二叶中部的关键点坐标，landmark[7]代表顶二叶底部的关键点坐标，landmark[8]代表顶三叶顶部的关键点坐标，landmark[9]代表顶三叶中部的关键点坐标，landmark[10]代表顶三叶底部的关键点坐标；则，穗长的形态学参数计算公式为line(landmark[0],landmark[1])；顶一叶长度的形态学参数计算公式为line(landmark[2],landmark[3])+line(landmark[3],landmark[4])；顶二叶长度的形态学参数计算公式为line(landmark[5],landmark[6])+line(landmark[6],landmark[7])；顶三叶长度的形态学参数计算公式为line(landmark[8],landmark[9])+line(landmark[9],landma本文档来自技高网...
【技术保护点】
1.一种作物姿态采集检测设备，其特征在于，设备主体结构包括：车载底盘和安装在车载底盘上的图像采集平台；
2.如权利要求1所述的作物姿态采集检测设备，其特征在于，所述控制单元还在接收到作物表型图像后，触发对图像数据进行如下筛选分析步骤，得到作物姿态关键点连线图像和作物姿态图像形态学参数：
3.如权利要求1所述的作物姿态采集检测设备，其特征在于，所述传感器包括红外循迹传感器，其固定在底盘下方前端，用于检测作物姿态采集检测设备运行路面上所铺设的黑色引导线吸收的热辐射，并由此确定车体中心红外循迹传感器安装位置与黑色引导线之间的位置信息，使作物姿态采集检测设备的驱动系统沿着预铺设在泡沫板上的黑色引导线循迹运行。
4.一种作物姿态关键点检测方法，其特征在于，对权利要求1所述作物姿态采集检测设备采集获得的图像数据进行如下筛选分析步骤，得到作物姿态关键点连线图像和作物姿态图像形态学参数：
5.如权利要求4所述的作物姿态关键点检测方法，其特征在于，使用通过如下步骤训练获得的模型进行作物形态学参数的识别和提取：
6.如权利要求5所述的关键点
7.如权利要求5所述的关键点检测方法，其特征在于，盆栽作物侧视姿态图像的关键点包括：麦穗、顶一叶、顶二叶、顶三叶的端点坐标和/或其中部坐标。
8.如权利要求7所述的关键点检测方法，其特征在于，所述作物姿态图像形态学参数包括：顶一、二、三叶的夹角和/或顶一、二、三叶的长度；
9.如权利要求8所述的关键点检测方法，其特征在于，将训练数据集中作物侧视姿态图像和对应的关键点标签信息融合以输入编码器解码器进行模型训练的步骤还包括如下对关键点坐标的预处理步骤，由此将关键点的坐标转化成三维张量，获得关键点所对应的热图标签：
10.如权利要求9所述的关键点检测方法，其特征在于，PyTorch深度学习框架构建模型包括：Res-Net18、UNet、HRNet48和HRNet32模型，其采用Adam、SGD优化器，batch size根据模型复杂程度的不同设置为16、8、6、4、2，训练次数设置为100、150、200次迭代，学习率从1×10-4逐渐下降到1×10-5；
...【技术特征摘要】
1.一种作物姿态采集检测设备，其特征在于，设备主体结构包括：车载底盘和安装在车载底盘上的图像采集平台；
2.如权利要求1所述的作物姿态采集检测设备，其特征在于，所述控制单元还在接收到作物表型图像后，触发对图像数据进行如下筛选分析步骤，得到作物姿态关键点连线图像和作物姿态图像形态学参数：
3.如权利要求1所述的作物姿态采集检测设备，其特征在于，所述传感器包括红外循迹传感器，其固定在底盘下方前端，用于检测作物姿态采集检测设备运行路面上所铺设的黑色引导线吸收的热辐射，并由此确定车体中心红外循迹传感器安装位置与黑色引导线之间的位置信息，使作物姿态采集检测设备的驱动系统沿着预铺设在泡沫板上的黑色引导线循迹运行。
4.一种作物姿态关键点检测方法，其特征在于，对权利要求1所述作物姿态采集检测设备采集获得的图像数据进行如下筛选分析步骤，得到作物姿态关键点连线图像和作物姿态图像形态学参数：
5.如权利要求4所述的作物姿态关键点检测方法，其特征在于，使用通过如下步骤训练获得的模型进行作物形态学参数的识别和提取：
6.如权利要求5所述的关键点检测方法，其特征在于，采用landmark_annotation软件标定每张作物侧视姿态...
【专利技术属性】
技术研发人员：傅秀清，韩冰，何建博，朱一凡，田露旭，付海威，欧阳芷芊，
申请(专利权)人：南京农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。