一种基于图像处理的树梢检测方法技术

本发明专利技术提供了一种基于图像处理的树梢检测方法

【技术实现步骤摘要】
一种基于图像处理的树梢检测方法、电子设备和存储介质


[0001]本专利技术涉及目标检测
，尤其涉及一种基于图像处理的树梢检测方法
、
电子设备和存储介质
。

技术介绍

[0002]近年来果树例如荔枝树的种植规模不断扩大，在荔枝树种植的过程中荔枝树生长出的新树梢对荔枝产量有较大的影响，例如春天新树梢和花穗在同一时间生长出来，新树梢生长的越多，花穗的生长数量越少，从而降低荔枝的产量
。
因此，荔枝树新树梢的识别对果园的管理以及提高荔枝产量有着十分重要的意义
。
[0003]目前检测荔枝树的方法分为两类，第一类方法是通过人工巡查种植荔枝树的果园，对荔枝树的新树梢进行识别
。
该方法受限于果园地形
、
面积以及荔枝树的高度等因素，导致检测结果准确度不高
。
第二类方法是基于无人机遥感技术检测荔枝树，例如
CN114266975A
公开了采集果园果实的无人机遥感图像，构建图像数据库，将图像数据库划分为训练集
、
验证集和测试集
。
使用荔枝树冠分割模型对训练集进行图像分割，得到树冠分割结果，在验证集上对树冠分割结果进行验证
。
通过荔枝果实检测模型将树冠分割结果划分为密集果实区和非密集果实区，对密集果实区域进行超分辦率操作获取超分密集果实图像，对超分密集果实图像进行二次特征提取和目标定位，以检测密集果实区的果实数量
。
该方法没有针对荔枝树的新树梢进行检测，由于无人机遥感图像中的目标例如新树梢或果实占的比例很小，提取的特征的准确度较低，该方法在分割和目标检测之后再进行超分辨率重建，导致检测结果的准确度不高
。
[0004]综上所述，现有的荔枝树检测方法存在受限于果园地形
、
面积以及荔枝树的高度等因素，或由于无人机遥感图像中的目标占的比例很小，导致检测结果的准确度不高的问题
。

技术实现思路

[0005]为克服相关技术中存在的问题，本专利技术的目的之一是提供一种基于图像处理的树梢检测方法，该方法在树梢检测前对无人机拍摄的图像集进行超分辨率重建，提高了图像集的清晰度，在此基础上使用改进后的检测模型和辅助切片技术进行树梢识别，提高了树梢识别的准确度
。
[0006]一种基于图像处理的树梢检测方法，包括：
[0007]获取待重建图像集，所述待重建图像集包括经过预处理的无人机拍摄的树梢图像；
[0008]对所述待重建图像集进行超分辨率重建，得到重建后图像集；
[0009]从所述重建后图像集中筛选出测试图像集，使用
Tood
‑
SPCS
模型对所述测试图像集进行树梢检测，在树梢检测的同时进行切片辅助推理，得到树梢检测结果；其中，所述
Tood
‑
SPCS
模型为基于
Swin
‑
Transformer
网络的目标检测模型
。
[0010]在本专利技术较佳的技术方案中，所述得到重建后图像集之后，还包括：
[0011]构建待训练
Tood
‑
SPC
模型；
[0012]将所述重建后图像集划分为训练图像集
、
验证图像集和所述测试图像集；
[0013]设置训练参数，使用所述训练参数和所述训练图像集对所述待训练
Tood
‑
SPC
模型进行训练，得到已训练
Tood
‑
SPC
模型；
[0014]对所述已训练
Tood
‑
SPC
模型进行切片辅助微调，得到所述
Tood
‑
SPCS
模型
。
[0015]在本专利技术较佳的技术方案中，所述构建待训练
Tood
‑
SPC
模型，包括：
[0016]将
Tood
模型的主干网络替换为所述
Swin
‑
Transformer
网络；
[0017]将所述
Tood
模型的
neck
网络由特征金字塔网络替换为路径聚合特征金字塔网络；
[0018]将所述
Tood
模型的
GIoU
损失函数替换为
CIoU
损失函数
。
[0019]在本专利技术较佳的技术方案中，所述对所述待重建图像集进行超分辨率重建，得到重建后图像集，包括：
[0020]对所述待重建图像集进行裁剪，得到裁剪图像集；
[0021]从所述裁剪图像集中筛选出含有树枝新梢的图像，将所有所述含有树枝新梢的图像组成目标图像集；
[0022]使用
Real
‑
ESRGAN
方法将所述目标图像集中的每张图像扩大四倍，得到重建后图像集
。
[0023]在本专利技术较佳的技术方案中，所述使用所述训练参数和所述训练图像集对所述待训练
Tood
‑
SPC
模型进行训练，得到已训练
Tood
‑
SPC
模型，包括：
[0024]对所述训练图像集进行标注，得到标注图像集；
[0025]对所述标注图像集进行数据增强，得到增强图像集；其中，所述数据增强包括平移
、
旋转
、
锐化
、
翻转和模糊中的任意一种或多种；
[0026]将所述增强图像集输入所述待训练
Tood
‑
SPC
模型，根据所述训练参数对所述待训练
Tood
‑
SPC
模型进行训练；
[0027]计算
CIoU
损失函数值，根据所述
CIoU
损失函数值和分类结果判断训练中的
Tood
‑
SPC
模型的性能是否符合标准，若是，则停止训练，得到已训练
Tood
‑
SPC
模型
。
[0028]在本专利技术较佳的技术方案中，所述根据所述
CIoU
损失函数值和分类结果判断训练中的
Tood
‑
SPC
模型的性能是否符合标准，包括：
[0029]根据所述
CIoU
损失函数值获取预测框和真实框的交并比；
[0030]将所述验证图像集输入训练中的
Tood
‑
SPC
模型，得到分类结果；根据所述分类结果计算准确率，根据所述准确率和总样本数计算平均精度；
[0031]若所述平均精度大于平均精度阈值，且所述交并比大于交并比阈值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像处理的树梢检测方法，其特征在于，包括：获取待重建图像集，所述待重建图像集包括经过预处理的无人机拍摄的树梢图像；对所述待重建图像集进行超分辨率重建，得到重建后图像集；从所述重建后图像集中筛选出测试图像集，使用
Tood
‑
SPCS
模型对所述测试图像集进行树梢检测，在树梢检测的同时进行切片辅助推理，得到树梢检测结果；其中，所述
Tood
‑
SPCS
模型为基于
Swin
‑
Transformer
网络的目标检测模型
。2.
根据权利要求1所述的基于图像处理的树梢检测方法，其特征在于，所述得到重建后图像集之后，还包括：构建待训练
Tood
‑
SPC
模型；将所述重建后图像集划分为训练图像集
、
验证图像集和所述测试图像集；设置训练参数，使用所述训练参数和所述训练图像集对所述待训练
Tood
‑
SPC
模型进行训练，得到已训练
Tood
‑
SPC
模型；对所述已训练
Tood
‑
SPC
模型进行切片辅助微调，得到所述
Tood
‑
SPCS
模型
。3.
根据权利要求2所述的基于图像处理的树梢检测方法，其特征在于，所述构建待训练
Tood
‑
SPC
模型，包括：将
Tood
模型的主干网络替换为所述
Swin
‑
Transformer
网络；将所述
Tood
模型的
neck
网络由特征金字塔网络替换为路径聚合特征金字塔网络；将所述
Tood
模型的
GIoU
损失函数替换为
CIoU
损失函数
。4.
根据权利要求1所述的基于图像处理的树梢检测方法，其特征在于，所述对所述待重建图像集进行超分辨率重建，得到重建后图像集，包括：对所述待重建图像集进行裁剪，得到裁剪图像集；从所述裁剪图像集中筛选出含有树枝新梢的图像，将所有所述含有树枝新梢的图像组成目标图像集；使用
Real
‑
ESRGAN
方法将所述目标图像集中的每张图像扩大四倍，得到重建后图像集
。5.
根据权利要求2所述的基于图像处理的树梢检测方法，其特征在于，所述使用所述训练参数和所述训练图像集对所述待训练
Tood
‑
SPC
模型进行训练，得到已训练
Tood
‑
SPC
模型，包括：对所述训练图像集进行标注，得到标注图像集；对所述标注图像集进行数据增强，得到增强图像集；其中，所述数据增强包括平移
、
旋转
、
锐化
、
翻转和模糊中的任意一种或多种；将所述增强图像集输入所述待训练
Tood
‑
SPC
模型，根据所述训练参数对所述待训练
Tood
‑
SPC
模型进行训练；计算
CIoU
损失函数值，根据所述
CIoU
损失函数值...

【专利技术属性】
技术研发人员：龙拥兵，樊嘉文，周金鑫，葛唯一，黄彬山，黄文忠，高富豪，兰玉彬，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：