一种基于多任务网络模型的甘蓝姿态估计检测方法技术

本发明专利技术请求保护一种基于多任务网络模型的甘蓝姿态估计检测方法，可同时对结球甘蓝球体和根茎进行区域分割，并对甘蓝姿态进行识别判断，以

【技术实现步骤摘要】
一种基于多任务网络模型的甘蓝姿态估计检测方法


[0001]本专利技术涉及人工智能领域，特别是涉及一种基于多任务网络模型的甘蓝姿态估计检测方法
。

技术介绍

[0002]甘蓝是一种富含多种维生素和膳食纤维的绿色蔬菜，具有口感好
、
产量高
、
耐贮运等特点，广受世界各地人民喜爱
。
甘蓝的收获方式主要有人工收获和机械收获两种，人工收获适用于小规模种植的甘蓝，甘蓝的收获方式主要有人工收获和机械收获两种，人工收获适用于品质要求高的甘蓝，可以避免机械收获可能带来的损伤，而机械收获效率高
、
成本低，更适用于大规模种植的甘蓝
。
机械收获主要依靠甘蓝收获机进行，在其作业过程中，由于甘蓝植株自身生长倾斜或与机具的传输碰撞，容易改变结球根和球体轴线的位置，使其无法与切根机构圆盘刀平面保持垂直，从而导致切根装置无法准确切割甘蓝根部，损伤结球
。
为了降低甘蓝机械收获过程中的切割损伤率，在进行根部切割前对于甘蓝姿态进行适度的调整具有重要作用，而甘蓝姿态倾斜度的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多任务网络模型的甘蓝姿态估计检测方法，其特征在于，包括：步骤一，采用
CCD
相机拍摄模拟夹持状态下的甘蓝图像，作为多任务网络模型训练依据的数据样本集；步骤二
、
对采集到的所述数据样本集进行数据增强操作；步骤三
、
对数据增强后的数据样本集进行甘蓝标注，得到标注样本集；步骤四
、
构建多任务网络模型；步骤五，对所述标注样本集进行划分处理，将划分好的标注样本集放入多任务网络模型中进行训练；步骤六，根据训练后的多任务网络模型对待识别甘蓝图像进行目标检测和实例分割；步骤七，根据实例分割后的图像对所述待识别甘蓝图像进行图像处理，得到待识别甘蓝的各部位的关键点；步骤八，根据所述关键点，结合贝塞尔曲线，预测所述待识别甘蓝的根茎，确定所述待识别甘蓝的主轴；步骤九，获取所述待识别甘蓝的主轴的端点坐标，代入倾斜公式得到所述待识别甘蓝的倾斜值；步骤十，根据预设的阈值与测得的所述倾斜值比较，判断所述待识别甘蓝的姿态是否为合适切割范围
。2.
如权利要求1所述的一种基于多任务网络模型的甘蓝姿态估计检测方法，其特征在于，所述步骤一还包括：采用
CCD
相机模拟甘蓝收获机夹持甘蓝的场景，并对夹持状态下的甘蓝进行拍摄获取数据样本集，数据样本集包含夹持的不同角度
、
不同光照下所拍摄的图像
。3.
如权利要求1所述的一种基于多任务网络模型的甘蓝姿态估计检测方法，其特征在于，所述步骤二还包括：对采集到的所述数据样本集进行数据增强操作至少包括组合几何变换
、
改变亮度
、
增加噪音
、
增加遮挡操作
。4.
如权利要求1所述的一种基于多任务网络模型的甘蓝姿态估计检测方法，其特征在于，所述步骤三还包括：利用
Lableme
标注工具中的多边形标注按钮对数据样本集中的甘蓝球体和甘蓝根茎区域以选点连线的方式形成封闭的多边形，保存文件为
json
文件；经过
python
代码处理后将所述
json
文件转化为
txt
标注文件，并按照数据集8：2比例划分为训练集与测试集
。5.
如权利要求1所述的一种基于多任务网络模型的甘蓝姿态估计检测方法，其特征在于，所述步骤四还包括：所述多任务网络模型是基于一阶段的
YOLOv5
模型结构；所述多任务网络模型包括三个模块：提取特征模块
、
多尺度融合模块
、
检测分割模块；所述多任务网络模型的构建过程为：前向传播，将选取的甘蓝输入到多任务网络模型中，得到相应的输出预测结果
{y(1),...,y(s)}
；每个图像的输出预测结果包含两个部分；
目标检测结果：包括预测的甘蓝边界框总数量
N、
每个边界框对应的分类预测值
、
置信度预测值，以及标注框的相对位置和尺寸
(center_x,center_y,w,h)
；分割结果：输出一张与输入图像大小相同的特征图，特征图中的每个值对应输入图像中每个位置的类别值，类别值为0代表背景，类别值为1代表甘蓝球，类别2代表甘蓝根；计算损失：根据多任务模型的损失函数，包括目标检测的损失和语义分割的损失，计算模型在当前批次数据上的总损失，其中总损失
LOSS
＝边界框损失
(L
box
)+
目标损失
(L
obj
)+
分类损失
(L
cls
)+
分割损失
(L
seg
)
：
LOSS
＝
λ1L

【专利技术属性】
技术研发人员：周成，邵超凡，
申请(专利权)人：湖州师范学院，
类型：发明
国别省市：