一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于anchor
‑
free的域适应目标检测模型、目标检测方法及系统


[0001]本专利技术涉及图像处理以及智能信息提取
，尤其涉及一种基于
anchor
‑
free
的域适应目标检测模型
、
目标检测方法及系统
。

技术介绍

[0002]高精度的果实目标检测技术，是实现果业智能信息化建设
、
果园自动化管理的前提和关键
。
随着农业自动化水平的提高以及深度学习的发展，越来越多的基于深度学习的检测模型被用于果实检测
。
基于深度学习的果实检测技术可以通过提取果园中所采集图像和结构化数据的各种特征，并与农业机械有效结合，更好地应用到果实定位
、
果实分拣
、
果实产量预测
、
果实自动采摘等众多智慧果园智能化工作中
。
[0003]现阶段基于深度学习的果实检测技术得到了广泛的应用，需要依赖大量已标注果实数据集支撑检测模型的训练学习，人工标注成本高；并且由于现阶段深度学习模型泛化性能差的原因，针对不同场景
、
不同环境
、
不同拍摄方式以及不同果实种类的应用工作中，需要独立制作新的果实数据集并设计新的检测模型结构，整个过程耗时耗力
。
[0004]基于此问题，数据集的自动标注方法越来越受到关注
。
针对果实数据集的自动标注工作旨在对一套实际目标场景的图像数据实现目标标签框的自动生成，且标注精度需达到一定水平以满足智慧产业建设中的各种实际应用
。
因此，如何设计一种能提升不同类别目标数据集自动标注精度的方法具有迫切的需求
。
[0005]申请人前期研究的
EasyDAMv1、EasyDAMv2
中提出了果实数据集的自动标注方法
。
该方法可实现以一种已标注果实图像数据集作为源域，多种不同类别无标注果实作为目标域的果实图像自动标注工作，同时达到了一定的标注精度，从而节约了果实数据集标注所需的人工成本
。
该方法主要包含以下几个步骤，首先，使用一套已标注源域果实图像，通过生成对抗网络获取具有目标域果实特征的仿真图像；然后，将该仿真图像作为训练数据输入到申请人团队前期提出的
Orange
‑
Yolo
果实检测网络中进行目标域果实特征的学习；最后，将需要标注的目标域果实图像输入到预训练的
Orange
‑
Yolo
果实检测模型中获取目标域果实图像伪标签数据，并通过伪标签更新策略进一步提升了伪标签精度，从而完成了目标域果实数据集的自动标注工作
。
[0006]但是，由于该过程中用于训练果实检测网络的训练数据为源域果实图像通过
GAN
生成的目标域仿真果实图像，而需进行标注的图像为实际场景下的目标域真实果实图像，导致果实检测模型的训练数据与实际应用数据之间存在较大的域差异，能否解决这种域差异问题直接影响着最终的标注精度
。
具体来说，该域差异问题可以细化为前景域差异问题和背景域差异问题两方面，图1展示了
EasyDAM
方法中域差异问题示例：
[0007](1)
前景域差异问题
(
如图
1(b)
中果实训练标签框与
(c)
中果实目标尺度不匹配的问题
)
：由于
EasyDAM
自动标注方法中各类目标域仿真果实图像
(
如图1中
(b))
中的果实前景目标是由源域果实图像
(
如图1中
(a))
中的果实前景目标通过生成对抗网络转换而来的，其
监督信息仍保留源域果实尺度特征信息
。
但由于拍摄角度
、
拍摄距离以及目标域果实种类不同，导致目标域真实果实
(
如图1中
(c))
尺度特征多样，而源域果实尺度特征信息与目标域真实果实的实际尺度并不能完全匹配，尺度差异较大，从而造成了前景域差异问题，导致利用果实检测模型生成的伪标签质量受到影响；
[0008](2)
背景域差异问题
(
如图
1(b)
中果实背景与
(c)
中果实背景场景不一致的问题
)
：由于
EasyDAM
自动标注方法中目标域仿真果实图像
(
如图1中
(b))
由源域果实图像
(
如图1中
(a))
进行转换时仅对果实前景目标进行转换生成，其背景仍保留源域果实图像背景，但目标域真实果实图像
(
如图1中
(c))
中为该果实实际场景下的背景，从而造成了背景域差异问题，导致利用果实检测模型生成的伪标签生成质量进一步受到影响
。
[0009]参见图1，以柑橘为源域，火龙果为目标域为例
(
图中框代表标签框信息
)。
其中图
1(a)
表示源域柑橘果实图像，图
1(b)
表示目标域火龙果仿真果实图像
(
果实检测模型训练数据
)
，图
1(c)
表示目标域火龙果真实果实图像
(
果实检测模型应用数据
)。
其中图
1(b)
由图
1(a)
经生成对抗网络转换而来，因此造成图
1(b)
与图
1(c)
之间在前景果实目标和背景两方面存在明显的域差异问题
。
[0010]针对以上问题，分别从目标检测网络对前景目标尺度信息学习能力以及对图像中前
‑
背景特征学习方式等两方面的现有技术进行分析，包括：
[0011](1)
前景目标尺度特征信息的现有技术：现阶段大多数方法针对苹果
、
芒果
、
桃子
、
鸭梨等果实的检测，采用基于
Anchor
‑
Based
的检测器，通过锚框的设置引入果实目标尺度先验知识，以适应不同果实目标尺度的检测框生成
。
并且有部分进一步设计了多尺度检测结构，实现了不同大小尺度果实目标的检测
。
上述方法主要基于训练数据和实际应用数据服从同一尺度信息分布的基础来进行模型的训练学习，从而保证模型在测试数据中的性能效果
。
而在源域和目标域数据尺度信息分布不同情况下，原
EasyDAM
方法采用的
Anchor
‑
Based
模型中的锚框参数主要来自源域果实尺度信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
倍下采样的预测特征图以及用于进行其它尺度目标检测的4倍下采样的预测特征图
。5.
根据权利要求4所述的目标检测方法，其特征在于，所述基于目标尺度特征泛化的裁剪形成裁剪后的网络颈部结构包括：裁剪后输出的预测特征图从由深向浅融合部分输出，过程如式
(2)
所示：其中，
O
表示由深向浅融合部分中的特征图；
n
表示获取该特征图时同维度特征图的融合次数；
m
表示特征图下采样倍数；
DC
表示可变形卷积操作；
DU
表示可变形卷积和上采样操作
。6.
根据权利要求5所述的目标检测方法，其特征在于，所述构建基于样本分配的背景域适应结构包括：
(1)
设置热力图分支中改进的正负样本标签分配策略；并基于所述改进的正负样本标签分配策略学习目标的前
‑
背景特征；其中所述改进的正负样本标签分配策略为基于热力图的正样本点扩充策略；
(2)
设置与所述基于热力图的正样本点扩充策略相应的损失函数，所述损失函数为连续型标签值损失函数；所述连续型标签值损失函数如公式
(4)
所示：其中，
L
H
为计算得到的损失值，
N
为特征图上像素点总个数；为分支预测热力图上的某样本点的值，
H
xy
为真实热力图
H
对应位置像素点的值；默认设置
β
＝
2。7.
根据权利要求6所述的目标检测方法，其特征在于，所述基于热力图的正样本点扩充...

【专利技术属性】
技术研发人员：张文利，郑超，王陈惠子，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：