一种密集小目标自动计数方法及系统技术方案

本发明专利技术公开了一种密集小目标自动计数方法，包括：获取待计数果实的图像；将图像输入至目标检测模型，得到果实位置信息和置信度信息；将果实位置信息和置信度信息输入至目标跟踪模型得到果实目标跟踪结果；基于果实目标跟踪结果确定图像的计数结果。以及一种密集小目标自动计数系统，包括依次顺序连接的：数据获取模块、信息获取模块、目标跟踪模块和结果输出模块。实现了在保障精准高效的基础上实现果实自动化计数，解决了现有技术缺乏准确高效的自动化果实计数的问题。自动化果实计数的问题。自动化果实计数的问题。

【技术实现步骤摘要】
一种密集小目标自动计数方法及系统


[0001]本专利技术涉及智慧农业
，更具体的说是涉及一种密集小目标自动计数方法及系统。

技术介绍

[0002]目前，随着智慧农业的发展，果园种植的要求越来越精细化，其中果实计数在农业生产管理中发挥着重要的作用；果实计数除了估计果园整体产量外，还可以用于计算果实成熟率，从而确定采摘期，提高资源的利用率和种植效益。
[0003]但是，如今的果园种植者们仍然依靠人工实地进行计数操作，存在计数效率低、计数精度低和人工投入大的弊端；当前的果实计数方法是通过目标检测模型检测图像中的果实数量实现的，现实农业场景中存在果实容易被遮挡，模型选择的对象都是较大目标的果实，不能适用于密集小目标的跟踪，缺乏准确高效的自动化果实计数方法。
[0004]因此，如何在保障精准高效的基础上实现果实自动化计数是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种密集小目标自动计数方法及系统，实现了在保障精准高效的基础上实现果实自动化计数，解决了现有技术缺乏准确高效的自动化果实计数的问题。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种密集小目标自动计数方法，包括：
[0008]获取待计数果实的图像；
[0009]将所述图像输入至目标检测模型，得到果实位置信息和置信度信息；
[0010]将所述果实位置信息和所述置信度信息输入至目标跟踪模型得到果实目标跟踪结果；
[0011]基于所述果实目标跟踪结果确定所述图像的计数结果。
[0012]优选的，所述得到果实位置信息和置信度信息，具体包括：
[0013]对输入的图像进行预处理，得到多个预处理后的子图像；
[0014]采用预训练模型EfficientNetv2
‑
B0作为主干网络，对所述子图像进行特征提取，得到特征图；
[0015]在颈部对所述特征图依次进行上采样和下采样，使用连接的方式对上采样和下采样的特征图进行特征融合，每一层经过上下采样后通过一个CBS
‑
1模块，得到颈部最终提取的特征图；
[0016]检测头采用Decoupled Head结构，在通过颈部输出的每一层特征图经过一个CBS
‑
3模块后，添加纹理注意力DeepTEN，然后进行两次3
×
3卷积，采用anchor
‑
free的锚框生成策略，经过检测头后进行预测和输出图像，得到检测到的果实位置信息及置信度信息，基于
所述果实位置信息及置信度信息确定检测到的果实。
[0017]优选的，所述对输入的图像进行预处理，具体包括：
[0018]将输入图像切分为多个分辨率相同的子图像；
[0019]将所述子图像与所述输入图像连接为一个批次并输入到目标检测模型中进行并行处理，得到检测框；
[0020]将所述检测框映射到所述输入图像中，对于相互重叠的框通过公式IOS判断重合度：
[0021][0022]其中a和b分别表示子图像和输入图像中相对应的检测框，Inter表示两个框之间的交集，min表示两个框面积中最小的面积，bbox表示框的坐标信息，area表示框的面积；
[0023]将重合度大于0.7的框进行合并，得到预处理后的子图像。
[0024]优选的，所述得到果实目标跟踪结果，具体包括：
[0025]为每个所述检测到的果实赋予一个ID和一个跟踪状态；所述跟踪状态包括：不确定状态、确定状态和删除状态；
[0026]管理跟踪状态时，通过相机运动补偿描述相邻帧之间的差别，使用卡尔曼滤波预测所有确定状态果实在当前帧中的位置，当一个跟踪状态匹配到新的一帧中的果实后，结合当前帧的果实位置更新该跟踪状态中卡尔曼滤波的参数；
[0027]保留所有置信度得分大于0.1的目标框，并将所述目标框分为高分目标和低分目标两类，根据目标跟踪轨迹和目标框两阶段式的数据关联策略确定加入计数任务的果实，得到计数果实的跟踪结果；
[0028]所述目标跟踪模型根据所述跟踪结果进行果实计数，实现果实自动计数。
[0029]优选的，所述跟踪状态分配，具体包括：
[0030]当所述目标跟踪模型检测到的果实不属于前面帧所建立的跟踪状态时，将其设置为不确定状态；
[0031]当连续三帧均检测到同一个果实时，其跟踪状态设置为确定状态，否则设置为删除状态；
[0032]当处于确定状态且长时间未能匹配到对应的果实，则认为该果实已从当前图像中消失，将其设置为删除状态。
[0033]优选的，所述数据关联策略，具体包括：
[0034]将置信度大于0.5的高分目标果实，与确定状态的果实进行匹配，每个待匹配跟踪状态使用卡尔曼滤波预测后的框的位置为bbox
t
，每个待匹配目标框的位置为bbox
d
，计算所述高分目标果实与所述确定状态的果实之间的目标距离dist
t,d
：
[0035]dist
t,d
＝1
‑
IoU(bbox
t
,bbox
d
)*score
d
[0036]其中，IoU表示两个框之间的交并比，score
d
代表待匹配检测框的得分；
[0037]当目标距离小于设定阈值时，确定两者匹配成功，否则匹配失败；
[0038]第一次匹配后，得到三类数据：已经匹配的跟踪计数目标和检测目标、没有匹配的跟踪计数目标和没有匹配的检测目标；
[0039]将第一次匹配后的没有匹配的检测目标与不确定状态的跟踪计数目标进行第二
次匹配，目标距离的计算公式与dist
t,d
相同；
[0040]将第二次匹配后没有匹配的跟踪计数目标标记为删除状态，将第二次匹配后没有匹配的检测目标标记为不确定状态的跟踪计数目标；
[0041]将置信度在0.1至0.5之间的低分目标果实，与第一次匹配后没有匹配的跟踪计数目标进行第三次匹配，第三次匹配的目标距离的计算公式为：
[0042]dist
t,d
'＝1
‑
IoU(bbox
t
,bbox
d
)
[0043]当目标距离大于0.5则第三次匹配失败，查找匹配失败后没有匹配的跟踪计数目标的上一次出现的帧，若消失的时间大于预设保留帧时间，则认为该果实已从当前视频或图像中消失，将其状态设置为删除状态，不再对该果实进行匹配，反之则进行保留。
[0044]一种密集小目标自动计数系统，包括依次顺序连接的：数据获取模块、信息获取模块、目标跟踪模块和结果输出模块；
[0045]所述数据获取模块，用于获取获取待计数果实的图像；
[0046]所述信息获取模块，用于将所述图像输入至目标检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种密集小目标自动计数方法，其特征在于，包括：获取待计数果实的图像；将所述图像输入至目标检测模型，得到果实位置信息和置信度信息；将所述果实位置信息和所述置信度信息输入至目标跟踪模型得到果实目标跟踪结果；基于所述果实目标跟踪结果确定所述图像的计数结果。2.根据权利要求1所述的一种密集小目标自动计数方法，其特征在于，所述得到果实位置信息和置信度信息，具体包括：对输入的图像进行预处理，得到多个预处理后的子图像；采用预训练模型EfficientNetv2
‑
B0作为主干网络，对所述子图像进行特征提取，得到特征图；在颈部对所述特征图依次进行上采样和下采样，使用连接的方式对上采样和下采样的特征图进行特征融合，每一层经过上下采样后通过一个CBS
‑
1模块，得到颈部最终提取的特征图；检测头采用Decoupled Head结构，在通过颈部输出的每一层特征图经过一个CBS
‑
3模块后，添加纹理注意力DeepTEN，然后进行两次3
×
3卷积，采用anchor
‑
free的锚框生成策略，经过检测头后进行预测和输出图像，得到检测到的果实位置信息及置信度信息，基于所述果实位置信息及置信度信息确定检测到的果实。3.根据权利要求2所述的一种密集小目标自动计数方法，其特征在于，所述对输入的图像进行预处理，具体包括：将输入图像切分为多个分辨率相同的子图像；将所述子图像与所述输入图像连接为一个批次并输入到目标检测模型中进行并行处理，得到检测框；将所述检测框映射到所述输入图像中，对于相互重叠的框通过公式IOS判断重合度：其中a和b分别表示子图像和输入图像中相对应的检测框，Inter表示两个框之间的交集，min表示两个框面积中最小的面积，bbox表示框的坐标信息，area表示框的面积；将重合度大于0.7的框进行合并，得到预处理后的子图像。4.根据权利要求3所述的一种密集小目标自动计数方法，其特征在于，所述得到果实目标跟踪结果，具体包括：为每个所述检测到的果实赋予一个ID和一个跟踪状态；所述跟踪状态包括：不确定状态、确定状态和删除状态；管理跟踪状态时，通过相机运动补偿描述相邻帧之间的差别，使用卡尔曼滤波预测所有确定状态果实在当前帧中的位置，当一个跟踪状态匹配到新的一帧中的果实后，结合当前帧的果实位置更新该跟踪状态中卡尔曼滤波的参数；保留所有置信度得分大于0.1的目标框，并将所述目标框分为高分目标和低分目标两类，根据目标跟踪轨迹和目标框两阶段式的数据关联策略确定加入计数任务的果实，得到计数果实的跟踪结果；
所述目标跟踪模型根据所述跟踪结果进行果实计数，实现果实自动计数。5.根据权利要求4所述的一种密集小目标自动计数方法，其特征在...

【专利技术属性】
技术研发人员：谢家兴，陈诗云，李君，华佳俊，谌文，吕振东，陈绍楠，孙道宗，邹明杰，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：