临边目标检测方法、装置、终端及介质制造方法及图纸

本发明专利技术公开了一种临边目标检测方法、装置、终端及介质，该方法包括：采集待检测区域的图像；将图像输入至特征提取网络内，作为骨干网络，提取图像的深度特征；将图像的深度特征输入至区域生成网络模块内，得到目标候选框；将目标候选框及图像的深度特征输入到区域特征提取模块内，获取公共特征；将公共特征输送至高度差预测模块，得到边缘高度特征图；将所述S14得到的公共特征输送至第一分类与回归模块，获取分类特征图；将边缘高度特征图与分类特征图进行融合，将融合后的特征图送入第二分类与回归模块，得到目标检出框。本发明专利技术降低了目标检测中难分负样本对模型精度的影响，提升了模型的精度，减小了监控系统中临边目标的检测误检率。测误检率。测误检率。

【技术实现步骤摘要】
临边目标检测方法、装置、终端及介质


[0001]本专利技术涉及图像目标检测
，特别涉及一种临边目标检测方法、装置、终端及介质。

技术介绍

[0002]目标检测是当今计算机视觉和数字图像处理的一个热门方向，其主要任务是从图像中找出所有感兴趣的目标位置，这一技术广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。
[0003]传统的目标检测手段主要基于人工设计的特征，其算法流程可概括为：从图像中提取出可能包含目标的候选区块、根据给出的候选区块进行特征提取、对提取出的特征进行检测分类三个步骤。这类手段的代表性算法有Viola Jones检测器(2001)、HOG检测器(2005)、DPM检测器(2008)等。尽管这些传统方法能在一定程度上解决不同目标的识别问题，但这类算法在原理上要求待检测目标拍摄视角不能出现大幅变动、不能出现遮挡，因此在广泛实际应用中识别精度不高。同时，由于判断候选区域的局限性，这类算法往往拥有较高的算法复杂度，运行速度较慢。
[0004]近年来，随着计算机视觉技术的不断发展，基于深度学习的目标检测技术成为了新的研究热点。具体来说，这一研究方向已经发展成了两条技术路线：以RCNN、SPPNet等模型为代表的Anchor Based方法与以CornerNet、CenterNet等模型为代表的Anchor Free方法。基于深度学习的目标检测算法在近年来获取诸多关注，离不开卷积神经网络(CNN，2012)的兴起；2014年提出的RCNN模型更是将整个目标检测领域整体推入了深度学习时期：其将整个检测过程分为从图像中获取候选区域、从候选区域中获取最终检测框两个部分，通过在输入图像上进行选择性搜索获得候选区域送入神经网络中提取特征，再将特征送入到SVM进行分类来预测该对象框中的图像是否存在待检测目标。SPP
‑
Net算法将特征金字塔池化引入特征提取网络以实现任意图像大小的输入，同时避免了候选区域的第二次卷积特征计算来加快整体的推理速度。基于RCNN发展而来的还有Fast R
‑
CNN模型，该算法提出了ROI pooling层，通过先提取特征图再将候选区域在最后一层映射的方式，避免了特征的重复运算。基于上述工作，Faster R
‑
CNN算法将各个网络结构部件进行整合，形成了第一个端到端，最接近于实时性能的深度学习检测算法。其将特征提取、候选区域提取、边界框的位置回归和分类都结合到了一个统一网络，解决了计算瓶颈。同时，进行目标框类别和位置回归的单阶段检测器也在研究人员的探索下诞生了。YOLO算法开创性地将目标检测转化为单阶段的回归问题，采用一个统一网络同时进行边界框位置坐标和类别的回归，大大缓解了之前两阶段检测速度低下的问题。YOLO算法摒弃了先前“提取候选框+获取最终回归位置”两阶段划分整个任务的思想，将单个神经网络应用于整幅图像，从而取得了很快的检测速度。在此基础上，研究者们还发展出了YOLOv2、YOLOv3和YOLOv4等系列算法，通过设计更深更鲁棒的网络，并融入了一系列目标检测前沿的优化技巧，达到了检测精度和推理速度的折中平衡，拥有更为良好的应用部署条件。此外，2018年首次提出的CornerNet用一种全新
的思路解决了目标检测问题：其提出了一种新的对象检测方法，将网络对目标边界框的检测转化为一对关键点的检测(即左上角和右下角)，通过将对象检测为成对的关键点，而无需设计Anchor box作为先验框。总而言之，基于深度学习的目标检测技术可以自主学习目标的关键特征，与人工设计的特征相比，深度学习方法学习到的特征鲁棒性强、适应性高，因此检测精度高，能够适用于多种不同场景下的检测任务。同时，与传统方法相比，深度学习方法还有检测速度快的有点，可以实现实时处理检测。因此基于深度学习的目标检测在速度、精度、适应性等方面有很大的发展空间。
[0005]但是，目前工业生产中应用深度学习进行针对抽象概念物体检测的研究较少，目前尚不存在针对建筑工地上临边对象专门设计并优化的目标检测方法和系统。临边目标，实际上为建筑工地上广泛存在的一类抽象概念，用以指代工地中存在一定高度差、容易发生安全事故的边缘区域，受限于其抽象属性，真实的临边目标区域往往特征构成复杂，在实际测试过程中，现有的一些通用目标检测算法应用在尺寸差异大、特征复杂的临边检测任务中性能不够理想。针对工地区域上的临边目标检测存在诸多难点。首先由于不同拍摄视角与拍摄距离，实际采集图像中临边区域尺寸差异较大，并且大部分临边目标为长且窄的旋转矩形框目标，临边检测任务在原有的正矩形框检测器中性能不够理想。其次构成临边的两个平面实际材质存在多种可能的情况，模型无法与大部分检测器一样直接根据区域材质、纹理的不同带来的图像特征进行检测，因而直接套用其他检测器会造成大量误检。除此之外，在实际应用场景中，由于需要做到根据监控图像实时进行检测与报警，避免因为临边的防护问题造成不必要的损失，实际的检测算法还应有较快的推理速度。目前已有的目标检测模型在推理性能、检测精度等方面存在一定局限，不能在临边检测任务中直接应用。

技术实现思路

[0006]本专利技术针对上述现有技术中存在的问题，提出一种临边目标检测方法、装置、终端及介质，通过分支任务辅助判断的方式降低了目标检测中难分负样本对模型精度的影响，同时采用两级检测结构提升了模型的最终精度，减小了监控系统中临边目标的检测误检率。
[0007]为解决上述技术问题，本专利技术是通过如下技术方案实现的：
[0008]根据本专利技术的第一方面，提供一种临边目标检测方法，其包括：
[0009]S11：采集待检测区域的图像；
[0010]S12：将图像输入至特征提取网络内，作为骨干网络，提取图像的深度特征；
[0011]S13：将所述S12得到的所述图像的深度特征输入至区域生成网络模块内，得到目标候选框；
[0012]S14：将所述S13得到的所述目标候选框，以及所述S12中的所述图像的深度特征一同输入到区域特征提取模块内，获取临边候选区域的公共特征；
[0013]S15：将所述S14得到的所述公共特征输送至高度差预测模块，得到边缘高度特征图；
[0014]S16：将所述S14得到的所述公共特征输送至第一分类与回归模块，获取分类特征图；
[0015]S17：将所述S15得到的所述边缘高度特征图与所述S16得到的所述分类特征图进
行融合，随后再将融合后的特征图送入第二分类与回归模块，得到目标检出框。
[0016]较佳地，所述S15中的高度差预测模块的构建方法为：
[0017]S21：基于卷积神经网络构建一分支模块，作为所述高度差预测模块。
[0018]较佳地，所述21具体包括：将所述S14中的所述公共特征通过卷积操作进行卷积操作进行降维，得到大小为7
×7×
256的输出特征图，作为所述高度差预测模块的输出。...

【技术保护点】

【技术特征摘要】
1.一种临边目标检测方法，其特征在于，包括：S11：采集待检测区域的图像；S12：将图像输入至特征提取网络内，作为骨干网络，提取图像的深度特征；S13：将所述S12得到的所述图像的深度特征输入至区域生成网络模块内，得到目标候选框；S14：将所述S13得到的所述目标候选框，以及所述S12中的所述图像的深度特征一同输入到区域特征提取模块内，获取临边候选区域的公共特征；S15：将所述S14得到的所述公共特征输送至高度差预测模块，得到边缘高度特征图；S16：将所述S14得到的所述公共特征输送至第一分类与回归模块，获取分类特征图；S17：将所述S15得到的所述边缘高度特征图与所述S16得到的所述分类特征图进行融合，随后再将融合后的特征图送入第二分类与回归模块，得到目标检出框。2.根据权利要求1所述的临边目标检测方法，其特征在于，所述S15中的高度差预测模块的构建方法为：S21：基于卷积神经网络构建一分支模块，作为所述高度差预测模块。3.根据权利要求2所述的临边目标检测方法，其特征在于，所述21具体包括：将所述S14中的所述公共特征通过卷积操作进行卷积操作进行降维，得到大小为7
×7×
256的输出特征图，作为所述高度差预测模块的输出。4.根据权利要求3所述的临边目标检测方法，其特征在于，所述S15还包括为所述高度差预测模块提供监督信息，包括：S41：收集大量包含待检测临边的图像，构建训练数据集，对训练数据集进行标注，标注出所有边缘区域所对应的位置、边缘高度差类型以及是否为临边；S42：将所述S21中的所述输出特征图经过两层1024维的全连接层，获取聚合后的1024维特征向量；S43：将所述S42得到的所述1024维特征向量，送入大小为3的全连接层并将结果进行softmax操作，获取当前区域的高度类型概率；S44：对所述高度差预测模块进行训练，训练时将标注的边缘高度差类型作为边缘高度特征图的监督信息，并且通过损失函数计算高度差预测模块的Loss，记为Loss
h
。5.根据权利要求4所述的临边目标检测方法，其特征在于，所述S41中的训练数据集的标注方法为：使用旋转矩形框进行标注，具体的标注准则包括：包围完整：矩形框能够完整将整个临边区域包含在内；与边平行：矩形框能够通过旋转使临边位于矩形框中心，且矩形框至少有一对边界与临边保持平行；面积适当：矩形框的四条边缘与临边保持预设距离，同时矩形框包含形成临边的两个面的预设大小部分；框选精准：如果第一次框选时未能满足上述要求，通过拖、拉矩形框的相应边缘或旋转矩形...

【专利技术属性】
技术研发人员：黄科锋，张重阳，杨瀚波，黄梓萌，黄庆中，黄振，陈凯，唐强达，孙恺毓，
申请(专利权)人：宁波海棠信息技术有限公司，
类型：发明
国别省市：