一种多角度物体检测方法和系统技术方案

本发明专利技术涉及一种多角度物体检测方法，包括：以深度神经网络构建检测模型；对训练图提取特征以获得多个特征图，设置多个垂直矩形锚框，获取该垂直矩形锚框与该训练图的样本物体的相交比，并以该相交比大于正例阈值的垂直矩形锚框标记为该训练图的样本物体的正例；通过该特征图对每个该正例进行回归预测，获取该样本物体的倾斜椭圆锚框的特征参数，以对该检测模型进行学习；以该检测模型检测目标图，获取该目标图中物体的倾斜椭圆锚框。

A Multi-angle Object Detection Method and System

The invention relates to a multi-angle object detection method, which includes: constructing detection model with depth neural network; extracting features from training graph to obtain multiple feature maps, setting up multiple vertical rectangular anchor frames, obtaining the intersection ratio of the vertical rectangular anchor frame and the sample object of the training graph, and marking the vertical rectangular anchor frame whose intersection ratio is greater than the normal threshold as the sample object of the training graph. In order to learn the detection model, the feature parameters of the oblique elliptic anchor frame of the sample object are obtained by regression prediction of each positive case through the feature map, and the oblique elliptic anchor frame of the object in the target image is obtained by detecting the target image with the detection model.

【技术实现步骤摘要】
一种多角度物体检测方法和系统
本专利技术属于计算机视觉领域，尤其涉及基于深度学习的多角度物体检测技术。
技术介绍
计算机视觉理论的奠基者，英国神经生理学家Marr认为，视觉要解决的问题可归结为“WhatisWhere”，即什么东西在什么地方。因此物体检测是最基本的研究问题之一。给定一张图片，物体检测要回答的是什么物体出现在图中的什么地方，不仅需要认识物体，还需要框出物体所在位置。物体检测作为计算机视觉领域的一个基础性研究问题，如今已经被应用到了很多实际任务当中，例如基于内容的图像检索，自动驾驶等等；同时物体检测也是很多高级视觉任务的必备前提，例如场景理解，图片描述，视觉问答等等。主流的检测方法主要分为两种类型：(1)两阶段检测器(基于候选框提取的方法)(2)单阶段检测器(基于回归的方法)。随着深度学习的兴起，在过去的几年中，两阶段探测器很快成为了目标探测的主流。代表性的方法包括区域深度特征的物体检测方法(R-CNN)，两阶段端到端的结合区域提取网络的实时物体检测(FasterR-CNN)等等。这些方法解决思想是在第一阶段生成成千上万个可能存在物体的候选框，第二阶段对这些候选框进行特征提取，并分类成前景或背景。区域深度特征的物体检测方法(R-CNN)利用选择性搜索在图片中产生千万个候选框，再利用网络对候选区域提取深度特征，并应用线性支持向量机(SVM)作为分类器。为了达到更快的检测速度，两阶段端到端的结合区域提取网络的实时物体检测(FasterR-CNN)将候选框提取操作与第二阶段分类器集成到一个单一的卷积网络中，并提出了一种新的区域池化操作从共享的图片卷积特征中映射，为每个候选框提取特征向量。同时，单阶段检测器也不断发展，主要是能够满足于实时检测，并具有令人满意的精度。一种直接回归的目标检测方法(YOLO)将图片网格化，假设每个网格只会落入一个物体中心，该网格负责预测此物体，每个网格预测所负责物体的区域位置以及该区域属于每个类别的概率值，再与标签进行回归即可。单回归多尺度检测器(SSD)结合YOLO的回归思想以及FasterR-CNN的锚机制，更进一步在多尺度特征上进行回归，实现更精准的物体检测定位。另外，还有一种性能突出的单阶段结合难例挖掘和多尺度网络的目标检测方法(RetinaNet)，此方法利用特征金字塔多尺度网络对图片提取特征，直接与真实标注回归物体类别与位置，并且在损失函数中设计聚焦机制，在学习过程中更关注于对难例的学习。总之，检测的新方法层不出穷，以上提到的现有技术主要专注于从精度速度上考虑使得性能得以提升。但是这些检测方法对于检测到的物体都是用横平竖直的矩形框来描述，仍然不能完美的应用于更多实际的任务，例如对于场景文字的检测，各个不同方向人脸的检测等等。
技术实现思路
针对上述问题，本专利技术公开了一种多角度物体检测方法，包括：以深度神经网络构建检测模型；对训练图提取特征以获得多个特征图，设置多个垂直矩形锚框，获取该垂直矩形锚框与该训练图的样本物体的相交比，并以该相交比大于正例阈值的垂直矩形锚框标记为该训练图的样本物体的正例；通过该特征图对每个该正例进行回归预测，获取该样本物体的倾斜椭圆锚框的特征参数，以对该检测模型进行学习；以该检测模型检测目标图，获取该目标图中样本物体的倾斜椭圆锚框。本专利技术所述的多角度物体检测方法，通过获取该正例的外接矩形，以该外接矩形为内切矩形以获取该倾斜椭圆锚框，且该特征参数包括该倾斜椭圆锚框的类别、该倾斜椭圆锚框的角度方向和该倾斜椭圆锚框的位置偏差。本专利技术所述的多角度物体检测方法，在预测该类别时，通过softmax损失函数进行学习。本专利技术所述的多角度物体检测方法，在预测该角度方向时，将360°的角度周期平均划分为k个基，Pi为第i个基的权重向量，该深度神经网络通过smoothL1损失函数对权重向量Pi进行学习预测，以推断该倾斜椭圆锚框的倾斜角度θ：其中，i、k为正整数，i<k，-90°≤θ≤90°。本专利技术所述的多角度物体检测方法，在预测该位置偏差时，通过smoothL1损失函数对该正例的形状参数进行学习预测，以获得该倾斜椭圆锚框的长轴a和短轴b：其中，该正例的形状参数包括w和h，w为该正例的长，h为该正例的宽，且a≥b。本专利技术还公开了一种多角度物体检测系统，包括：模型构建模块，用于以深度神经网络构建检测模型；正例获取模块，用于获取训练图中样本物体的正例；其中对该训练图提取特征以获得多个特征图，设置多个垂直矩形锚框，获取该垂直矩形锚框与该训练图的样本物体的相交比，并以该相交比大于正例阈值的垂直矩形锚框标记为该正例；模型训练模块，用于通过该特征图对每个该正例进行回归预测，获取该样本物体的倾斜椭圆锚框的特征参数，以对该检测模型进行学习；目标检测模块，用于以该检测模型检测目标图，获取该目标图的样本物体的倾斜椭圆锚框。本专利技术所述的多角度物体检测系统，通过获取该正例的外接矩形，以该外接矩形为内切矩形以获取该倾斜椭圆锚框，且该特征参数包括该倾斜椭圆锚框的类别、该倾斜椭圆锚框的角度方向和该倾斜椭圆锚框的位置偏差。本专利技术所述的多角度物体检测系统，其中，该模型训练模块包括：类别训练模块，用于在预测该类别时，通过softmax损失函数进行学习；角度训练模块，用于在预测该角度方向时，将360°的角度周期平均划分为k个基，Pi为第i个基的权重向量，该深度神经网络通过smoothL1损失函数对权重向量Pi进行学习预测，以推断该倾斜椭圆锚框的倾斜角度θ：其中，i、k为正整数，i<k，-90°≤θ≤90°；位置训练模块，用于在预测该位置偏差时，通过smoothL1损失函数对该正例的形状参数进行学习预测，以获得该倾斜椭圆锚框的长轴a和短轴b：其中，该正例的形状参数包括w和h，w为该正例的长，h为该正例的宽，且a≥b。附图说明图1是本专利技术实施例的多角度物体检测方法流程图。图2是本专利技术实施例的特征金字塔网络获取特征图及锚机制示意图。图3是本专利技术实施例的正例、外接矩形及倾斜椭圆锚框示意图。图4是本专利技术实施例的多角度物体检测结果示意图具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术提出的多角度物体检测方法及系统进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本专利技术，并不用于限定本专利技术。针对物体检测问题，本专利技术提供了一种新的支持多角度物体的检测方法与系统，以支持对待平面内不同旋转角度的物体，能够检测到物体，给定物体位置大小，方向以及类别。本专利技术的多角度物体检测方法在前端采用特征金字塔深度网络为输入图片提取不同尺度的特征；根据特征图的尺度大小，将图片进行网格化，每个网格设定9种大小不同，长宽比不同的锚框。根据图片中的物体标签，事先计算每个锚框属于正例或负例，如果是正例，将计算与真实物体位置的位置大小偏移和角度偏差。在后端网络中，每个不同尺度的特征图对应预测三个子任务，分别对应各个锚框与真实标签的类别回归，位置及大小回归和角度回归。图1是本专利技术实施例的多角度物体检测方法流程图。如图1所示，本专利技术的多角度物体检测方法具体包括：步骤S1，基于目前主流的深度学习网络架构，端到端设计可学习的检测模型；步骤S2，图像特征提取，即对训练图提取特征以获得多个特征本文档来自技高网...

【技术保护点】
1.一种多角度物体检测方法，其特征在于，包括：以深度神经网络构建检测模型；对训练图提取特征以获得多个特征图，设置多个垂直矩形锚框，获取该垂直矩形锚框与该训练图的样本物体的相交比，并以该相交比大于正例阈值的垂直矩形锚框标记为该训练图的样本物体的正例；通过该特征图对每个该正例进行回归预测，获取该样本物体的倾斜椭圆锚框的特征参数，以对该检测模型进行学习；以该检测模型检测目标图，获取该目标图中物体的倾斜椭圆锚框。

【技术特征摘要】
1.一种多角度物体检测方法，其特征在于，包括：以深度神经网络构建检测模型；对训练图提取特征以获得多个特征图，设置多个垂直矩形锚框，获取该垂直矩形锚框与该训练图的样本物体的相交比，并以该相交比大于正例阈值的垂直矩形锚框标记为该训练图的样本物体的正例；通过该特征图对每个该正例进行回归预测，获取该样本物体的倾斜椭圆锚框的特征参数，以对该检测模型进行学习；以该检测模型检测目标图，获取该目标图中物体的倾斜椭圆锚框。2.如权利要求1所述的多角度物体检测方法，其特征在于，通过获取该正例的外接矩形，以该外接矩形为内切矩形以获取该倾斜椭圆锚框，且该特征参数包括该倾斜椭圆锚框的类别、该倾斜椭圆锚框的角度方向和该倾斜椭圆锚框的位置偏差。3.如权利要求2所述的多角度物体检测方法，其特征在于，在预测该类别时，通过softmax损失函数进行学习。4.如权利要求2所述的多角度物体检测方法，其特征在于，在预测该角度方向时，将360°的角度周期平均划分为k个基，Pi为第i个基的权重向量，该深度神经网络通过smoothL1损失函数对权重向量Pi进行学习预测，以推断该倾斜椭圆锚框的倾斜角度θ：其中，i、k为正整数，i<k，-90°≤θ≤90°。5.如权利要求4所述的多角度物体检测方法，其特征在于，在预测该位置偏差时，通过smoothL1损失函数对该正例的形状参数进行学习预测，以获得该倾斜椭圆锚框的长轴a和短轴b：其中，该正例的形状参数包括w和h，w为该正例的长，h为该正例的宽，且a≥b。6.一种多角度物体检测系统，其特征在于，包括：模型构建模块，用于以深度神经网络构建检测模型；正例获...

【专利技术属性】
技术研发人员：刘永，王瑞平，山世光，陈熙霖，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11