基于深度学习网络的对象检测方法、装置和电子设备制造方法及图纸

本申请实施例提供一种基于深度学习网络的对象检测方法、装置和电子设备，该基于深度学习网络的对象检测装置包括：特征提取部，其具有多个特征提取单元，分别从输入图像中提取不同尺寸的特征；多尺寸特征生成部，其具有多个级联的特征生成单元，所述多个特征生成单元根据所述特征提取部所提取的不同尺寸的特征，使用变形卷积(Deformable Convolution)处理，分别生成与各尺寸对应的特征图(feature maps)；对象位置检测部，其使用候选区域生成网络(RPN，Regional Proposal Network)分别从多尺寸特征生成部生成的不同尺寸的特征图(feature maps)中检测出相应尺寸的对象的边框信息。

【技术实现步骤摘要】
基于深度学习网络的对象检测方法、装置和电子设备
本申请涉及电子信息

技术介绍
近年来，由于与图像分析的密切关系，基于图像的对象检测技术受到了人们的广泛关注。随着深度学习的快速发展，特别是卷积神经网络(ConvolutionalNeuralNetwork，CNN)的发展，对象检测技术的性能有了很大的提高。目前，先进的对象检测技术已经达到了很高的检测精度和召回率(RecallRate)。尽管对象检测技术取得了巨大的进展，但这一领域仍存在许多挑战。一个挑战是，很难识别尺寸差别较大的对象，为此，研究人员开发了FasterR-CNN分类器。另一个挑战是对象形状的几何变换对识别结果的影响，其中，如何适应图像中对象的尺寸、姿态、观察角度和变形等几何变换是视觉识别中的一个关键问题。通常，有两种方法可以缓解对象形状的几何变换对识别结果的影响：第一种方法是维护一个涵盖所有变化的数据集；第二种方法是使用相对于几何变换恒定不变的手工特征和特定的算法。应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
技术实现思路
本申请的专利技术人发现，现有的对象检测技术在面对上述两个挑战时，存在一些局限性，例如：对于FasterR-CNN分类器，虽然在识别大尺寸对象时性能良好，但是难以识别尺寸较小的对象；对于维护一个涵盖所有变化的数据集的方法而言，很难让数据集涵盖现实生活中的所有情况，并且，效率和成本将随着数据的增加而剧增；对于使用手工特征和特定的算法的方法而言，该方法需要大量的先验知识和经验来为特定的几何变换手工设置一个合适的特性，当涉及到新的几何变换时，需要手工设置一个新的特性。本申请的实施例提供一种基于深度学习网络的对象检测方法、装置和电子设备，在该方法中，结合了目标检测模型和变形卷积处理，由此，既能准确地识别出图像中的小尺寸的对象，又能减少图像中对象形状的几何变换对检测结果的影响。根据本申请实施例的第一方面，提供一种基于深度学习网络的对象检测装置，包括：特征提取部，其具有多个特征提取单元，分别从输入图像中提取不同尺寸的特征；多尺寸特征生成部，其具有多个级联的特征生成单元，所述多个特征生成单元根据所述特征提取部所提取的不同尺寸的特征，使用变形卷积(DeformableConvolution)处理，分别生成与各尺寸对应的特征图(featuremaps)；以及对象位置检测部，其使用候选区域生成网络(RPN，RegionalProposalNetwork)分别从多尺寸特征生成部生成的不同尺寸的特征图(featuremaps)中检测出相应尺寸的对象的边框信息。根据本申请实施例的第二方面，提供一种基于深度学习网络的对象检测方法，包括：多个特征提取单元分别从输入图像中提取不同尺寸的特征；多个级联的特征生成单元分别根据多个所述特征提取单元所提取的不同尺寸的特征，使用变形卷积(DeformableConvolution)处理，生成与各尺寸对应的特征图；以及使用候选区域生成网络(RPN，RegionalProposalNetwork)分别从生成的不同尺寸的特征图(featuremaps)中检测出相应尺寸的对象的边框信息。根据本申请实施例的第三方面，提供一种具有实施例的第一方面所述的基于深度学习网络的对象检测装置。本申请实施例的有益效果之一在于：既能准确地识别出图像中的小尺寸的对象，又能减少图像中对象形状的几何变换对检测结果的影响。参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附附记的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。附图说明所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1是本申请实施例的第一方面的基于深度学习网络的对象检测装置的一个示意图；图2是图1的基于深度学习网络的对象检测装置的一个具体结构示意图；图3是特征生成单元102n的一个示意图；图4是本申请实施例的第二方面的基于图像的停车检测方法的一个示意图；图5是本申请实施例的第三方面的电子设备的一个构成示意图。具体实施方式参照附图，通过下面的说明书，本申请的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请包括落入所附附记的范围内的全部修改、变型以及等同物。在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“该”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。实施例的第一方面本申请实施例的第一方面提供一种基于深度学习网络的对象检测装置。图1是本申请实施例的第一方面的基于深度学习网络的对象检测装置的一个示意图。如图1所示，基于深度学习网络的对象检测装置100包括：特征提取部101，多尺寸特征生成部102以及对象位置检测部103。其中，特征提取部101具有多个特征提取单元，分别从输入图像中提取不同尺寸的特征；多尺寸特征生成部102具有多个级联的特征生成单元，该多个特征生成单元根据特征提取部101所提取的不同尺寸的特征，使用变形卷积(DeformableConvolution)处理，分别生成与各尺寸对应的特征图(featuremaps)；对象位置检测部103使用候选区域生成网络(本文档来自技高网...

【技术保护点】
1.一种基于深度学习网络的对象检测装置，其特征在于，所述装置包括：/n特征提取部，其具有多个特征提取单元，分别从输入图像中提取不同尺寸的特征；/n多尺寸特征生成部，其具有多个级联的特征生成单元，所述多个特征生成单元根据所述特征提取部所提取的不同尺寸的特征，使用变形卷积处理，分别生成与各尺寸对应的特征图；以及/n对象位置检测部，其使用候选区域生成网络分别从多尺寸特征生成部生成的不同尺寸的特征图中检测出相应尺寸的对象的边框信息。/n

【技术特征摘要】
1.一种基于深度学习网络的对象检测装置，其特征在于，所述装置包括：
特征提取部，其具有多个特征提取单元，分别从输入图像中提取不同尺寸的特征；
多尺寸特征生成部，其具有多个级联的特征生成单元，所述多个特征生成单元根据所述特征提取部所提取的不同尺寸的特征，使用变形卷积处理，分别生成与各尺寸对应的特征图；以及
对象位置检测部，其使用候选区域生成网络分别从多尺寸特征生成部生成的不同尺寸的特征图中检测出相应尺寸的对象的边框信息。


2.如权利要求1所述的装置，其中，所述装置还包括：
池化处理部，其根据各候选区域生成网络检测出的对象的边框所对应的特征图部分进行变形池化处理处理，使检测出的各边框中的对象成为相同的尺寸。


3.如权利要求1所述的装置，其中，所述特征生成单元包括：
插值单元，其对前一特征生成单元输出的特征图进行插值处理(interpolation)，得到放大后的特征图；
融合单元，其将当前的特征生成单元对应的特征提取单元所提取的该尺寸的特征进行卷积处理，并与上述放大后的特征图进行融合；以及
变形卷积处理单元，其对融合后得到的矩阵进行变形卷积处理，形成当前的特征生成单元所输出的特征图。


4.如权利要求3所述的装置，其中，
所述多尺寸特征生成部还对所述特征提取单元所提取的最小尺寸的特征进行变形卷积处理，形成与最小尺寸的特征对应的特征生成单元所输出的特征图。


5.如权利要求4所述的装置，其中，
所述多尺寸特征生成部还对所述与最小尺寸的特征...

【专利技术属性】
技术研发人员：陶轩，谭志明，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP