检测装置和方法及图像处理装置和系统制造方法及图纸

本发明专利技术公开了一种检测装置和方法及图像处理装置和系统。所述检测装置包括：从图像中提取特征的单元；基于所提取的特征确定图像中的对象的候选区域的个数的单元，其中所确定的候选区域的个数由候选区域的位置和形状决定；以及至少基于所提取的特征及所确定的候选区域的个数、位置和形状，从图像中检测对象的单元。根据本发明专利技术，不仅可以提高对象检测的检测精度，而且可以提高对象检测的检测速度。

Detection device and method and image processing device and system

【技术实现步骤摘要】
检测装置和方法及图像处理装置和系统
本专利技术涉及图像处理，尤其涉及例如图像中对象的检测。
技术介绍
在图像处理中，精确地从视频/图像中检测出对象(例如，人体)是一项关键任务。例如，检测到的人体通常可用于诸如人物图像检索、人物属性识别、人物动作识别、人物身份验证等图像处理。近年来，神经网络在对象检测中取得了很大的进展，诸如美国专利US9514389B1中公开了一种示例性技术。该示例性技术主要包括：对从图像中所提取的特征执行相应处理(例如，线性变换处理)以得到预定个数的候选区域；以及，利用该预定个数的候选区域对所提取的特征执行相应处理(例如，回归处理)以从图像中检测出对象，其中所得到的输出例如包括每个候选区域中包含对象的置信度分数。其中，所述预定个数是由图像中的每个预定位置处所分配的候选区域的数量决定的，且每个预定位置处所分配的候选区域的数量相同。其中，在该示例性技术中，上述各处理是通过一对象检测神经网络来实现的。由上述的示例性技术可知，其主要是利用预定个数的候选区域来进行相应的回归处理以实现对图像中的对象进行检测的，而该预定个数又是由图像中的每个预定位置处所分配的候选区域的数量决定的。从而，根据上述的示例性技术，每个预定位置处所分配的候选区域的数量将直接影响对象检测的检测速度和检测精度。其中，如上所述，每个预定位置处所分配的候选区域的数量是相同的。然而，通常对象在图像中的分布是不均匀的，如果对图像中的每个预定位置处均分配相同且很多数量的候选区域的话，也就是说，对于图像中的背景部分也将分配很多数量的候选区域，而实际上对于该类部分其实是无需分配这么多的候选区域的，因此，在利用这么多的候选区域进行回归处理时将影响对象检测的检测速度(例如，检测时间将增加)。另一方面，如果对图像中的每个预定位置处均分配相同且很少数量的候选区域的话，也就是说，对于图像中的前景部分，尤其是对于对象分布密集的部分，也将分配很少数量的候选区域，而实际上对于该类部分其实是需要分配更多数量的候选区域的，因此，在利用这么少的候选区域进行回归处理时将导致无法尽可能多地从图像中检测出对象，从而影响对象检测的检测精度。
技术实现思路
鉴于上面的
技术介绍
中的记载，本专利技术旨在解决上述问题中的至少一点。根据本专利技术的一个方面，提供一种检测装置，所述检测装置包括：提取单元，从图像中提取特征；确定单元，基于所提取的特征确定所述图像中的对象的候选区域的个数，其中所确定的候选区域的个数由候选区域的位置和形状决定；以及检测单元，至少基于所提取的特征及所确定的候选区域的个数、位置和形状，从所述图像中检测对象。其中，对于所述图像中的对象的特征分布中分布越密集的部分将分配越多的候选区域；其中，所述特征分布基于所提取的特征获得。其中，所述提取单元、所述确定单元和所述检测单元利用预先生成的神经网络执行相应的操作。根据本专利技术的另一个方面，提供一种检测方法，所述检测方法包括：提取步骤，从图像中提取特征；确定步骤，基于所提取的特征确定所述对象的候选区域的个数，其中所确定的候选区域的个数由候选区域的位置和形状决定；以及检测步骤，至少基于所提取的特征及所确定的候选区域的个数、位置和形状，从所述图像中检测对象。其中，对于所述图像中的对象的特征分布中分布越密集的部分将分配越多的候选区域；其中，所述特征分布基于所提取的特征获得。其中，在所述提取步骤、所述确定步骤和所述检测步骤中，利用预先生成的神经网络执行相应的操作。根据本专利技术的再一方面，提供一种图像处理装置，所述图像处理装置包括：获取设备，用于获取图像或视频；存储设备，存储有指令；以及处理器，基于所获得的图像或视频执行所述指令，使得所述处理器至少实现如上所述的检测方法。根据本专利技术的又一方面，提供一种图像处理系统，所述图像处理系统包括：获取设备，用于获取图像或视频；如上所述的检测装置，从所获取的图像或视频中检测对象；以及处理装置，基于所检测的对象，执行后续的图像处理操作；其中，所述图像获取装置、所述检测装置和所述处理装置经由网络相互连接。由于本专利技术通过利用所提取的特征(尤其是，对象的特征分布)来确定对象的候选区域的个数，从而，根据本专利技术，可为图像中的各相应位置处动态地分配相应数量的候选区域。因此，根据本专利技术，一方面，对于特征分布中分布越密集的部分(也即，图像中对象分布越密集的部分)将分配越多的候选区域，从而可提高对象检测的检测精度。另一方面，对于图像中对象分布越稀疏的部分(也即，属于背景的概率较大的部分)将分配越少的候选区域，从而可提高对象检测的检测速度。通过以下参考附图对典型实施例的说明，本专利技术的其它特征和优点将变得明显。附图说明并入说明书中并构成说明书的一部分的附图例示本专利技术的实施例，并且与实施例的描述一起用于解释本专利技术的原理。图1是示意性地示出可实现根据本专利技术实施例的技术的硬件构造的框图。图2是例示根据本专利技术实施例的检测装置的构造的框图。图3示意性地示出根据本专利技术实施例的检测方法的流程图。图4示意性地示出根据本专利技术实施例的如图3中所示的确定步骤S320的一种流程图。图5A～5B示意性地示出对象的特征分布的示例，其中图5A示出由所提取的特征的特征值直接表示的特征分布的一种示例，图5B示出由图5A中所示的特征值的归一化值表示的特征分布的一种示例。图6A～6B示意性地示出根据本专利技术利用如图5B中所示的特征分布而确定的候选区域的位置分布的示例。图7示意性地示出如图6A～6B中所示的候选区域的位置分布中的每一个位置处可分配的9个候选区域的示例。图8示意性地示出根据本专利技术实施例的如图3中所示的确定步骤S320的另一种流程图。图9示意性地示出根据本专利技术利用如图5B中所示的特征分布而确定的候选区域的形状分布的示例图10A～10C示意性地示出如图9中所示的候选区域的形状分布中分别具有3个候选区域、6个候选区域及9个候选区域的示例。图11示意性地示出根据本专利技术实施例的如图3中所示的确定步骤S320的再一种流程图。图12示出由图5A中所示的特征值的归一化值表示的特征分布的另一种示例。图13A～13B分别示意性地示出根据本专利技术利用如图12中所示的特征分布而确定的候选区域的位置分布和形状分布的示例。图14示意性地示出根据本专利技术实施例的如图3中所示的检测步骤S330的一种流程图。图15A～15C分布示意性地示出由所提取的特征的特征值直接表示的一种特征分布、与该特征分布对应的对象的密度分布及阈值分布。图16示意性地示出了对象的密度分布的一种示例。图17A～17B示意性地示出了根据本专利技术的对象检测结果的示例。图18示意性示出在本专利技术实施例中用到的预先生成的神经网络的示意性结构。图19示意性地示出一种用于预先生成可用于本专利技术实施例的神经网络的生成方法的流程图。图20示出根据本专利技术的一种示例性应用装置的布置。图21示出根据本专利技术的一种示例性应用系统的本文档来自技高网...

【技术保护点】
1.一种检测装置，其特征在于，所述检测装置包括：/n提取单元，从图像中提取特征；/n确定单元，基于所提取的特征确定所述图像中的对象的候选区域的个数，其中所确定的候选区域的个数由候选区域的位置和形状决定；以及/n检测单元，至少基于所提取的特征及所确定的候选区域的个数、位置和形状，从所述图像中检测对象。/n

【技术特征摘要】
1.一种检测装置，其特征在于，所述检测装置包括：
提取单元，从图像中提取特征；
确定单元，基于所提取的特征确定所述图像中的对象的候选区域的个数，其中所确定的候选区域的个数由候选区域的位置和形状决定；以及
检测单元，至少基于所提取的特征及所确定的候选区域的个数、位置和形状，从所述图像中检测对象。


2.根据权利要求1所述的检测装置，其中，对于所述图像中的对象的特征分布中分布越密集的部分，将分配越多的候选区域；
其中，所述特征分布基于所提取的特征获得。


3.根据权利要求2所述的检测装置，其中，所述确定单元根据候选区域的位置分布来确定所述候选区域的个数；
其中，所述候选区域的位置分布中的每一个位置处具有相同数量的候选区域。


4.根据权利要求3所述的检测装置，其中，所述候选区域的位置分布通过将所述特征分布中的特征值或所述特征值的归一化值与预定义阈值进行比较而获得。


5.根据权利要求2所述的检测装置，其中，所述确定单元根据候选区域的形状分布来确定所述候选区域的个数；
其中，所述候选区域的形状分布由所述特征分布中的特征值或所述特征值的归一化值中的每一个所对应的位置处可具有的候选区域的数量构成。


6.根据权利要求3所述的检测装置，其中，所确定的候选区域的个数小于或等于一预定义值；
其中，所述候选区域的位置分布基于所述预定义值获得。


7.根据权利要求5所述的检测装置，其中，所确定的候选区域的个数小于或等于一预定义值；
其中，所述候选区域的形状分布基于所述预定义值获得。


8.根据权利要求1所述的检测装置，其中，对于所述图像中的不同尺度的对象，所述提取单元从所述图像中分别提取不同层级的特征；
其中，对于所提取的不同层级的特征中的每一个特征，所述确定单元和所述检测单元执行相应的操作。


9.根据权利要求1所述的检测装置，其中，所述检测单元通过基于所提取的特征及所确定的候选区域的个数、位置和形状执行回归操作来从所述图像中检测对象。


10.根据权利要求9所述的检测装置，其中，基于对象在所述图像中的密度分布，所述检测单元为所述图像中分别与所述密度分布中的不同密度分布值对应的部分设置不同的预定义阈值；
其中，所述检测单元基于所述回归操作所得到的对象检测结果及所述预定义阈值确定最终的对象检测结果。


11.根据权利要求1所述的检测装置，其中，基于对象在所述图像中的密度分布，所述检测单元将所述图像划分为：
输出所确定的候选区域的位置和形状的部分，以输出该部分对应位置处的所确定...

【专利技术属性】
技术研发人员：黄耀海，张言，张志远，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP