对象分类器的在线学习方法和设备以及检测方法和设备技术

本发明专利技术提供了用于一组对象分类器的在线学习方法和设备以及用于在图像序列中检测对象的方法和设备。该用于一组对象分类器的在线学习方法(其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器)包括：从新添加的样本中提取特征向量；基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；基于所提取的特征向量以及已经部分地或全部地被更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。利用本发明专利技术，能够在将检出率保持在高水平的同时将误报警率降低到极低水平。

Method and apparatus for on-line learning object classifiers, and detection method and apparatus

The present invention provides an online learning method and apparatus for a set of object classifiers and a method and apparatus for detecting an object in an image sequence. The online for a set of object classifier learning method (including the set of object classifier contains at least one single classifier and at least a two class classifier) includes feature vectors extracted from newly added samples; based on support vector feature vectors and the at least one class classifier to two update the at least one single classifier in at least one; support vector feature vectors and has been partially or completely updated the at least one class classifier based on updating the at least one two class classifier in at least one. By using the invention, the false alarm rate can be reduced to a very low level while keeping the detection rate at a high level.

【技术实现步骤摘要】

本专利技术涉及图像处理、计算机视觉(computer vision)和模式识别，并且特别地涉及用于一组对象分类器的在线学习方法和设备以及用于在图像序列中检测对象的方法和设备。
技术介绍
最近几十年在检测特定对象或种类(诸如脸、人、汽车等)方面已经取得很大的进展。大部分检测器必须被离线训练，其经常包含利用手动标记的训练示例的较大集合的密集学习阶段。当前，越来越多的用户倾向于拍摄特定对象。这意味着用户需要的不是传统的像脸/狗/猫检测器那样的检测器，而是能够学习用户自己的对象(例如，他的宠物)的外观(appearance)的检测器。例如，用户经常想要在拍摄时自动地聚焦于他们的宠物。已经开发了一种新颖的技术，称为“用户注册对象检测(User Registered Object Detection)”，其能够基于由用户作为正样本提供的一个或若干个对象图像来检测用户注册对象。但是一般难以仅仅通过使用非常小集合的正样本而从视频帧序列中准确地检测出对象。因此，已经提出了一种解决方案，其使用基于用于检测用户注册对象的支持向量的单类分类器(one-class classifier)。这个方法能够基于少数的正样本(即，由用户注册的对象图像)、甚至仅仅一个正样本来对单类分类器进行在线学习。由于不使用任何负样本，因此该单类分类器能够适合于任何场景。这个方法能够通过可调参数将单类分类器的误报警率(false alarm rate)保持在稳定的水平。然而，仍然存在对在一些特殊应用中进一步减少误报警率的需要。例如，在对于用户注册对象的监视(surveillance)应用中，分类
器需要长时间工作在有限场景中。针对各种照明条件的极低误报警率和高鲁棒性是重要的要求。
技术实现思路
鉴于上述内容，本专利技术的专利技术人提出了通过对一组对象分类器进行在线学习的用于用户注册对象检测的新的解决方案，其能够将误报警率保持在极低水平。该组分类器包括一个或更多个单类分类器以及一个或更多个两类分类器(binary classifier)，并且这两个类型的分类器都基于支持向量并且当它们被在线学习时将在其之间共享支持向量，从而提高在线学习效果。此外，可以利用在其之间共享支持向量的这样一组在线学习分类器来从视频帧序列中更准确地检测用户注册对象。请注意，在现有技术中，两类分类器是仅仅基于巨大数量的正样本和负样本离线学习的。两类分类器不能用于仅仅使用小集合样本的用户注册对象检测，因为它的误报警率将会非常高。这是因为学习两类分类器需要许多的足够的负样本，但是在用户注册对象检测期间，用户不能提供足够的负样本来覆盖背景中的所有情形。当在要检测的场景中存在未知的负样本时，误报警率将会较高，也就是说，许多不是用户注册对象的对象将被视为对象。此外，通过使用直接反馈的对于两类分类器的在线学习使得检测器倾向于漂移(drift)，并且错误地更新将使得检测器处于不可靠的状态。然而，通过深入研究，本专利技术的专利技术人已经发现，在用户注册对象检测期间通过在其之间共享支持向量来与单类分类器结合地使用两类分类器，能够改善误报警率。本专利技术的一个方面提供了一种用于一组对象分类器的在线学习方法，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述方法包括：特征向量提取步骤，从新添加的样本中提取特征向量；单类分类器更新步骤，基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；两类分类器更新步骤，基于所提取的特征向量以及在
所述单类分类器更新步骤中已经部分地或全部地被更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。本专利技术的另一个方面提供了一种用于通过使用已经被确定为对象的至少一个正样本在图像序列中检测所述对象的方法，所述方法包括：单类分类器产生步骤，根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器；两类分类器产生步骤，基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器；对象检测步骤，通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的第二图像中检测所述对象；分类器更新步骤，通过使用上述的在线学习方法，根据所述检测结果更新所述一组对象分类器；以及后续的检测和更新步骤，对于所述序列中的每一个后续的图像，通过使用经更新的一组对象分类器在所述后续的图像中检测所述对象并且随后更新所述一组对象分类器。本专利技术的又一个方面提供了一种用于一组对象分类器的在线学习设备，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述设备包括：特征向量提取单元，被配置为从新添加的样本中提取特征向量；单类分类器更新单元，被配置为基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；两类分类器更新单元，被配置为基于所提取的特征向量以及由所述单类分类器更新单元已经部分地或全部地更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。本专利技术的还一个方面提供了一种用于通过使用已经被确定为对象的至少一个正样本在图像序列中检测所述对象的设备，所述设备包括：单类分类器产生单元，被配置为根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器；两类分类器产生单元，被配置为基于所述图像序列的第一图像以及所述
单类分类器产生用于对所述对象进行分类的至少一个两类分类器；对象检测单元，被配置为通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的每一个后续的图像中检测所述对象；以及如上所述的在线学习设备，被配置为根据由所述对象检测单元获得的检测结果来更新所述一组对象分类器。在本专利技术的上述方面中，在在线学习阶段期间将共享来自单类分类器和两类分类器两者的支持向量。因此，将通过共享支持向量而紧密地结合这两个类型的分类器，使得通过利用该组分类器进行的分类更准确。此外，更多的特征向量将被用于该组分类器的在线学习，因此共享支持向量非常适合于在线学习应用。另外，使用该组分类器将使单独的分类器避免漂移问题并且因此将误报警率保持在极低水平。此外，这组分类器不仅能够将对象与类似的场景区分开，而且能够避免来自我们还没有发现的未知的负样本的噪声。鉴于上述内容，利用根据本专利技术的在线学习和检测方法以及设备，能够在将检出率保持在高水平的同时将误报警率降低到极低水平，尤其对于持续且有限的场景如此。因此，本专利技术尤其适合于监视应用等。根据参照附图的以下描述，本专利技术的其它特性特征和优点将变得清晰。附图说明并入说明书中并且构成说明书的一部分的附图示出了本专利技术的实施例，并且与描述一起用于说明本专利技术的原理。图1是示出能够实施本专利技术的实施例的计算机系统的硬件配置的框图。图2是示出了根据本专利技术的第一实施例的用于一组对象分类器的在线学习方法的流程图。图3示例性地示出用于确定用于更新单类分类器的候选特征向
量的单类分类器的判决超球面(decision hypersphere)。图4是示出了根据本专利技术第一实施例的用于一组对象分类器的在线学习设备400的本文档来自技高网...

【技术保护点】
一种用于一组对象分类器的在线学习方法，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述方法包括：特征向量提取步骤，从新添加的样本中提取特征向量；单类分类器更新步骤，基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；两类分类器更新步骤，基于所提取的特征向量以及在所述单类分类器更新步骤中已经部分地或全部地被更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。

【技术特征摘要】
1.一种用于一组对象分类器的在线学习方法，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述方法包括：特征向量提取步骤，从新添加的样本中提取特征向量；单类分类器更新步骤，基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中的至少一个；两类分类器更新步骤，基于所提取的特征向量以及在所述单类分类器更新步骤中已经部分地或全部地被更新的所述至少一个单类分类器的支持向量，来更新所述至少一个两类分类器中的至少一个。2.根据权利要求1所述的在线学习方法，其中所述一组对象分类器具有加权累加结构，并且所述在线学习方法在所述两类分类器更新步骤之后还包括更新单类分类器和两类分类器的权重的步骤。3.根据权利要求1所述的在线学习方法，其中所述单类分类器更新步骤包括：对于所述至少一个单类分类器中的一个单类分类器，计算从这个单类分类器的所有支持向量的聚类中心到所提取的特征向量和所述至少一个两类分类器的所述支持向量中的每一个的各个距离；基于所述单类分类器的支持向量来设定阈值；从所提取的特征向量和所述至少一个两类分类器的所述支持向量中选择具有比所述阈值小的计算距离的候选特征向量；以及通过使用所述候选特征向量来更新所述单类分类器的支持向量。4.根据权利要求1所述的在线学习方法，其中所述两类分类器
\t更新步骤包括：对于所述至少一个两类分类器中的一个两类分类器，确定所提取的特征向量是正特征向量还是负特征向量；以及通过使用所有单类分类器的支持向量作为正特征向量以及使用确定结果来更新所述两类分类器的支持向量。5.一种用于通过使用已经被确定为对象的至少一个正样本在图像序列中检测所述对象的方法，所述方法包括：单类分类器产生步骤，根据所述至少一个正样本，产生基于用于对所述对象进行分类的支持向量的至少一个单类分类器；两类分类器产生步骤，基于所述图像序列的第一图像以及所述单类分类器产生用于对所述对象进行分类的至少一个两类分类器；对象检测步骤，通过使用包括所述单类分类器和所述两类分类器的一组对象分类器在所述序列中的第二图像中检测所述对象；分类器更新步骤，通过使用根据权利要求1所述的在线学习方法，根据所述检测结果更新所述一组对象分类器；以及后续的检测和更新步骤，对于所述序列中的每一个后续的图像，通过使用经更新的一组对象分类器在所述后续的图像中检测所述对象并且随后更新所述一组对象分类器。6.根据权利要求5所述的方法，其中所述两类分类器产生步骤包括：将所述第一图像划分成多个区域并且通过使用所述单类分类器确定所划分的区域中的每一个是否为所述对象；收集所述单类分类器的支持向量以及从已经被确定为所述对象的区域中提取的特征向量，作为正特征向量；收集从已经被确定为非对象的区域中提取的特征向量，作为负特征向量；以及通过使用所收集的正特征向量和负特征向量训练至少一个两类
\t分类器。7.根据权利要求5所述的方法，其中检测所述对象包括：将所述图像划分成多个区域；通过使用所述一组对象分类器来对所划分的区域中的每一个进行分类并且从所述一组分类器得到对于所划分的区域中的每一个的分类分数；以及根据所述分类分数和预定义的阈值确定所划分的区域中的每一个是所述对象还是非对象。8.根据权利要求5所述的方法，其中检测所述对象包括：将所述图像划分成多个区域；通过使用所述单类分类器来对所划分的区域中的每一个进行分类并且从所述单类分类器得到对于所划分的区域中的每一个的第一分类分数；通过使用两类分类器来对已经由所述单类分类器分类为正的区域进行分类，从两类分类器得到对于这些区域的第二分类分数，并且通过对第一分类分数和第二分类分数进行加权求和来计算最终分类分数；以及收集其最终分类分数大于预定义的阈值的区域作为对象区域，并且收集其最终分类分数不大于所述预定义的阈值的区域作为非对象区域。9.一种用于一组对象分类器的在线学习设备，其中所述一组对象分类器包含至少一个单类分类器和至少一个两类分类器，所述设备包括：特征向量提取单元，被配置为从新添加的样本中提取特征向量；单类分类器更新单元，被配置为基于所提取的特征向量以及所述至少一个两类分类器的支持向量来更新所述至少一个单类分类器中
\t的至少一个；两类分类器更新单元，被配置为基于所提取的特征向量以及由所述单类分类器更新单元已经部分地或全部地...

【专利技术属性】
技术研发人员：姜涌，张文文，江龙，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP