优化对象检测制造技术

公开一种用于检测对象的系统、设备及方法。可接收输入图像帧并在每个帧内形成不同区域。可根据区域的相关联概率从所述区域提取描述符。所提取描述符可与参考描述符匹配。根据区域特性投射特定区域的投票或置信度。可基于向量与其它向量相交或与区域相交而根据中心投票方法确定所述区域特性。选择特定区域的概率可随着每次投票或区域置信度的增加而增加。响应于更新概率，可选择额外区域并且可提取额外描述符。额外投票迭代可更新选择下一区域的概率。可响应于符合一或多个阈值来估计对象姿势。

Optimization object detection

A system, device and method for detecting objects are disclosed. The input image frame can be received and different regions in each frame can be formed. The descriptor can be extracted from the region according to the associated probability of the region. The extracted descriptor can be matched with the reference descriptor. Projection or confidence in specific areas is projected based on regional characteristics. The characteristics of the region can be determined based on the intersection of vectors with other vectors or intersecting regions. The probability of selecting a particular area can increase with the increase of confidence level in each vote or area. In response to update probability, additional regions can be selected and additional descriptors can be extracted. Additional voting iterations can update the probability of selecting the next area. Object pose can be estimated in response to one or more thresholds.

【技术实现步骤摘要】
【国外来华专利技术】优化对象检测相关申请案的交叉参考本申请案要求2015年9月25日提交的标题为“优化对象检测(OPTIMIZEDOBJECTDETECTION)”的第14/866,781号美国专利申请案的优先权权益，所述申请案通过引用并入本文中。
本文所公开的主题大体上涉及用于对象检测的计算机视觉技术。
技术介绍
计算机视觉是包含用于获取、分析、处理及理解图像(例如，现实世界图像采集)以提供事件或结果的方法及系统的领域。计算机视觉的一个方面是确定场景内的对象相对于相机的位置及定向。通常从检测关键点、提取描述符、匹配描述符及使用所检测描述符以检测图像内的潜在对象来线性地确定姿势。然而，由于提取实际上并不表示目标对象的描述符，因此线性提取及匹配通常引起资源浪费。举例来说，图像内的所提取描述符可包含不仅来自目标对象，而且通常来自一或多个背景对象或干扰对象的快速及准确检测的其它噪声的描述符。
技术实现思路
本文所公开的实施例可涉及用于检测目标对象的方法，所述方法可包含：接收输入图像帧；形成所述输入图像帧内的多个不同区域，其中所述多个不同区域具有由所述多个不同区域中的每个相应区域被选择的特定概率组成的第一概率分布；根据所述第一概率分布从所述多个不同区域选择第一区域；从所述第一区域提取来自在所述第一区域内检测到的第一一或多个特征点的第一一或多个描述符；分析所述第一区域的一或多个特性以更新所述第一区域被选择的特定概率；根据所述第一区域被选择的所述特定概率形成所述多个不同区域的第二概率分布；根据所述第二概率分布从所述多个不同区域选择第二区域；从所述第二区域提取来自在所述第二区域内检测到的第二一或多个特征点的第二一或多个描述符；及参考至少所述第一一或多个描述符及所述第二一或多个描述符以检测所述目标对象。本文所公开的实施例可涉及一种用于提供目标对象检测的服务器，所述服务器包含存储器；处理器，其耦合到所述存储器并且经配置以：接收输入图像帧；形成所述输入图像帧内的多个不同区域，其中所述多个不同区域具有由所述多个不同区域中的每个相应区域被选择的特定概率组成的第一概率分布；根据所述第一概率分布从所述多个不同区域选择第一区域；从所述第一区域提取来自在所述第一区域内检测到的第一一或多个特征点的第一一或多个描述符；分析所述第一区域的一或多个特性以更新所述第一区域被选择的特定概率；根据所述第一区域被选择的所述特定概率形成所述多个不同区域的第二概率分布；根据所述第二概率分布从所述多个不同区域选择第二区域；从所述第二区域提取来自在所述第二区域内检测到的第二一或多个特征点的第二一或多个描述符；及参考至少所述第一一或多个描述符及所述第二一或多个描述符以检测所述目标对象。本文所公开的实施例可涉及一种具有存储在其中的程序指令的机器可读非暂时性存储媒体，所述程序指令可由处理器执行以：接收输入图像帧；形成所述输入图像帧内的多个不同区域，其中所述多个不同区域具有由所述多个不同区域中的每个相应区域被选择的特定概率组成的第一概率分布；根据所述第一概率分布从所述多个不同区域选择第一区域；从所述第一区域提取来自在所述第一区域内检测到的第一一或多个特征点的第一一或多个描述符；分析所述第一区域的一或多个特性以更新所述第一区域被选择的特定概率；根据所述第一区域被选择的所述特定概率形成所述多个不同区域的第二概率分布；根据所述第二概率分布从所述多个不同区域选择第二区域；从所述第二区域提取来自在所述第二区域内检测到的第二一或多个特征点的第二一或多个描述符；及参考至少所述第一一或多个描述符及所述第二一或多个描述符以检测所述目标对象。本文所公开的实施例可涉及一种用于实施目标对象检测的设备，所述设备包括：用于接收输入图像帧的装置；用于形成所述输入图像帧内的多个不同区域的装置，其中所述多个不同区域具有由所述多个不同区域中的每个相应区域被选择的特定概率组成的第一概率分布；用于根据所述第一概率分布从所述多个不同区域选择第一区域的装置；用于从所述第一区域提取来自在所述第一区域内检测到的第一一或多个特征点的第一一或多个描述符的装置；用于分析所述第一区域的一或多个特性以更新所述第一区域被选择的特定概率的装置；用于根据所述第一区域被选择的所述特定概率形成所述多个不同区域的第二概率分布的装置；用于根据所述第二概率分布从所述多个不同区域选择第二区域的装置；用于从所述第二区域提取来自在所述第二区域内检测到的第二一或多个特征点的第二一或多个描述符的装置；及用于参考至少所述第一一或多个描述符及所述第二一或多个描述符以检测所述目标对象的装置。其它特征及优点将从附图及具体实施方式中显而易见。附图说明图1是在一个实施例中的其中可实践本专利技术的方面的系统的框图。图2说明在一个实施例中的优化对象检测(OOD)工作流概述。图3A说明在一个实施例中的与图像内的特征相关联的方向向量。图3B说明在另一实施例中的与图像内的特征相关联的方向向量。图4说明在一个实施例中的图像的超像素区域分割。图5A说明在一个实施例中的具有特征点的图像的初始化相同尺寸的区域分割。图5B到5D说明在一个实施例中的通过用于所选择区域的经调整概率加权的图像的区域分割。图6说明在另一实施例中的OOD工作流概述。图7说明在一个实施例中的对象中心投票工作流。图8A到8C说明在具体实施例中的对象中心投票工作流的视频表示。图9说明在另一实施例中的OOD工作流。具体实施方式词语“示例性”或“实例”在本文中用于表示“充当实例、例子或说明”。本文中描述为“示例性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。在一个实施例中，优化对象检测(OOD)系统使用不同技术来将计算资源集中于在最可能含有目标对象的图像的区域中提取描述符。举例来说，代替通常立即提取一定数量的描述符及在完整提取之后确定姿势，OOD可将图像拆分成区域并从所述区域中的每一者迭代地提取，同时增加确定为最可能包含目标对象的区域的概率。在一个实施例中，可能包含目标对象的区域接收在概率分布中进行处理的置信度“投票”。根据所得的概率分布，包括描述符提取的每个替代可集中于最可能包含目标对象的区域。在一个实施例中，投票系统包含使用指向目标对象中心的向量的中心投票机构，所述向量可进一步优化在描述符提取过程期间对高概率区域的关注。图1是说明其中可实践OOD的实施例的示例性系统的框图。系统可为装置100，其可包含通用处理器161、图像处理模块171、概率计算器173、对象数据库175及存储器164。装置100还可包含耦合到一或多个总线177或信号线的多个装置传感器，所述一或多个总线177或信号线还耦合到至少图像处理171、概率计算器173模块及对象数据库175。为清晰起见，将模块171、173及175与处理器161及/或硬件162分开说明，但可基于软件165及固件163中的指令将所述模块组合及/或实施于处理器161及/或硬件162中。控制单元160可经配置以实施如本文所描述的执行OOD的方法。举例来说，控制单元160可经配置以实施装置100的功能。装置100可为：服务器、移动装置、无线装置、蜂窝电话、扩增实境装置(AR)、个人数字助理、可穿戴式装置(例如，眼镜、手表、帽子或类似的身体附接装置)、移动计本文档来自技高网...

【技术保护点】
一种用于检测目标对象的方法，所述方法包括：接收输入图像帧；形成所述输入图像帧内的多个不同区域，其中所述多个不同区域具有由所述多个不同区域中的每个相应区域被选择的特定概率组成的第一概率分布；根据所述第一概率分布从所述多个不同区域选择第一区域；从所述第一区域提取来自在所述第一区域内检测到的第一一或多个特征点的第一一或多个描述符；分析所述第一区域的一或多个特性，以更新所述第一区域被选择的特定概率；根据所述第一区域被选择的所述特定概率形成所述多个不同区域的第二概率分布；根据所述第二概率分布从所述多个不同区域选择第二区域；从所述第二区域提取来自在所述第二区域内检测到的第二一或多个特征点的第二一或多个描述符；及参考至少所述第一一或多个描述符及所述第二一或多个描述符以检测所述目标对象。

【技术特征摘要】
【国外来华专利技术】2015.09.25 US 14/866,7811.一种用于检测目标对象的方法，所述方法包括：接收输入图像帧；形成所述输入图像帧内的多个不同区域，其中所述多个不同区域具有由所述多个不同区域中的每个相应区域被选择的特定概率组成的第一概率分布；根据所述第一概率分布从所述多个不同区域选择第一区域；从所述第一区域提取来自在所述第一区域内检测到的第一一或多个特征点的第一一或多个描述符；分析所述第一区域的一或多个特性，以更新所述第一区域被选择的特定概率；根据所述第一区域被选择的所述特定概率形成所述多个不同区域的第二概率分布；根据所述第二概率分布从所述多个不同区域选择第二区域；从所述第二区域提取来自在所述第二区域内检测到的第二一或多个特征点的第二一或多个描述符；及参考至少所述第一一或多个描述符及所述第二一或多个描述符以检测所述目标对象。2.根据权利要求1所述的方法，其进一步包括：根据所述多个区域的更新概率分布继续区域的所述选择、描述符的提取，及在检测到以下中的一或两者之前一或多个特性的分析：提取阈值数目的描述符，符合用于确认检测到所述目标对象的阈值置信度，或符合用于确定不存在所述目标对象的阈值置信度。3.根据权利要求1所述的方法，其中所述分析所述一或多个特性包括：对于相应区域中的一或多个特征点，计算表示标度及方向的到根据参考数据库确定的所述目标对象的中心的方向向量；及当所述相应区域内的两个或多于两个方向向量相交时，增加所述相应区域的选择概率。4.根据权利要求1所述的方法，其中所述分析所述一或多个特性包括：对于相应区域中的一或多个特征点，计算表示标度及方向的到所述目标对象的中心的方向向量；及当所述方向向量与所述相应区域相交时，增加所述相应区域的选择概率。5.根据权利要求1所述的方法，其中所述分析所述一或多个特性包括：将所述所提取一或多个描述符和同所述目标对象相关联的预定参考描述符匹配；及响应于所述匹配而增加所述相应区域的选择概率。6.根据权利要求1所述的方法，其中响应于符合用于检测到所述目标对象的阈值置信度：确定目标对象姿势；及当在下一输入图像中执行额外目标对象检测时，忽略包括所述所检测目标对象的区域。7.根据权利要求1所述的方法，其中响应于符合用于确定不存在所述目标对象的阈值置信度：将与所述多个区域相关联的最新概率分布应用于下一输入图像；及在阈值数目的输入图像，或设定的时间量中的一或两者之后，重设与所述多个区域相关联的概率分布。8.根据权利要求1所述的方法，其中根据每一输入图像描述符阈值，或每一区域描述符阈值中的一或两者确定要提取的描述符的阈值数目。9.根据权利要求1所述的方法，其中根据等面积拆分、超像素分割或深度图中的一者确定所述多个区域中的每一者的大小。10.根据权利要求1所述的方法，其进一步包括：响应于具有用于相应区域的置信度，增加与所述相应区域的一或多个相邻区域的所述选择概率。11.一种机器可读的非暂时性存储媒体，其具有存储在其中的程序指令，所述程序指令可由处理器执行以：接收输入图像帧；形成所述输入图像帧内的多个不同区域，其中所述多个不同区域具有由所述多个不同区域中的每个相应区域被选择的特定概率组成的第一概率分布；根据所述第一概率分布从所述多个不同区域选择第一区域；从所述第一区域提取来自在所述第一区域内检测到的第一一或多个特征点的第一一或多个描述符；分析所述第一区域的一或多个特性，以更新所述第一区域被选择的特定概率；根据所述第一区域被选择的所述特定概率形成所述多个不同区域的第二概率分布；根据所述第二概率分布从所述多个不同区域选择第二区域；从所述第二区域提取来自在所述第二区域内检测到的第二一或多个特征点的第二一或多个描述符；及参考至少所述第一一或多个描述符及所述第二一或多个描述符以检测目标对象。12.根据权利要求11所述的媒体，其进一步包含用于进行以下操作的指令：根据所述多个区域的更新概率分布继续区域的选择、描述符的提取及在检测到以下中的一或两者之前一或多个特性的分析：提取阈值数目的描述符，符合用于确认检测到所述目标对象的阈值置信度，或符合用于确定不存在所述目标对象的阈值置信度。13.根据权利要求11所述的媒体，其中所述用于分析所述一或多个特性的指令包括用于进行以下操作的指令：对于相应区域中的一或多个特征点，计算表示标度及方向的到根据参考数据库确定的所述目标对象的中心的方向向量；及当所述相应区域内的两个或多于两个方向向量相交时，增加所述相应区域的选择概率。14.根据权利要求11所述的媒体，其中所述用于分析所述一或多个特性的指令包括用于进行以下操作的指令：对于相应区域中的一或多个特征点，计算表示标度及方向的到所述目标对象的中心的方向向量；及当所述方向向量与所述相应区域相交时，增加所述相应区域的选择概率。15.根据权利要求11所述的媒体，其中所述用于分析所述一或多个特性的指令包括用于进行以下操作的指令：将所述所提取一或多个描述符和同所述目标对象相关联的预定参考描述符匹配；及响应于所述匹配而增加所述相应区域的选择概率。16.根据权利要求11所述的媒体，其中响应于符合用于检...

【专利技术属性】
技术研发人员：潘琪，罗曼·塔罗尼优，艾米立欧·梅格吉欧，斯特凡·沃克，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US