具有可跟踪性测量结果的关键点检测制造技术

所揭示的实施例部分地通过将相似性得分指派给正考虑选择的每一候选关键点，来促进关键点选择。所述相似性得分可基于与关键点相关联的图像补丁关于所述图像补丁周围的区中的局部图像区段中的图像补丁的最大测得相似性。可选择具有所述最低相似性得分的所述候选关键点的子集，且将其用来检测和/或跟踪后续图像中的对象和/或确定相机位姿。

【技术实现步骤摘要】
【国外来华专利技术】具有可跟踪性测量结果的关键点检测相关申请案的交叉参考本申请案根据35USC119主张2015年5月12日申请的标题为“具有可跟踪性测量结果的关键点检测(KeypointDetectionwithTrackabilityMeasurements)”的第62/160,420号美国临时申请案的优先权，所述临时申请案主张2015年9月4日申请的标题为“具有可跟踪性测量结果的关键点检测(KeypointDetectionwithTrackabilityMeasurements)”的第14/846,674号美国非临时申请案的优先权，上述两个申请案以全文引用的方式并入本文中。
本专利技术大体上涉及用于图像序列中的对象检测和跟踪的设备和方法。
技术介绍
在计算机视觉和计算机图形中，频繁执行对象跟踪和/或辨识来促进各种应用程序。举例来说，映射或导航应用程序可使用在相机视野中辨识到的对象来确定对象的位置并执行航线校正。作为另一实例增强现实(AR)应用程序可基于一或多个对象在所捕获图像中的位置和定向来扩增现实世界图像。在对象检测或跟踪应用程序中，可在一或多个图像中识别一或多个关键点或其它显著特征。通常，拐角点，具有高对比度、高强度等的点对于选择作为关键点来说是有利的。一旦识别，就接着跨图像序列的若干帧跟踪所述关键点，以确定相机相对于被跟踪对象的位姿(位置和定向)。可基于相机位姿在所述图像中添加、去除和/或更改对象。当相机位姿被准确地估计时，可增强例如AR图像中的现实性。基于关键点的跟踪假定可跨若干图像帧可靠地跟踪当前图像中的一或多个关键点。然而，如果图像包含彼此接近的多个类似关键点，那么归因于建立一个图像中的关键点与另一图像中的对应点之间的对应性的不准确性，在跟踪期间可能产生模糊。关键点失配可导致位姿漂移、图像伪影等，从而有损于用户体验。此外，在许多常规方法中，所跟踪的关键点的数目可相对较大。然而，关键点的较大数目不一定是跟踪准确性的保证。举例来说，如果接近的关键点展现相对较高的相似度，那么跟踪准确性可能不增加。另外，当使用大量的关键点时，如在许多常规方案中，计算开销可增加，性能和/或应用程序响应时间可为次佳的，且电力消耗可增加，而不实现跟踪准确性的伴随增加。
技术实现思路
根据一些方面，揭示一种方法，其包括：基于用相机捕获的第一图像来确定一组候选关键点；针对所述组候选关键点中的每一候选关键点，确定对应的第一相似性得分，其中部分地通过将与所述对应的候选关键点相关联的图像补丁与所述图像补丁周围的区中的多个对应图像区段进行比较，来确定对应于每一候选关键点的所述第一相似性得分；以及选择所述候选关键点的第一子集，其中所述第一子集包括具有最低相似性得分的预定义数目的候选关键点。另一方面，揭示的实施例涉及移动台(MS)，其可包括：相机，其用以捕获包括第一图像的多个图像；存储器，其用以存储所述多个图像；以及处理器，其耦合到所述相机和所述存储器。在一些实施例中，所述处理器可经配置以：基于用相机捕获的第一图像来确定一组候选关键点；针对所述组候选关键点中的每一候选关键点，确定对应的第一相似性得分，其中部分地通过将与所述对应的候选关键点相关联的图像补丁与所述图像补丁周围的区中的多个对应图像区段进行比较，来确定对应于每一候选关键点的所述第一相似性得分；以及选择所述候选关键点的第一子集，其中所述第一子集包括具有最低相似性得分的预定义数目的候选关键点。在另一方面，一种设备可包括：图像感测装置，其用以捕获包括第一图像的多个图像；用于基于图像感测装置所捕获的第一图像来确定一组候选关键点的装置；用于针对所述组候选关键点中的每一候选关键点来确定对应第一相似性得分的装置，其中部分地通过将与所述对应的候选关键点相关联的图像补丁与所述图像补丁周围的区中的多个对应图像区段进行比较，来确定对应于每一候选关键点的第一相似性得分；以及用于用于选择所述候选关键点的第一子集的装置，其中所述第一子集包括具有最低相似性得分的预定义数目的候选关键点。在一些实施例中，一种非暂时性计算机可读媒体可包括指令，其在由包括相机的移动台(MS)执行时，致使所述MS执行包括以下步骤的方法中的步骤：基于用相机捕获的第一图像来确定一组候选关键点；针对所述组候选关键点中的每一候选关键点，确定对应的第一相似性得分，其中部分地通过将与所述对应的候选关键点相关联的图像补丁与所述图像补丁周围的区中的多个对应图像区段进行比较，来确定对应于每一候选关键点的第一相似性得分；以及选择所述候选关键点的第一子集，其中所述第一子集包括具有最低相似性得分的预定义数目的候选关键点。所揭示的实施例还涉及由处理器使用计算机可读媒体或计算机可读存储器创建、存储、存取或修改的软件、固件和程序指令。所描述的方法可在处理器、服务器、各种计算和移动装置(包含可穿戴和头戴式裝置)和/或其组合上执行。下文相对于以下各图进一步阐释这些和其它实施例。应理解，对于所属领域的技术人员来说，其它方面将从以下详细描述变得容易显而易见，其中借助于说明展示和描述各个方面。图式和详细描述应被视为本质上是说明性的而不是限制性的。附图说明将参考图式仅借助于实例来描述本专利技术的实施例。图1示出能够以与所揭示的实施例一致的方式执行关键点检测和跟踪的示范性移动台(MS)的框图。图2A到2B示出具有示范性关键点210和相关联图像补丁220的图像帧。图2C示出对应于图像帧230中的图像补丁的图像区240。图2D说明示范性局部图像区段250-1、250-2、250-3、260-1、260-2和260-3，可将其与图像帧230中的图像补丁220进行比较。图3A示出与关键点相关联的图像补丁周围的图像区中的示范性局部图像区段。图3B是在将图像补丁320与局部图像区段330进行比较时获得的相似性的图形描述。图4A示出用以从图像金字塔中的图像等级确定关键点的示范性方法400的流程图。图4B示出用以从一组候选关键点选择关键点子集的示范性方法411的流程图。图5示出符合一些所揭示的实施例用于跟踪关键点的方法500。图6示出说明经启用以与所揭示的实施例一致的方式来确定和跟踪图像中的关键点的服务器600的示意性框图。图7示出用以为相机所捕获的第一或参考图像确定关键点的示范性方法700。具体实施方式下文结合附图陈述的详细描述意图作为对本专利技术的各个方面的描述，而无意表示可在其中实践本专利技术的仅有方面。提供本专利技术中所描述的每一方面仅作为本专利技术的实例或说明，且其不一定解释为比其它方面优选或有利。出于提供对本专利技术的透彻理解的目的，具体实施方式包含具体细节。然而，所属领域的技术人员将明白，可在没有这些特定细节的情况下实践本专利技术。在一些情况下，以框图的形式展示众所周知的结构和装置以便避免混淆本专利技术的概念。首字母缩写词和其它描述性术语可仅出于便利和清晰的目的而使用，且不希望限制本专利技术的范围。术语“检测”是指定位所捕获图像帧中的目标且计算相对于对象的相机位姿的过程。术语“跟踪”是指在图像帧的时间序列内的相对于对象的相机姿势估计。传统的基于关键点的检测和跟踪技术假定可在后续图像帧中可靠地检测和跟踪一个图像中的拐角点、高对比度点等(其可例如与所关注对象相关联)。因此，当选择图像中的关键点时，传统的基于关键点的检测和本文档来自技高网...

【技术保护点】
一种方法，其包括：基于用相机捕获的第一图像，确定一组候选关键点；对于所述组候选关键点中的每一候选关键点，确定对应的第一相似性得分，其中部分地通过将与所述对应候选关键点相关联的图像补丁与所述图像补丁周围的区中的多个对应图像区段进行比较，来确定对应于每一候选关键点的所述第一相似性得分；以及选择所述候选关键点的第一子集，其中所述第一子集包括具有最低相似性得分的预定义数目的候选关键点。

【技术特征摘要】
【国外来华专利技术】2015.05.12 US 62/160,420;2015.09.04 US 14/846,6741.一种方法，其包括：基于用相机捕获的第一图像，确定一组候选关键点；对于所述组候选关键点中的每一候选关键点，确定对应的第一相似性得分，其中部分地通过将与所述对应候选关键点相关联的图像补丁与所述图像补丁周围的区中的多个对应图像区段进行比较，来确定对应于每一候选关键点的所述第一相似性得分；以及选择所述候选关键点的第一子集，其中所述第一子集包括具有最低相似性得分的预定义数目的候选关键点。2.根据权利要求1所述的方法，其中确定对应于每一候选关键点的所述第一相似性得分包括：确定对应于每一候选关键点的多个第二相似性得分，其中从与所述对应候选关键点相关联的所述图像补丁与所述图像补丁周围的所述区中的所述对应多个图像区段中的一者的所述比较，确定每一第二相似性得分，且其中每一第二相似性得分指示与所述对应候选关键点相关联的所述图像补丁与所述对应图像区段之间的相似性；以及选择所述候选关键点的所述第二相似性得分的最大值作为所述第一相似性得分。3.根据权利要求2所述的方法，其中确定对应于每一候选关键点的所述多个第二相似性得分包括：至少部分地基于与所述候选关键点相关联的所述图像补丁与所述对应图像区段之间的交叉相关的量度，计算所述多个第二相似性得分中的每一者。4.根据权利要求3所述的方法，其中部分地基于通过基于选自以下各项中的一者的交叉相关方法执行交叉相关来确定交叉相关的所述量度：归一化交叉相关；或平方差总和；或绝对差总和。5.根据权利要求4所述的方法，其进一步包括：基于所述选定交叉相关，部分地基于所述选定关键点，跟踪所述相机所捕获的至少一个第二图像中的对象。6.根据权利要求1所述的方法，其中使用图像描述符来表示与所述候选关键点相关联的所述图像补丁。7.根据权利要求6所述的方法，其中所述图像描述符包括以下各项中的一者：尺度不变特征变换SIFT或其变体；或加速稳健特征“SURF”或其变体。8.根据权利要求6所述的方法，其中部分地基于与所述图像补丁相关联的所述图像描述符与所述图像补丁周围的所述区中的多个图像描述符的相似性，确定对应于所述候选关键点的所述第一相似性得分，其中所述多个图像描述符中的每一者对应于所述图像补丁周围的所述区中的不同图像区段。9.根据权利要求1所述的方法，其进一步包括：部分地基于候选关键点的所述第一子集，跟踪所述相机所捕获的至少一个第二图像中的一或多个对象。10.根据权利要求1所述的方法，其中基于所述第一图像确定所述组候选关键点包括：从所述第一图像获得图像层级，其中所述图像层级中的每一图像具有对应的图像分辨率；以及确定候选关键点的多个第二子集，其中候选关键点的每一第二子集与所述图像层级中的不同图像相关联，且其中所述组候选关键点包括候选关键点的所述多个第二子集。11.根据权利要求10所述的方法，其中从所述第一图像获得图像层级包括：使所述图像层级中的一或多个图像模糊。12.一种移动站MS，其包括：相机，其用以捕获包括第一图像的多个图像；存储器，其用以存储所述多个图像；以及处理器，其耦合到所述相机和所述存储器，其中所述处理器经配置以基于用相机捕获的所述第一图像，确定一组候选关键点；对于所述组候选关键点中的每一候选关键点，确定对应的第一相似性得分，其中部分地通过将与所述对应候选关键点相关联的图像补丁与所述图像补丁周围的区中的多个对应图像区段进行比较，来确定对应于每一候选关键点的所述第一相似性得分；以及选择所述候选关键点的第一子集，其中所述第一子集包括具有最低相似性得分的预定义数目的候选关键点。13.根据权利要求12所述的MS，其中为了确定对应于每一候选关键点的所述第一相似性得分，所述处理器经配置以：确定对应于每一候选关键点的多个第二相似性得分，其中从与所述对应候选关键点相关联的所述图像补丁与所述图像补丁周围的所述区中的所述对应多个图像区段中的一者的所述比较，确定每一第二相似性得分，且其中每一第二相似性得分指示与所述对应候选关键点相关联的所述图像补丁与所述对应图像区段之间的相似性；以及选择所述候选关键点的所述第二相似性得分的最大值作为所述第一相似性得分。14.根据权利要求13所述的MS，其中为了确定对应于每一候选关键点的所述多个第二相似性得分，所述处理器经配置以：至少部分地基于与所述候选关键点相关联的所述图像补丁与所述对应图像区段之间的交叉相关的量度，计算所述多个第二相似性得分中的每一者。15.根据权利要求14所述的MS，其中为了确定交叉相关的所述量度，所述处理器经配置以：基于选自以下各项中的一者的交叉相关方法，执行交叉相关：归一化交叉相关；或平方差总和；或绝对差总和。16.根据权利要求15所述的MS，其中所述处理器进一步经配置以：基于所述选定交叉相关，部分地基于所述选定关...

【专利技术属性】
技术研发人员：丹尼尔·瓦格纳，金其勇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US