使用语义特征来匹配图像的方法和装置制造方法及图纸

公开了使用语义特征来匹配图像的方法和装置。示例装置包括：语义贴标器，用于为第一图像的第一点集中的每个点和第二图像的第二点集中的每个点确定语义标签；二进制稳健独立元素特征(BRIEF)确定器，用于基于语义标签来为第一点集的第一子集和第二点集的第二子集确定语义BRIEF描述子；以及点匹配器，用于基于语义BRIEF描述子将点的第一子集中的第一点与点的第二子集中的第二点进行匹配。

【技术实现步骤摘要】
【国外来华专利技术】使用语义特征来匹配图像的方法和装置
本公开总体涉及图像处理，并且更具体地，涉及使用语义特征来匹配图像的方法和装置。
技术介绍
点描述和匹配是许多计算机视觉任务的基本步骤。例如，点描述和匹配可以用于进行立体匹配、图像拼接、运动估计等。随着诸如机器人、无人机、自主驾驶之类的自动和/或半自动设备变得越来越流行，对由传感器获得的图像数据之间的点描述和匹配的改进使得这样的自动和/或半自动设备的整体性能得到改善。例如，当机器人在环境中行进时，机器人会收集不同方位的图像。因此，机器人需要能够对来自以不同方位拍摄的两个或更多个所获得的图像中的对象进行匹配，以便适当地进行导航和/或与环境中的对象交互。附图说明图1是用于使用语义特征来匹配两个图像的示例图像匹配确定器。图2-图5是表示可以被执行以实现图1的示例图像匹配确定器的示例机器可读指令的流程图。图6图示出正在由图1的示例图像匹配确定器处理的两个示例图像。图7是处理器平台的框图，该处理器平台被构造为执行图2-图5的示例机器可读指令以实现图1的示例图像匹配确定器。这些附图并未按比例绘制。只要可能，(一个或多个)附图和随附的书面描述通篇将使用相同的附图标记来表示相同或相似的部件。具体实施方式点描述和匹配是许多计算机视觉任务中重要且使用率很高的协议。例如，在机器人绘图和/或导航中，同时定位和绘图(SLAM)使用点检测和匹配协议来构造未知环境的地图。随着自主车辆、无人机、机器人等的使用变得越来越普遍，更有效的点描述和匹配协议变得越来越重要。用于点描述和匹配的一些常规技术(例如，尺度不变特征变换(SIFT)或加速稳健特征(SURF))包括：在高斯差(DoG)空间中找到局部极值并将描述子(descriptor)定义为梯度直方图或使用海塞二进制对象(Hessianblob)检测器行列式的整数近似。但是，SIFT或SURF具有很高的计算成本。因此，对于许多实时应用(例如，SLAM)来说，SURF和SIFT都不够快。而其他常规技术(例如，面向FAST和旋转BRIEF(ORB))对应于加速分割测试特征(FAST)检测器和二进制稳健独立元素特征(BRIEF)描述子，从而减少了点描述和匹配所需的计算成本。例如，ORB花费的时间是SIFT的计算时间的1/100，并且是SURF的计算时间的1/10。但是，ORB技术由于其简单性而引入了其特征描述子的不确定性，从而降低了结果的准确性。另外，这样的常规技术不能处理复杂的图像(例如，较大的视点改变)，因为这样的常规技术仅考虑到低级特征(例如，像素梯度、强度、以及颜色)。因此，由于这样的低级描述子的不明确性，使用这样的常规技术通常会导致未对齐。本文公开的示例使用(一个或多个)低级描述子与对应于语义的高级描述子的组合来执行点描述和匹配。语义特征是通过使低级特征(例如颜色、梯度方向等)与图像场景的内容相关联来描述图像的视觉内容的图像特征。例如，语义特征可以将诸如蓝色之类的提取颜色与海洋或天空相关联。本文公开的示例包括一种结合了高级语义特征和低级强度特征的新的点描述，从而提供了更完整的图像表示和更准确的点匹配。使用本文公开的示例，两个图像中的关键点被分配了一组候选匹配标签，并且在具有相同语义标签的点之间进行点匹配，从而相应地大大减少了点失配。与SIFT和SURF二者相比，本文公开的示例以较少的常规时间提供了比上述传统技术更精确的点匹配。图1图示出示例图像匹配确定器100，该示例图像匹配确定器用于使用语义特征来匹配两个图像。图1的示例图像匹配确定器100包括：示例接口102、示例关键点确定器104、示例掩模生成器106、示例语义贴标器108、示例语义BRIEF确定器110、以及示例关键点匹配器112。示例图像匹配确定器100生成示例点匹配报告114。图1的示例图像匹配确定器100是一种设备，其能够对位于两个或更多个图像内的对象进行匹配，而不管这两个图像的方位如何。例如，图像匹配确定器100可以对在同一房间中的两个不同点处拍摄的两个图像中的椅子上的一个或多个点进行匹配。在一些示例中，图像匹配确定器100位于机器人和/或自动/半自动设备内。例如，图像匹配确定器100可以在机器人、无人机、自主车辆等中实现，以在机器人设备在移动的同时捕获对象的图像时识别对象。因此，示例图像匹配确定器100可以将成像映射的结果提供给用于执行功能的另一处理器。图1的示例接口102从图像捕获传感器(例如，相机)和/或从另一处理器接收图像。当示例接口102接收到指令(例如，来自用户或其他设备)和/或接口102接收到要进行匹配的两个或更多个图像时，示例接口102发起图像匹配处理。另外，示例接口102生成示例点匹配报告114。在一些示例中，接口102把点匹配报告114生成为被发送到处理器以进行进一步处理的信号(例如，对应于数据分组)。图1的示例关键点确定器104对接收到的图像中的关键点进行检测。在一些示例中，关键点确定器104使用面向FAST的检测器技术来对接收到的图像中的关键点进行检测。替代地，可以使用任何点检测技术来对接收到的图像中的关键点进行检测。另外，示例关键点确定器104将关键点分组成两组：“对象区域内”组(PO)和“对象边界上”组(PB)。例如，关键点确定器104可以使用等式1来对关键点进行划分。在等式1中，MO对应于对象掩模，MB对应于边界掩模，如下文进一步描述的。替代地，等式1可以用于仅使用对象掩模或仅使用边界掩模进行的对关键点的分组。在一些示例中，当图像包括边界(例如，汽车)时，示例关键点确定器104将与该汽车的边界对应的每个点置于“对象边界上”组中，并且将与该汽车对应的、不在边界上的点置于“对象区域内”组中。示例关键点确定器104使用哈里斯方法(Harrismethod)对两组中的点进行排序，其中对象区域内的点的优先级高于边界上的点。例如，哈里斯方法可以包括哈里斯拐角检测器，该哈里斯拐角检测器用于检测下述关注点：所述关注点的局部邻域位于两个主导但不同的边缘方向上。哈里斯方法还可以包括测量拐角点，这将拐角得分相对于其方向的差异纳入考虑。在将关键点排序之后，示例关键点确定器104从该排序中选择前K个关键点。为了获得更准确(但较慢)的图像匹配，K可以较高(例如1,000-10,000个关键点)。为了获得更快(但准确度较低)的图像匹配，K可以较低(例如100-1,000个关键点)。图1的示例掩模生成器106生成接收到的图像的语义分割掩模、对象掩模、以及边界掩模。为了生成语义分割掩模，示例掩模生成器106在语义级别上分割图像。例如，掩模生成器106可以对图像采用SegNet函数以生成语义分割图像。替代地，可以使用任何其他图像分割。下文结合图6进一步描述语义分割图像的示例。示例掩模生成器106生成对象掩模来作为定义图像的对象区域的二进制图像。例如，给定输入图像和该图像的语义分割(S)，掩模生成器106使用等式2来生成对象掩模M0。在等式2中，L是在图像中识别出的语义标本文档来自技高网...

【技术保护点】
1.一种使用语义特征来匹配图像的装置，所述装置包括：/n语义贴标器，用于为第一图像的第一点集中的每个点和第二图像的第二点集中的每个点确定语义标签；/n二进制稳健独立元素特征(BRIEF)确定器，用于基于所述语义标签为所述第一点集的第一子集和所述第二点集的第二子集确定语义BRIEF描述子；以及/n点匹配器，用于基于所述语义BRIEF描述子将点的所述第一子集中的第一点与点的所述第二子集中的第二点进行匹配。/n

【技术特征摘要】
【国外来华专利技术】1.一种使用语义特征来匹配图像的装置，所述装置包括：
语义贴标器，用于为第一图像的第一点集中的每个点和第二图像的第二点集中的每个点确定语义标签；
二进制稳健独立元素特征(BRIEF)确定器，用于基于所述语义标签为所述第一点集的第一子集和所述第二点集的第二子集确定语义BRIEF描述子；以及
点匹配器，用于基于所述语义BRIEF描述子将点的所述第一子集中的第一点与点的所述第二子集中的第二点进行匹配。


2.根据权利要求1所述的装置，还包括：掩模生成器，用于生成所述第一图像和所述第二图像的语义分割，所述语义贴标器用于基于所述语义分割来识别语义对象，并基于所述语义对象来为所述第一点集和所述第二点集确定所述语义标签。


3.根据权利要求1所述的装置，还包括：关键点确定器，用于基于所述第一点集和所述第二点集中的点的排序来选择点的所述第一子集和点的所述第二子集，所述排序基于所述点在所述第一图像和所述第二图像中所处的位置。


4.根据权利要求1所述的装置，其中，所述BRIEF确定器用于基于语义二进制测试来为所述第一点集和所述第二点集确定所述语义BRIEF描述子。


5.根据权利要求1所述的装置，其中，所述BRIEF确定器用于通过以下各项来确定点的所述第一子集中的第一点的BRIEF描述子：
在围绕所述第一点的中心的色块中选择样本位置对；
确定所述样本位置对的语义标签是否匹配；
基于关于所述语义标签是否匹配的确定来设置语义二进制值；并且
基于所述语义二进制值来确定所述第一点的BRIEF描述子。


6.根据权利要求1所述的装置，其中，所述点匹配器用于基于点的所述第一子集和点的所述第二子集之间的候选点对的语义BRIEF描述子之间的汉明距离，将所述第一点集中的所述第一点与所述第二点集中的所述第二点进行匹配。


7.根据权利要求6所述的装置，其中，所述点匹配器基于以下各项中的至少一者来确定候选点对：对应于共同匹配标签或对应于同一组。


8.根据权利要求7所述的装置，其中，所述语义贴标器用于为点的所述第一子集和点的所述第二子集确定匹配标签，所述匹配标签与所述点的语义标签或相邻点的语义标签中的至少一者对应。


9.根据权利要求7所述的装置，还包括：关键点确定器，用于基于所述第一点集和所述第二点集中的点在所述第一图像和所述第二图像中的位置，将所述点划分成组。


10.一种非暂态计算机可读存储介质，包括指令，所述指令在被执行时使得机器至少执行以下操作：
为第一图像的第一点集中的每个点和第二图像的第二点集中的每个点确定语义标签；
基于所述语义标签为所述第一点集的第一子集和所述第二点集的第二子集确定语义BRIEF描述子；并且
基于所述语义BRIEF描述子将点的所述第一子集中的第一点与点的所述第二子集中的第二点进行匹配。


11.根据权利要求10所述的计算机可读存储介质，其中，所述指令使得机器：
创建所述第一图像和所述第二图像的语义分割；
基于所述语义分割来识别语义对象；并且
基于所述语义对象来为所述第一点集和所述第二点集确定所述语义标签。


12.根据权利要求10所述的计算机可读存储介质，其中，所述指令使得机器：基于所述第一点集和所述第二点集中的点的排序来选择点的所述第一点子集和点的所述第二子集，所述排序基于所述点在所述第一图像和所述第二图像中所处的位置...

【专利技术属性】
技术研发人员：张益民，任海兵，胡炜，郭萍，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US