一种用于合并候选区域的装置和方法。公开了用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的装置、非暂时性计算机可读存储介质和方法。第一图像和第二图像具有重叠区域，并且第一候选区域的至少一部分和第二候选区域的至少一部分位于重叠区域中。确定图像重叠大小，该图像重叠大小指示第一图像和第二图像的重叠区域的大小，并且确定候选区域重叠比例，该候选区域重叠比例指示在第一候选区域与第二候选区域之间的重叠的比例。然后基于图像重叠大小来确定合并阈值，并且在候选区域重叠比例大于合并阈值的条件下，合并第一候选区域和第二候选区域，从而形成合并的候选区域。从而形成合并的候选区域。从而形成合并的候选区域。
【技术实现步骤摘要】
用于合并候选区域的装置和方法
[0001]本专利技术涉及合并候选区域，尤其涉及合并与第一图像中的特征相关的候选区域和与第二图像中的特征相关的第二候选区域。
技术介绍
[0002]在一些图像处理应用中，图像中的候选区域被识别，其中，候选区域涉及图像中的诸如对象、对象的片段等的特征。例如，这种候选区域可以是与图像中的对象检测相关的候选包围框，其中，候选包围框可以借助于对象检测算法(例如使用神经网络)来获得。在其他示例中，这样的候选区域可以是借助于实例分割算法获得的候选多边形或者像素掩模，或者是从运动检测算法获得的像素掩模。一旦识别了图像中的候选区域，就可以执行合并算法，以便确定是否应当将两个候选区域合并成单个候选区域。这种确定通常基于在两个候选区域之间的重叠的比例的阈值，即候选区域相对于它们的总大小重叠多少。对于超过阈值的重叠的比例，合并候选区域，而对于低于阈值的重叠的比例，不合并候选区域。这种合并算法的目的是：确定要合并两个候选区域应当与两个候选区域实际上与图像中的相同特征相关的情况相对应。这种合并算法是针对已经在单个连续图像中识别了候选区域的情况而开发的。但是，当候选区域应当被合并时，即，当候选区域实际上与图像中的相同特征相关时，存在该算法无法成功识别所有相关情况的情形。这种情形的一个示例是当候选区域已经在由单个图像传感器所捕获的不连续图像中被识别时，其中，不连续图像的两个部分(在识别候选区域时作为两个单独图像处理)具有重叠区域，在这种情形下，该重叠区域是由单个图像传感器的相同区域捕获的区域。这种情形的另一个示例是当候选区域已经在由两个单独图像传感器所捕获的两个单独图像中被识别时，其中，这两个图像包括重叠区域，在这种情况下，该重叠区域是表示由两个单独图像传感器两者所捕获的场景的一部分的区域。
技术实现思路
[0003]本专利技术的一个目的是促进与两个相应图像相关的两个候选区域的增强识别和合并，其中两个相应图像具有重叠区域。
[0004]根据第一方面，提供了一种用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的方法。第一图像和第二图像具有重叠区域，并且第一候选区域的至少一部分和第二候选区域的至少一部分位于重叠区域中。方法包括：确定图像重叠大小，该图像重叠大小指示第一图像和第二图像的重叠区域的大小；确定候选区域重叠比例，该候选区域重叠比例指示第一候选区域与第二候选区域之间的重叠的比例；基于图像重叠大小来确定合并阈值；以及在候选区域重叠比例大于合并阈值的情况下，合并第一候选区域和第二候选区域，从而形成合并的候选区域。
[0005]“候选特征”是指对象、对象的一部分、对象的片段、存在运动的部分或图像的任何其他特征，针对这些特征的候选区域已经在先前处理中被识别并被输入到根据第一方面的
方法中。
[0006]与第一图像和第二图像相关的“图像”是指在识别候选区域时，第一图像和第二图像已经被分开处理。第一图像和第二图像可能已经由第一图像传感器和第二图像传感器中的相应一个所捕获。可替代地，第一图像和第二图像可以分别是使用单个图像传感器所捕获的图像的第一部分和第二部分。在后一种情况下，第一图像和第二图像可以分别是第一部分的变换和第二部分的变换。
[0007]与具有重叠区域的第一图像和第二图像相关的“重叠区域”是指存在于经过或者未经过变换的第一图像和第二图像中的一个图像中的、但其也包括在另一个图像中的区域，或者存在于第一图像和第二图像中的一个图像中的、其表示与在另一个图像中的区域相同的场景部分。在前一种情况下，第一图像和第二图像可以例如是场景的广角视图的部分的变换，以便减少特征大小关系的失真。在后一种情况下，第一图像和第二图像可以是分别由第一图像传感器和第二图像传感器所捕获的图像，其中，第一图像传感器和第二图像传感器捕获了场景的各自的、但部分重叠的部分。
[0008]与在第一候选区域与第二候选区域之间的重叠的比例相关的“比例”是指与第一候选区域和第二候选区域的大小相关的任何类型的归一化。
[0009]专利技术人已经认识到，对于在第一图像中所识别的第一候选区域和在第二图像中所识别的第二候选区域，其中，第一图像和第二图像具有重叠区域，第一候选区域与第二候选区域之间的重叠在大小上受到重叠区域的大小的限制。对于一部分在第一图像中而一部分在第二图像中的候选特征，在重叠区域中将存在该候选特征的共同部分，即，该共同部分将出现在第一图像和第二图像中。因为与在第一图像中所识别的候选特征相关的第一候选区域和与在第二图像中所识别的候选特征相关的第二候选区域只能在重叠区域中重叠。为了适应这种限制，根据第一方面，合并阈值是基于重叠区域的大小来确定的。
[0010]通过基于图像重叠大小来确定合并阈值，降低了不合并第一候选区域和第二候选区域的风险，即使它们与相同的候选特征相关。因此，降低了两个单独图像中的相同候选特征被识别为两个单独候选特征的风险。
[0011]合并阈值可以被确定为随着图像重叠大小而增加。例如，合并阈值可以被确定为与图像重叠大小成比例。因此，对于给定的重叠大小，合并阈值将被确定为给定的重叠大小乘以比例常数。
[0012]候选区域重叠比例可被确定为第一候选区域和第二候选区域的交集除以第一候选区域和第二候选区域的并集。候选区域重叠比例的这种度量通常被称为交并比(IoU)。
[0013]可以在包括第一图像和第二图像的组合图像的坐标中识别第一候选区域和第二候选区域。这可以例如涉及第一图像和第二图像已经分别被第一图像传感器和第二图像传感器所捕获的情况，其中，第一图像传感器和第二图像传感器捕获了场景的各自的、但部分重叠的部分。
[0014]第一图像可以是鱼眼图像的第一部分的第一变换视图，并且第二图像可以是鱼眼图像的第二部分的第二变换视图，并且第一候选区域和第二候选区域可以在鱼眼图像的坐标中或在一些其他坐标系的坐标中被识别。这涉及第一图像和第二图像分别是使用单个图像传感器所捕获的图像的第一部分和第二部分的情况，并且其中，第一图像和第二图像分别是第一部分和第二部分的变换。因此，已经分别在第一图像和第二图像中被识别的第一
候选区域和第二候选区域已经被变换回来，使得它们在鱼眼图像的坐标中或者在一些其他坐标系的坐标中被识别。
[0015]合并的候选区域可以由第一候选区域和第二候选区域的并集组成。设想了替代方案。例如，如果合并的候选区域应当具有特定形状，则合并的候选区域可以是包括第一候选区域和第二候选区域的特定形状的区域。例如，合并的候选区域可以是包括第一候选区域和第二候选区域的特定形状的最小区域。
[0016]第一候选区域和第二候选区域可以是包围框、像素掩模和多边形区域中之一。合并的候选区域可以是相同的类型。例如，如果第一候选区域和第二候选区域是包围框，则合并的候选区域也可以是包围框。
[0017]根据第二方面，提供了一种其上存储有指令的非暂时性计算机可读存储介质，该指令当由具有处理能力的装置执行时，用于实现根据第一方面的方法。...
【技术保护点】
【技术特征摘要】
1.一种用于合并与第一图像中的候选特征相关的第一候选区域和与第二图像中的候选特征相关的第二候选区域的方法，其中，所述第一图像和所述第二图像具有重叠区域，并且其中，所述第一候选区域的至少一部分和所述第二候选区域的至少一部分位于所述重叠区域中，所述方法包括：确定图像重叠大小，所述图像重叠大小指示所述第一图像和所述第二图像的所述重叠区域的大小；确定候选区域重叠比例，所述候选区域重叠比例指示在所述第一候选区域与所述第二候选区域之间的重叠的比例；基于所述图像重叠大小来确定合并阈值；以及在所述候选区域重叠比例大于所述合并阈值的情况下，合并所述第一候选区域和所述第二候选区域，从而形成合并的候选区域。2.根据权利要求1所述的方法，其中，所述合并阈值被确定为与所述图像重叠大小成比例。3.根据权利要求1所述的方法，其中，所述候选区域重叠比例被确定为所述第一候选区域和所述第二候选区域的交集除以所述第一候选区域和所述第二候选区域的并集。4.根据权利要求1所述的方法，其中，在包括所述第一图像和所述第二图像的组合图像的坐标中识别所述第一候选区域和所述第二候选区域。5.根据权利要求1所述的方法，其中，所述第一图像是鱼眼图像的第一部分的第一变换视图，并且所述第二图像是所述鱼眼图像的第二部分的第二变换视图，并且其中，所述第一候选区域和所述第二候选区域在所述鱼眼图像的坐标中被识别。6.根据权利要求1所述的方法，其中，所述合并的候选区域由所述第一候选区域和所述第二候选区域的并集组成。7.根据权利要求1所述的方法，其中，所述第一候选区域和所述第二候选区域是包围框、像素掩模和多边形区域之一。8.一种其上存储有指令的非暂时性计算机可读存储介质，所述指令当在具有处理能力的装置上执行时，用于实现根据权利要求1至7中任一项所述的方法。9.一种用于合并与第一图像中的候选特征相关...
【专利技术属性】
技术研发人员：陈建丹，汉纳，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。