处理图像的多个感兴趣区域数据的装置和方法制造方法及图纸

公开了一种处理图像的多个感兴趣区域数据的装置和方法。该装置可以包括：内容寻址存储器，被配置为根据基于第一感兴趣区域数据中的位置数据的第一数据，确定第二感兴趣区域数据；以及处理器，被配置为针对第一感兴趣区域数据以及与第一感兴趣区域数据和每个第二感兴趣区域数据不同的第三感兴趣区域数据，执行删除感兴趣区域和合并感兴趣区域中的至少一个操作，其中，第一感兴趣区域数据和任一第一感兴趣区域数据分别对应于在图像中分离的第一感兴趣区域和第二感兴趣区域。通过根据本公开的实施例的装置和方法，能够减少不必要的计算量，从而减少时间消耗并提高处理效率。

Device and method for processing data of multiple regions of interest of image

An apparatus and method for processing data of multiple regions of interest of an image are disclosed. The device can include: a content addressing memory configured to determine the second region of interest data based on the first data of the location data in the first region of interest data; and a processor configured to execute for the first region of interest data and the third region of interest data different from the first region of interest data and each second region of interest data Row delete region of interest and merge at least one operation of region of interest, wherein the first region of interest data and any first region of interest data respectively correspond to the first region of interest and the second region of interest separated in the image. By means of the apparatus and method according to the embodiment of the present disclosure, unnecessary calculation amount can be reduced, thereby reducing time consumption and improving processing efficiency.

【技术实现步骤摘要】
处理图像的多个感兴趣区域数据的装置和方法
本公开总体上涉及图像处理的
，并且具体地涉及一种处理图像的多个感兴趣区域数据的装置和方法。
技术介绍
在基于图像或视频的目标检测中，可以使用诸如计算机视觉识别或神经网络等方法处理输入的一个或多个图像(例如，单个的单色或彩色图像，或者包括在时间上连续的至少两个图像的图像序列)，产生并输出大量的感兴趣区域(RegionofInterest，ROI)数据。这样的ROI数据也可以被称为包围盒(BoundingBox，BB)数据，并且可以包括对应的ROI在图像或图像序列中的位置、置信度和类别等信息。然后，可以基于所产生的ROI数据执行诸如非极大值抑制(Non-MaximumSuppression，NMS)等后续处理。总是期望能够更加高效率地处理这些数量巨大的ROI数据。
技术实现思路
根据本公开的一个方面，提供了一种处理图像的多个感兴趣区域数据的装置。该装置可以包括内容寻址存储器和处理器，其中，内容寻址存储器可以被配置为根据基于前述多个感兴趣区域数据中的第一感兴趣区域数据中的位置数据的第一数据，确定前述多个感兴趣区域数据中的第二感兴趣区域数据，并且处理器可以被配置为针对前述第一感兴趣区域数据以及前述多个感兴趣区域数据中与前述第一感兴趣区域数据和由前述内容寻址存储器确定的每个第二感兴趣区域数据不同的第三感兴趣区域数据，执行删除感兴趣区域和合并感兴趣区域中的至少一个操作，其中，前述第一感兴趣区域数据和任一第二感兴趣区域数据可以分别对应于在前述图像中分离的第一感兴趣区域和第二感兴趣区域。根据本公开的另一个方面，还提供了一种处理图像的多个感兴趣区域数据的方法。该方法可以包括：由处理器根据前述多个感兴趣区域数据中的第一感兴趣区域数据中的位置数据，确定供内容寻址存储器在查询模式中使用的第一数据；控制前述内容寻址存储器进入前述查询模式，以根据前述第一数据确定前述多个感兴趣区域数据中的第二感兴趣区域数据；以及由前述处理器针对前述第一感兴趣区域数据以及前述多个感兴趣区域数据中与前述第一感兴趣区域数据和由前述内容寻址存储器确定的每个第二感兴趣区域数据不同的第三感兴趣区域数据，执行包括感兴趣区域删除和感兴趣区域合并中的至少一个的处理，其中，前述第一感兴趣区域数据和任一第二感兴趣区域数据可以分别对应于在前述图像中分离的第一感兴趣区域和第二感兴趣区域。根据本公开的另一个方面，还提供了一种计算机可读存储介质。该存储介质可以存储有计算机程序。前述计算机程序可以用于执行前述处理图像的多个感兴趣区域数据的方法。根据本公开的另一个方面，还提供了一种电子设备。该电子设备可以包括前述处理图像的多个感兴趣区域数据的装置。在根据本公开的实施例的处理图像的多个感兴趣区域数据的装置和方法中，根据基于指定ROI数据中的位置数据确定的信息，从所有ROI数据中确定另一ROI数据，该另一ROI数据对应的ROI与该指定ROI数据对应的ROI被处理器解释为在图像中是分离的，然后由处理器针对该指定ROI数据和该另一ROI数据执行诸如ROI删除和ROI合并这样的后处理。由此，能够在执行后处理之前过滤到将导致无效计算或处理的ROI数据，从而能够减小功耗和提高处理效率。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的前述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1示出常规的处理ROI数据的装置的示例。图2示出图1所示的常规装置处理ROI数据的过程。图3示出图像坐标系的示例。图4示出在图像上分离的两个ROI的示例。图5示出在图像上分离的两个ROI的示例。图6示出在图像上分离的两个ROI的示例。图7示出在图像上分离的两个ROI的示例。图8示出根据本公开的实施例的装置的示例。图9示出根据本公开的实施例的装置中的CAM的示例。图10示出根据本公开的实施例的装置中的CAM的示例。图11示出根据本公开的实施例的装置中的CAM的示例。图12示出根据本公开的实施例的装置中的CAM的示例。图13示出根据本公开的实施例的装置的示例。图14示出根据本公开的实施例的装置的示例。图15示出根据本公开的实施例的方法的示例。图16示出根据本公开的实施例的电子设备的示例。具体实施方式下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。概述如前文所述，在基于图像或视频的目标检测中，所产生的ROI数据的数量通常非常巨大。即便是在根据置信度进行阈值过滤之后，保留下来的ROI数据的数量通常仍然很大。这导致针对ROI数据的后处理通常涉及很大的计算量和功耗。传统的用于处理ROI数据的装置将所接收或生成的ROI数据存储在诸如静态随机存取存储器(StaticRandom-AccessMemory，SRAM)、动态随机存取存储器(DynamicRandomAccessMemory，DRAM)这样的常规存储器中，然后由处理器按地址从这样的常规存储器中顺序地读取所存储的ROI数据并执行处理。如图1所示，传统的装置DEV1可以包括存储器MEM和处理器PU1。存储器MEM用于存储所接收或生成的ROI数据D1、……、DN(N通常为远大于1的整数)。处理器PU1例如通过总线耦接到存储器MEM，并且被配置为根据预定的程序指令执行处理逻辑PL1，其中，处理器PU1从存储器MEM中读取ROI数据Di(1≤i≤N)和Dj(i<j≤N)，并且按照处理逻辑PL1进行处理，然后可以将处理结果RST(Di,Dj)输出到存储器MEM中或者根据处理结果RST(Di,Dj)来更新存储器MEM中的ROI数据Di和/或Dj。例如，对于NMS，处理逻辑PL1的一个示例可以如图2所示。图2所示的处理逻辑PL1为两层循环的嵌套。在外层循环(通过变量i控制)中，每次先从存储器MEM中读取ROI数据Di。针对每次读取的ROI数据Di，在ROI数据Di未被抑制的情况下，进入内层循环(通过变量j控制)。在内层循环中，先在从存储器MEM中读取另一ROI数据Dj，然后判断Di是否抑制Dj，如果判断结果为“是”，则抑制Dj。如图3所示，由ROI数据Di表示的感兴趣区域Bi和由ROI数据Dj表示的感兴趣区域Bj在图像IMG可能是完全分离的。但是，图1或图2的示例中的处理器PU1仍然需要从存储器MEM中读取ROI数据Dj并且判断Di是否抑制Dj。这造成了处理器PU1的不必要的资源浪费和功耗，进而导致处理器PU1的处理性能的劣化。要处理的ROI数据的数量越多，即N越大，这样的性能劣化就越明显。本本文档来自技高网...

【技术保护点】
1.一种处理图像的多个感兴趣区域数据的装置，包括：/n内容寻址存储器，被配置为根据基于所述多个感兴趣区域数据中的第一感兴趣区域数据中的位置数据的第一数据，确定所述多个感兴趣区域数据中的第二感兴趣区域数据；以及/n处理器，被配置为针对第一感兴趣区域数据以及所述多个感兴趣区域数据中与第一感兴趣区域数据和由所述内容寻址存储器确定的每个第二感兴趣区域数据不同的第三感兴趣区域数据，执行删除感兴趣区域和合并感兴趣区域中的至少一个操作，第一感兴趣区域数据和任一第二感兴趣区域数据分别对应于在所述图像中分离的第一感兴趣区域和第二感兴趣区域。/n

【技术特征摘要】
1.一种处理图像的多个感兴趣区域数据的装置，包括：
内容寻址存储器，被配置为根据基于所述多个感兴趣区域数据中的第一感兴趣区域数据中的位置数据的第一数据，确定所述多个感兴趣区域数据中的第二感兴趣区域数据；以及
处理器，被配置为针对第一感兴趣区域数据以及所述多个感兴趣区域数据中与第一感兴趣区域数据和由所述内容寻址存储器确定的每个第二感兴趣区域数据不同的第三感兴趣区域数据，执行删除感兴趣区域和合并感兴趣区域中的至少一个操作，第一感兴趣区域数据和任一第二感兴趣区域数据分别对应于在所述图像中分离的第一感兴趣区域和第二感兴趣区域。


2.根据权利要求1所述的装置，其中，所述内容寻址存储器包括：
多个存储单元，被配置为存储所述多个感兴趣区域数据；
第一寄存器，被配置为在查询模式下存储所述第一数据；
与所述多个存储单元对应配置的多个比较逻辑电路，每个比较逻辑电路被配置为在所述第一数据和基于对应的存储单元中的感兴趣区域数据中的位置数据的第二数据满足预定大小关系的情况下，输出指示对应的存储单元中的感兴趣区域数据是所述第二感兴趣区域数据的信号；以及
与所述多个比较逻辑电路对应配置的多个第二寄存器，每个第二寄存器被配置为存储与对应的比较逻辑电路所输出的信号相对应的标志。


3.根据权利要求2所述的装置，其中，
所述处理器还被配置为将根据所述第一感兴趣区域数据中的位置数据确定的所述第一感兴趣区域在所述图像的图像坐标系中的左边界点的横坐标值或上边界点的纵坐标值作为所述第一数据提供给所述内容寻址存储器；并且
所述内容寻址存储器的每个比较逻辑电路被配置为在所述第二数据小于所述第一数据的情况下，输出指示对应的存储单元中的感兴趣区域数据是所述第二感兴趣区域数据的信号，所述第二数据表示根据对应的感兴趣区域数据中的位置数据确定的对应的感兴趣区域在所述图像坐标系中的右边界点的横坐标值或下边界点的纵坐标值。


4.根据权利要求2所述的装置，其中，
所述处理器还被配置为将根据所述第一感兴趣区域数据中的位置数据确定的所述第一感兴趣区域在所述图像的图像坐标系中的右边界点的横坐标值或下边界点的纵坐标值作为所述第一数据提供给所述内容寻址存储器；并且
所述内容寻址存储器的每个比较逻辑电路被配置为在所述第二数据大于所述第一数据的情况下，输出指示对应的存储单元中的感兴趣区域数据是所述第二感兴趣区域数据的信号，所述第二数据表示根据对应的感兴趣区域数据中的位置数据确定的对应的感兴趣区域在所述图像坐标系中的左边界点的横坐标值或上边界点的纵坐标值。


5.根据权利要求1所述的装置，其中，所述内容寻址存储器包括三态内容寻址存储器，所述第一数据包括供所述三态内容寻址存储器在查询模式中使用的参考数据和掩码，
所述处理器还被配置为根据基于所述第一感兴趣区域数据中的位置数据确定的坐标数据，确定所述参考数据和所述掩码，所述坐标数据表示所述第一感兴趣区域在所述图像的图像坐标系中的左边界点的横坐标值或上边界点的纵坐标值，所述参考数据与所述掩码之间的逻辑或的结果和所述参考数据均小于所述坐标数据，并且
所述三态内容寻址存储器被配置为对于每个存储单元中的感兴趣区域数据，在根据该感兴趣区域数据中的位置数据确定的对应的感兴趣区域在所述图像坐标系中的右边界点的横坐标值或下边界点的纵坐标值满足取决于所述第一数据和所述三态内容寻址存储器中的匹配逻辑电路设计的匹配条件的情况下，确定该感兴趣区域数据是所述第二感兴趣区域数据。


6.根据权利要求1所述的装置，其中，
所述内容寻址存储器包括三态内容寻址存储器，所述第一数据包括供所述三态内容寻址存储器在查询模式中使用的参考数据和掩码，
所述处理器还被配置为根据基于所述第一感兴趣区域数据中的位置数据确定的坐标数据，确定所述参考数据和所述掩码，所述坐标数据表示所述第一感兴趣区域在所述图像的图像坐标系中的右边界点的横坐标值或下边界点的纵坐标值，所述掩码的反码与所述参考数据之间的逻辑与的结果和所述参考数据均大于所述坐标数据，并且
所述三态内容寻址存储器被配置为对于每个存储单元中的感兴趣区域数据，在根据该感兴趣区域数据中的位置数据确定的对应的感兴趣区域在所述图像坐标系中的左边界点的横坐标值或上边界点的纵坐...

【专利技术属性】
技术研发人员：谭洪贺，李晓森，
申请(专利权)人：南京地平线机器人技术有限公司，
类型：发明
国别省市：江苏;32