处理图像数据以执行对象检测制造技术

本公开涉及处理图像数据以执行对象检测。本公开的示例涉及用于执行对象检测的方法。在一个这样的示例中，接收表示图像的数据。该图像包括至少一个目标区域和另一区域。至少一个目标区域可使用指示图像的观察者的注视方向的数据来识别。使用第一处理方案处理数据的第一部分，以在图像的至少一个目标区域中执行对象检测。数据的第一部分表示图像的至少一个目标区域。使用不同的第二处理方案处理数据的第二部分。数据的第二部分表示图像的另一区域。

Processing image data to perform object detection

【技术实现步骤摘要】
处理图像数据以执行对象检测
本专利技术涉及用于执行对象检测的方法、装置和计算机可读介质。
技术介绍
检测和识别图像内对象的能力在如下许多类型的系统中都有应用，例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、智能眼镜和/或计算机视觉系统。然而，对象检测可能是计算成本很高的任务，尤其是对于相对较大的图像。这样的高质量、高分辨率图像正变得越来越广泛。例如，在显示图像或视频的显示器面板非常靠近观察者的情况下，例如在头戴式显示器(HMD)布置中，可能需要高分辨率和/或高帧速率视频数据以便提供视觉满意度。此外，这样的设备可能需要图像或视频数据被基本上实时地捕获、处理和显示。因此，高效处理是这种系统中的一个重要考虑因素。一些图像处理系统可能会受到物理约束，例如为了便于穿戴。例如，一些系统可能需要相对较小和/或较轻。这可能是HMD、智能眼镜等的情况。为了在这样的物理约束下操作，这样的系统可以配备有限的处理、电源、存储和/或电池能力。
技术实现思路
根据本公开的第一方面，提供了一种执行对象检测的方法，包括：接收表示图像的数据，所述图像包括至少一个目标区域和另一区域，所述至少一个目标区域能够使用指示所述图像的观察者的注视方向的数据来识别；使用第一处理方案处理所述数据的第一部分以在所述图像的至少一个目标区域中执行对象检测，所述第一部分表示所述至少一个目标区域；以及使用不同的第二处理方案处理所述数据的第二部分，所述第二部分表示所述另一区域。根据本公开的第二方面，提供了一种用于执行对象检测的装置，该装置包括：接收器，该接收器被配置为接收表示图像的数据，所述图像包括至少一个目标区域和另一区域，所述至少一个目标区域能够使用指示所述图像的观察者的注视方向的数据来识别；以及处理器，该处理器被配置为：使用第一处理方案处理所述数据的第一部分以在所述图像的所述至少一个目标区域中执行对象检测，所述第一部分表示所述至少一个目标区域；以及使用不同的第二处理方案处理所述数据的另一部分，所述另一部分表示所述另一区域。根据本公开的第三方面，提供了一种非暂时性计算机可读存储介质，其包括一组计算机可读指令，该组计算机可读指令当由至少一个处理器执行时，使得所述至少一个处理器：接收表示图像的数据，所述图像包括至少一个目标区域和另一区域，所述至少一个目标区域能够使用指示所述图像的观察者的注视方向的数据来识别；使用第一处理方案处理所述数据的第一部分以在所述图像的所述至少一个目标区域中执行对象检测，所述第一部分表示所述至少一个目标区域；以及使用不同的第二处理方案处理所述数据的另一部分，所述另一部分表示所述另一区域。本专利技术的另外的特征和优点将通过对本专利技术的优选实施例的以下描述而变得显而易见，以下描述是参考附图仅通过示例的方式给出的。附图说明图1示意性地示出了用于实现图像处理流水线的系统。图2示意性地示出了根据示例的执行对象检测的方法。图3示意性地示出了根据示例的用于实现图像处理流水线的系统。图4示意性地示出了示例图像，其中可以使用诸如图2的方法之类的方法来执行对象检测。图5示意性地示出了用于实现诸如图2的方法之类的方法的装置。具体实施方式针对上下文提供的图1示意性地示出了用于实现图像处理流水线的系统100。系统100可以形成VR、AR、MR和/或计算机视觉(CV)装备的部分。系统100的组件中一些或全部可被包括在可穿戴设备(例如HMD或智能眼镜)中。系统100可以形成机器人绘图和/或导航装备、自主车辆装备和/或无人驾驶飞行器装备的部分。在其他示例中，系统100可以形成其他图像处理布置的部分。例如，系统100可以形成电视、移动设备或视频游戏装备的部分。系统100包括图像处理装置110。图像处理装置110被布置为接收、处理、生成、存储和/或输出图像数据。图像处理装置110可以形成片上系统(SOC)布置的部分或包括片上系统(SOC)布置。图像处理装置110包括经由至少一个总线115进行通信耦合的多个处理器组件。至少一个总线115具有有限的带宽。由处理器组件执行的操作可以由硬件和/或软件执行。每个处理器组件可以使用机器可读指令和适当编程或配置的硬件(例如电路)来实现。每个处理器组件可以包括微处理器、微控制器、处理器模块或子系统、可编程集成电路、可编程门阵列或其他计算设备。处理器组件可以包括多个位于同一位置的处理器或多个位于不同位置的处理器。在一些示例中，装置110包括计算机可使用的易失性和/或非易失性存储器，其被配置为存储处理器组件的信息和/或指令。计算机可使用的易失性和/或非易失性存储器可以与总线115耦合。计算机可使用的存储器可以包括随机存取存储器(RAM)和/或只读存储器(ROM)。在该示例中，图像处理装置110包括图像信号处理器(ISP)112、中央处理单元(CPU)114、图形处理单元(GPU)116、CV引擎118、显示器控制器120和存储器控制器125。ISP112、CPU114、GPU116、CV引擎118、显示器控制器120和存储器控制器125中的每一个可以包括装置110的处理器组件。与图1的示例中所示的组件相比，装置110可能包括更多、更少和/或不同的组件。例如，装置110可以包括视频解码器和/或一个或多个外围设备或输入/输出设备。存储器控制器125可以包括动态存储器控制器(DMC)。存储器控制器125与存储器130耦合。存储器控制器125被配置为管理进出存储器130的数据流。存储器130可以包括主存储器，或者被称为“初级存储器”。存储器130可以是外部存储器，这在于存储器130位于图像处理装置110的外部。例如，存储器130可以包括“片外”存储器。存储器130可以包括计算设备的中央存储器，装置110位于该计算设备内。存储器130具有的存储容量可能大于CPU114和/或GPU116的(一个或多个)存储器缓存。在一些示例中，存储器130被包括在图像处理装置110中。例如，存储器130可以包括“片上”存储器。存储器130例如可以包括磁盘或光盘和磁盘驱动器或固态驱动器(SSD)。在一些示例中，存储器130包括同步动态随机存取存储器(SDRAM)。例如，存储器130可以包括双数据速率同步动态随机存取存储器(DDR-SDRAM)。存储器130可以被布置为存储对应于一个或多个图像的图像数据，每个图像对应于视频中的不同帧。所存储的图像数据可以对应于视频流中的连续图像。存储器130可以包括被布置为存储图像数据的帧缓冲器。在该示例中，ISP112被配置为从传感器140接收信号数据。例如，ISP112可以被配置为从与ISP112通信耦合的图像传感器接收图像数据。传感器140可以被包括在相机中。例如，传感器140可以被包括在“挂耳式”相机中，“挂耳式”相机被布置为捕获观察者正在观看的场景的表示。所接收到的信号数据可以包括模拟或数字数据。这样的图像传感器可以包括多个传感器像素，给定的传感器像素被配置为输出对应于该传感器像素的信号数据。由ISP1本文档来自技高网...

【技术保护点】
1.一种执行对象检测的方法，包括：/n接收表示图像的数据，所述图像包括至少一个目标区域和另一区域，所述至少一个目标区域能够使用指示所述图像的观察者的注视方向的数据来识别；/n使用第一处理方案处理所述数据的第一部分以在所述图像的所述至少一个目标区域中执行对象检测，所述第一部分表示所述至少一个目标区域；以及/n使用不同的第二处理方案处理所述数据的第二部分，所述第二部分表示所述另一区域。/n

【技术特征摘要】
20180724 US 16/044,1531.一种执行对象检测的方法，包括：
接收表示图像的数据，所述图像包括至少一个目标区域和另一区域，所述至少一个目标区域能够使用指示所述图像的观察者的注视方向的数据来识别；
使用第一处理方案处理所述数据的第一部分以在所述图像的所述至少一个目标区域中执行对象检测，所述第一部分表示所述至少一个目标区域；以及
使用不同的第二处理方案处理所述数据的第二部分，所述第二部分表示所述另一区域。


2.根据权利要求1所述的方法，其中，处理所述数据的所述第二部分包括丢弃所述数据的所述第二部分。


3.根据权利要求1所述的方法，其中，所述第一处理方案涉及以第一等级的视觉质量进行处理，并且所述第二处理方案涉及以不同的第二等级的视觉质量进行处理；或者所述第一处理方案涉及以第一处理速率进行处理，并且所述第二处理方案涉及以不同的第二处理速率进行处理；或者所述第一处理方案涉及根据第一压缩比进行压缩，并且所述第二处理方案涉及以不同的第二压缩比进行压缩。


4.根据权利要求1所述的方法，其中，处理所述数据的所述第一部分包括得出第一处理数据，并且处理所述数据的所述第二部分包括得出第二处理数据，所述方法包括仅输出所述第一处理数据和所述第二处理数据中的所述第一处理数据。


5.根据权利要求1所述的方法，其中，所接收的表示所述图像的数据包括：
从图像传感器输出的原始图像数据；或
从视频解码器输出的解码图像数据。


6.根据权利要求1所述的方法，其中，使用所述第一处理方案处理所述数据的所述第一部分包括使用第一人工神经网络以在所述至少一个目标区域中执行对象检测和/或对象识别，
任选地其中，所述第二处理方案涉及使用：
第二人工神经网络，与所述第一人工神经网络相比，所述第二人工神经网络具有不同数量的层和/或不同数量的神经元；或
所述第一人工神经网络。


7.根据权利要求1所述的方法，其中，使用所述第一处理方案处理所述数据的所述第一部分包括：
在所述至少一个目标区域中执行对象识别，其中，使用所述第二处理方案处理所述数...

【专利技术属性】
技术研发人员：达仁·克罗克斯福德，罗伯托·洛佩斯门德斯，
申请(专利权)人：顶级公司，ARM有限公司，
类型：发明
国别省市：英国;GB