用于图像中低功率对象检测的硬件内扫描窗口制造技术

本发明专利技术涉及一种设备，所述设备包含硬件传感器阵列，所述硬件传感器阵列包含沿所述阵列的至少第一维度及第二维度布置的多个像素，所述像素中的每一者能够产生传感器读数。硬件扫描窗口阵列包含多个沿所述硬件扫描窗口阵列的至少第一维度及第二维度布置的存储元件，所述存储元件中的每一者能够基于一或多个传感器读数存储像素值。外围电路用于将基于传感器读数的像素值系统地传送到所述硬件扫描窗口阵列中，以使得不同窗口的像素值在不同时间被存储于所述硬件扫描窗口阵列中。耦合到所述硬件传感器阵列、所述硬件扫描窗口阵列以及所述外围电路的控制逻辑将控制信号提供到所述外围电路以控制像素值的所述传送。

【技术实现步骤摘要】
【国外来华专利技术】用于图像中低功率对象检测的硬件内扫描窗口
本专利技术的方面涉及计算机视觉。
技术介绍
用于在面部检测及其它类型的基于图像的任务中采用许多现有计算机视觉算法(例如，Viola-Jones算法)。然而，通过操纵大量图像数据以便根据处理器指令执行所需计算机视觉算法，许多这些算法就处理能力、存储器使用情况以及数据传送带宽来说可为资源密集的。另外，许多现有计算机视觉算法利用用于分类图像内的对象的特征。这类计算机视觉算法可用于(例如)面部检测及其它类型的基于图像的任务。这类基于特征的算法的实例包含局部二进制模式(localbinarypatterns；LBP)以及类哈尔(Haar)特征。然而，常常需要使用与图像相关的不同位置、大小、比例、分辨率、旋转及/或其它数据参数多次(例如，成千上万次)执行基于特征的算法。所述过程可能花费长时间且就处理能力、存储器需求、数据传送带宽等来说为相当资源密集的。因此，存在对更具资源效率且允许高效存取图像数据的计算机视觉计算技术的需要。
技术实现思路
本专利技术大体上涉及实现计算机视觉，且更具体地说，改良使用计算机视觉检测特征的效率。在一些实施方案中，用于隔离硬件中的像素值的设备包含硬件传感器阵列，所述硬件传感器阵列包括沿硬件传感器阵列的至少第一维度及第二维度布置的多个像素，所述像素中的每一者能够基于环境状况产生传感器读数。设备还包含硬件扫描窗口阵列，所述硬件扫描窗口阵列包括沿硬件扫描窗口阵列的至少第一维度及第二维度布置的多个存储元件，所述存储元件中的每一者能够存储基于来自硬件传感器阵列的一或多个传感器读数的像素值。设备进一步包含外围电路，所述外围电路用于将基于来自硬件传感器阵列的传感器读数的像素值系统地传送到硬件扫描窗口阵列中，以使得不同窗口的像素值在不同时间被存储于硬件扫描窗口阵列中。设备另外包含耦合到硬件传感器阵列、硬件扫描窗口阵列以及外围电路的控制逻辑，控制逻辑可操作以将控制信号提供到外围电路以控制像素值到硬件扫描窗口阵列中的传送。在一些实施方案中，硬件传感器阵列包含耦合到多个像素的可配置组合电路，可配置组合电路可操作以根据至少一个组合模式在硬件中组合来自多个像素的多个传感器读数以产生像素值。可配置组合电路包含：可操作以沿硬件传感器阵列的第一维度连接相邻像素的第一多个可控制连接件，可操作以沿硬件传感器阵列的第二维度连接相邻像素的第二多个可控制连接件，其中连接相邻像素在正连接的邻接像素中的每一者处产生平均像素值。在一些实施方案中，传感器读数为传感器读数，其中传感器读数为模拟传感器读数，其中像素值为模拟像素值，且其中可配置组合电路为可配置模拟组合电路。在一些实施方案中，外围电路包含线缓冲器，所述线缓冲器包括沿所述缓冲器的至少第一维度及第二维度布置的多个存储元件，线缓冲器的第一维度小于硬件传感器阵列的第一维度，线缓冲器的第二维度等于硬件传感器阵列的第二维度。线缓冲器能够存储来自硬件传感器阵列的选定行的像素值。在一些实施方案中，控制逻辑能够通过替换线缓冲器中的最旧行的像素值来将来自硬件传感器阵列的下一行的像素值存储到线缓冲器中，借此在由存储于线缓冲器中的像素值表示的图像中沿行方向引入不连续性。在一些实施方案中，外围电路进一步包括定位于线缓冲器与硬件扫描窗口阵列之间的多路复用器电路，多路复用器电路能够交换行排序同时从线缓冲器传送像素值到硬件扫描窗口阵列，借此在由存储于线缓冲器中的像素值表示的图像中沿行方向移除不连续性。在一些实施方案中，外围电路进一步包括定位于硬件扫描窗口阵列与硬件计算机视觉特征计算块之间的多路复用器电路，多路复用器电路能够交换列排序同时将像素值从硬件扫描窗口阵列传送到硬件计算机视觉特征计算块，借此在由存储于硬件扫描窗口阵列中的像素值表示的图像中沿列方向移除不连续性。在一些实施方案中，控制逻辑能够通过替换硬件扫描窗口阵列中的最旧列的像素值来将来自线缓冲器的下一列的像素值存储到硬件扫描窗口阵列中，借此在由存储于硬件扫描窗口阵列中的像素值表示的图像中沿列方向引入不连续性。在一些实施方案中，外围电路进一步包括硬件计算机视觉特征计算块，所述硬件计算机视觉特征计算块可操作以在硬件中基于存储于硬件扫描窗口阵列中的值执行计算机视觉计算。在一些实施中方案，设备进一步包含耦合到硬件扫描窗口的多个存储元件的可配置组合电路，其中可配置组合电路能够执行根据第一组合模式在硬件中组合某一多重像素值以产生组合像素值的第一集合，同时维持多重像素值以用于根据第二组合模式后续组合另一多重像素值以产生组合像素值的第二集合，且其中组合像素值的第一集合及组合像素值的第二集合由硬件计算机视觉特征计算块使用以计算多块局部二进制模式计算机视觉特征。在一些实施方案中，外围电路进一步包括积分块，所述积分块能够基于来自硬件传感器阵列的传感器读数计算积分图像且将经计算积分图像存储于扫描窗口阵列中，且其中从存储于扫描窗口阵列中的积分图像产生的组合像素值由硬件计算机视觉特征计算块使用以计算多块局部二进制模式计算机视觉特征。在一些实施方案中，可配置组合电路包括可操作以沿硬件扫描窗口阵列的第一维度连接相邻电路元件的第一多个可控制连接件，以及可操作以沿硬件扫描窗口阵列的第二维度连接相邻像素的第二多个可控制连接件，其中连接相邻像素在正连接的相邻像素中的每一者处产生平均像素值。在一些实施方案中，第一组合模式及第二组合模式中的不同者允许选择在硬件扫描窗口阵列内的不同位置及维度处的多个存储元件。在一些实施方案中，硬件计算机视觉特征计算块包括可操作以执行角点检测的电路。在一些实施方案中，第二硬件扫描窗口阵列耦合到控制逻辑，控制逻辑可操作以提供控制信号以基于在由存储于硬件扫描窗口阵列中的像素值表示的图像中的由所述硬件计算机视觉特征计算块进行的角点检测控制像素值从硬件扫描窗口阵列到第二硬件扫描窗口阵列的传送，外围电路进一步包括定位于硬件扫描窗口阵列与第二硬件扫描窗口阵列之间的多路复用器电路，多路复用器电路能够交换列排序同时将像素值从硬件扫描窗口阵列传送到第二硬件扫描窗口阵列，借此在图像中沿列方向移除不连续性。在一些实施方案中，第二硬件计算机视觉特征计算块可操作以在硬件中基于存储于第二硬件扫描窗口阵列中的值执行计算机视觉计算。在一些实施方案中，多个像素中的至少一个像素包括传感器元件及像素中电路。在一些实施方案中，各自基于来自硬件传感器阵列的一或多个传感器读数的像素值包括各自基于一或多个原始传感器读数的原始像素值。在一些实施方案中，无图像信号处理电路安置于硬件传感器阵列与硬件扫描窗口阵列之间。在一些实施方案中，一种用于隔离硬件中的像素值的方法包含经由硬件传感器阵列内的多个像素基于环境状况产生传感器读数，其中沿硬件传感器阵列的至少第一维度及第二维度布置多个像素。所述方法还包含在硬件扫描窗口阵列内的多个存储元件内基于来自硬件传感器阵列的一或多个传感器读数存储像素值，其中沿硬件扫描窗口阵列的至少第一维度及第二维度布置多个存储元件。所述方法进一步包含经由用于系统地传送像素值的外围电路使不同窗口的像素值在不同时间基于来自硬件传感器阵列的传感器读数存储于硬件扫描窗口阵列中。所述方法另外包含经由耦合到硬件传感器阵列、硬件扫描窗口阵列以及外围电路的控制逻辑将信号提供本文档来自技高网...

【技术保护点】
一种用于隔离硬件中的像素值的设备，其包括：硬件传感器阵列，其包括沿所述硬件传感器阵列的至少第一维度及第二维度布置的多个像素，所述像素中的每一者能够基于环境状况产生传感器读数；硬件扫描窗口阵列，其包括沿所述硬件扫描窗口阵列的至少第一维度及第二维度布置的多个存储元件，所述存储元件中的每一者能够存储基于来自所述硬件传感器阵列的一或多个传感器读数的像素值；外围电路，其用于将基于来自所述硬件传感器阵列的传感器读数的像素值系统地传送到所述硬件扫描窗口阵列中，以使得不同窗口的像素值在不同时间被存储于所述硬件扫描窗口阵列中；及控制逻辑，其耦合到所述硬件传感器阵列、所述硬件扫描窗口阵列及所述外围电路，所述控制逻辑可操作以将控制信号提供到所述外围电路以控制像素值到所述硬件扫描窗口阵列中的所述传送。

【技术特征摘要】
【国外来华专利技术】2014.09.30 US 62/058,009;2014.09.30 US 62/058,010;1.一种用于隔离硬件中的像素值的设备，其包括：硬件传感器阵列，其包括沿所述硬件传感器阵列的至少第一维度及第二维度布置的多个像素，所述像素中的每一者能够基于环境状况产生传感器读数；硬件扫描窗口阵列，其包括沿所述硬件扫描窗口阵列的至少第一维度及第二维度布置的多个存储元件，所述存储元件中的每一者能够存储基于来自所述硬件传感器阵列的一或多个传感器读数的像素值；外围电路，其用于将基于来自所述硬件传感器阵列的传感器读数的像素值系统地传送到所述硬件扫描窗口阵列中，以使得不同窗口的像素值在不同时间被存储于所述硬件扫描窗口阵列中；及控制逻辑，其耦合到所述硬件传感器阵列、所述硬件扫描窗口阵列及所述外围电路，所述控制逻辑可操作以将控制信号提供到所述外围电路以控制像素值到所述硬件扫描窗口阵列中的所述传送。2.根据权利要求1所述的设备，其中所述硬件传感器阵列进一步包括：可配置组合电路，其耦合到所述多个像素，所述可配置组合电路可操作以根据至少一个组合模式在硬件中组合来自所述多个像素的多个传感器读数以产生所述像素值，其中所述可配置组合电路包括：第一多个可控制连接件，其可操作以沿所述硬件传感器阵列的所述第一维度连接相邻像素；及第二多个可控制连接件，其可操作以沿所述硬件传感器阵列的所述第二维度连接相邻像素，其中连接相邻像素在正连接的所述相邻像素中的每一者处产生平均像素值。3.根据权利要求2所述的设备，其中所述传感器读数为模拟传感器读数，其中所述像素值为模拟像素值，且其中所述可配置组合电路为可配置模拟组合电路。4.根据权利要求1所述的设备，其中所述外围电路包括：线缓冲器，其包括沿所述线缓冲器的至少第一维度及第二维度布置的多个存储元件，所述线缓冲器的所述第一维度小于所述硬件传感器阵列的所述第一维度，所述线缓冲器的所述第二维度等于所述硬件传感器阵列的所述第二维度，其中所述线缓冲器能够存储来自所述硬件传感器阵列的选定行的像素值。5.根据权利要求4所述的设备，其中所述控制逻辑能够通过替换所述线缓冲器中的最旧行的像素值来将来自所述硬件传感器阵列的下一行的像素值存储到所述线缓冲器中，借此在由存储于所述线缓冲器中的所述像素值代表的图像中沿行方向引入不连续性。6.根据权利要求5所述的设备，其中所述外围电路进一步包括定位于所述线缓冲器与所述硬件扫描窗口阵列之间的多路复用器电路，所述多路复用器电路能够交换行排序同时将像素值从所述线缓冲器传送到所述硬件扫描窗口阵列，借此在由存储于所述线缓冲器中的所述像素值代表的图像中沿行方向移除所述不连续性。7.根据权利要求5所述的设备，其中所述外围电路进一步包括定位于所述硬件扫描窗口阵列与硬件计算机视觉特征计算块之间的多路复用器电路，所述多路复用器电路能够交换列排序同时将像素值从所述硬件扫描窗口阵列传送到所述硬件计算机视觉特征计算块，借此在由存储于所述硬件扫描窗口阵列中的所述像素值代表的图像中沿列方向移除所述不连续性。8.根据权利要求4所述的设备，其中所述控制逻辑能够通过替换所述硬件扫描窗口阵列中的最旧列的像素值来将来自所述线缓冲器的下一列的像素值存储到所述硬件扫描窗口阵列中，借此在由存储于所述硬件扫描窗口阵列中的所述像素值代表的图像中沿列方向引入不连续性。9.根据权利要求4所述的设备，其中所述外围电路进一步包括硬件计算机视觉特征计算块，所述硬件计算机视觉特征计算块可操作以在硬件中基于存储于所述硬件扫描窗口阵列中的值执行计算机视觉计算。10.根据权利要求9所述的设备，其进一步包括耦合到所述硬件扫描窗口的所述多个存储元件的可配置组合电路，其中所述可配置组合电路能够执行根据第一组合模式在硬件中组合某一多重像素值以产生组合像素值的第一集合，同时维持所述多重像素值以用于根据第二组合模式后续组合另一多重像素值以产生组合像素值的第二集合，且其中组合像素值的所述第一集合及组合像素值的所述第二集合由所述硬件计算机视觉特征计算块使用以计算多块局部二进制模式计算机视觉特征。11.根据权利要求9所述的设备，其中所述外围电路进一步包括积分块，所述积分块能够基于来自所述硬件传感器阵列的所述传感器读数计算积分图像且将所述经计算积分图像存储于所述扫描窗口阵列中，且其中从存储于所述扫描窗口阵列中的所述积分图像产生的组合像素值由所述硬件计算机视觉特征计算块使用以计算多块局部二进制模式计算机视觉特征。12.根据权利要求9所述的设备，其中所述可配置组合电路包括：第一多个可控制连接件，其可操作以沿所述硬件扫描窗口阵列的所述第一维度连接相邻电路元件；及第二多个可控制连接件，其可操作以沿所述硬件扫描窗口阵列的所述第二维度连接相邻像素，其中连接相邻像素在正连接的所述相邻像素中的每一者处产生平均像素值。13.根据权利要求9所述的设备，其中所述第一组合模式及所述第二组合模式中的所述不同者允许选择在所述硬件扫描窗口阵列内的不同位置及维度处的所述多个存储元件。14.根据权利要求9所述的设备，其中所述硬件计算机视觉特征计算块包括可操作以执行角点检测的电路。15.根据权利要求14所述的设备，其进一步包括耦合到所述控制逻辑的第二硬件扫描窗口阵列，所述控制逻辑可操作以提供控制信号以基于在由存储于所述硬件扫描窗口阵列中的所述像素值代表的图像中的由所述硬件计算机视觉特征计算块进行的角点的检测控制像素值从所述硬件扫描窗口阵列到所述第二硬件扫描窗口阵列的所述传送，所述外围电路进一步包括定位于所述硬件扫描窗口阵列与所述第二硬件扫描窗口阵列之间的多路复用器电路，所述多路复用器电路能够交换列排序同时将所述像素值从所述硬件扫描窗口阵列传送到所述第二硬件扫描窗口阵列，借此在所述图像中沿列方向移除不连续性。16.根据权利要求15所述的设备，其进一步包括第二硬件计算机视觉特征计算块，其可操作以在硬件中基于存储于所述第二硬件扫描窗口阵列中的值执行计算机视觉计算。17.根据权利要求1所述的设备，其中所述多个像素中的至少一个像素包括传感器元件及像素中电路。18.根据权利要求1所述的设备，其中各自基于来自所述硬件传感器阵列的所述一或多个传感器读数的所述像素值包括各自基于所述一或多个原始传感器读数的原始像素值。19.根据权利要求1所述的设备，其中无图像信号处理电路安置于所述硬件传感器阵列与所述硬件扫描窗口阵列之间。20.一种用于隔离硬件中的像素值的方法，其包括：经由硬件传感器阵列内的多个像素基于环境状况产生传感器读数，其中沿所述硬件传感器阵列的至少第一维度及第二维度布置所述多个像素；在硬件扫描窗口阵列内的多个存储元件内存储基于来自所述硬件传感器阵列的一或多个传感器读数的像素值，其中沿所述硬件扫描窗口阵列的至少第一维度及第二维度布置所述多个存储元件；经由用于系统地传送像素值的外围电路使不同窗口的像素值在不同时间基于来自所述硬件传感器阵列的传感器读数存储于所述硬件扫描窗口阵列中；及经由耦合到所述硬件传感器阵列、所述硬件扫描窗口阵列及所述外围电路的控制逻辑将信号提供到所述外围电路以控制像素值到所述硬件扫描窗口阵列的所述传送。21.根据权利要求20所述的方法，其进一步包括根据至少一个组合模式经由耦合到所述多个像素的可配置组合电路在硬件中组合来自所述多个像素的多个传感器读数以产生所述像素值，其中所述可配置组合电路包括：第一多个可控制连接件，其可操作以沿所述硬件传感器阵列的所述第一维度连接相邻像素；及第二多个可控制连接件，其可操作以沿所述硬件传感器阵列的所述第二维度连接相邻像素，其中连接相邻像素在正连接的所述相邻像素中的每一者处产生平均像素值。22.根据权利要求21所述的方法，其中所述传感器读数为模拟传感器读数，其中所述像素值为模拟像素值，且其中所述可配置组合电路为可配置模拟组合电路。23.根据权利要求20所述的方法，其中经由用于系统地传送像素值的所述外围电路使所述像素值的所述不同窗口存储于所述硬件扫描窗口阵列中包括将来自所述硬件传感器阵列的选定行的像素值存储于线缓冲器中，所述线缓冲器包括沿所述线缓冲器的至少第一维度及第二维度布置的多个存储元件，所述线缓冲器的所述第一维度小于所述硬件传感器阵列的所述第一维度，所述线缓冲器的所述第二维度等于所述硬件传感器阵列的所述第二维度，其中所述线缓冲器能够存储来自所述硬件传感器阵列的选定行的像素值。24.根据权利要求23所述的方法，其进一步包括经由所述控制逻辑通过替换所述线缓冲器中的最旧行的像素值来将来自所述硬件传感器阵列的下一行的像素值存储到所述线缓冲器中，借此在由存储于所述线缓冲器中的所述像素值代表的图像中沿行方向引入不连续性。25.根据权利要求24所述的方法，其进一步包括经由定位于所述线缓冲器与所述硬件扫描窗口阵列之间的多路复用器电路交换行排序同时将像素值从所述线缓冲器传送到所述硬件扫描窗口阵列，借此在由存储于所述线缓冲器中的所述像素值代表的图像中沿行方向移除所述不连续性。26.根据权利要求24所述的方法，其进一步包括经由定位于所述硬件扫描窗口阵列与计算机视觉特征计算块之间的多路复用器电路交换列排序，同时将像素值从所述硬件扫描窗口阵列传送到所述计算机视觉特征计算块，借此在由存储于所述硬件扫描窗口阵列中的所述像素值代表的图像中沿列方向移除所述不连续性。27.根据权利要求23所述的方法，其进一步包括经由所述控制逻辑通过替换所述硬件扫描窗口阵列中的最旧列的像素值来将来自所述线缓冲器的下一列的像素值存储到所述硬件扫描窗口阵列中，借此在由存储于所述硬件扫描窗口阵列中的所述像素值代表的图像中沿列方向引入不连续性。28.根据权利要求23所述的方法，其进一步包括经由计算机视觉计算电路基于存储于所述硬件扫描窗口阵列中的像素值执行角点检测。29.根据权利要求28所述的方法，其中基于在由存储于所述硬件扫描窗口阵列中的像素值代表的图像中由所述硬件计算机视觉计算电路进行的角点的所述检测，使像素值经由用于系统地传送像素值的所述外围电路从所述硬件扫描窗口阵列传送到第二硬件扫描窗口阵列，所述外围电路进一步包括定位于所述硬件扫描窗口阵列与所述第二硬件扫描窗口阵列之间的多路复用器电路，所述多路复用器电路能够交换列排序同时将所述像素值从所述硬件扫描窗口阵列传送到所述第二硬件扫描窗口阵列，借此在所述图像中沿列方向移除不连续性。30.根据权利要求29所述的方法，其进一步包括经由第二硬件计算机视觉计算电路基于存储于所述第二硬件扫描窗口阵列中的值执行计算机视觉计算。31.根据权利要求20所述的方法，其进一步包括执行根据第一组合模式经由耦合到所述多个存储元件的可配置组合电路组合某一多重像素值以产生组合像素值的第一集合，同时维持所述多重像素值以用于根据第二组合模式后续组合另一多重像素值以产生组合像素值的第二集合。32.根据权利要求31所述的方法，其进一步包括经由耦合到所述可配置组合电路的计算机视觉计算电路执行计算机视觉计算。33.根据权利要求32所述的方法，其中经由耦合到所述可配置组合电路的所述计算机视觉计算电路执行计算机视觉计算包括基于组合像素值的所述第一集合执行第一计算机视觉计算及基于组合像素值的所述第二集合执行第二计算机视觉计算。34.根据权利要求33所述的方法，其中所述计算机视觉计算电路能够将所述第一计算机视觉计算及所述第二计算机视觉计算作为多块局部二进制LBP运算的一部分来执行。35.根据权利要求31所述的方法，其中存储于所述硬件扫描窗口阵列中的所述像素值代表具有高分辨率的图像，且所述第一组合模式代表邻近像素值的平均以产生具有低于所述高分辨率的第一较低分辨率的图像。36.根据权利要求35所述的方法，其中所述第二组合模式代表邻近像素值的平均以产生具有低于所述第一较低分辨率的第二较低分辨率的图像。37.根据权利要求20所述的方法，其中所述多个像素中的至少一个像素包括传感器元件及像素中电路。38.根据权利要求20所述的方法，其中各自基于来自所述硬件传感器阵列的所述一或多个传感器读数的所述像素值包括各自基于所述一或多个原始传感器读数的原始像素值。39.根据权利要求20所述的方法，其中不在所述硬件传感器阵列内产生所述传感器读数与将所述像素值存储于所述硬件扫描窗口阵列内之间执行图像信号处理电路。40.一种用于隔离硬件中的像素值的设备，其包括...

【专利技术属性】
技术研发人员：阿洛克·戈维尔，文卡特·兰加，纳尔逊·拉斯奎因哈，徐海钟，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US