用于面部识别的自适应卷帘快门图像传感器和IR发射器控制制造技术

一种处理装置，包括：存储器，所述存储器被配置为存储数据；以及处理器。所述处理器被配置为通过在第一操作模式与第二操作模式之间切换来控制卷帘快门图像传感器的曝光定时和IR光发射器对对象的IR照射定时。在所述第一操作模式下，各自具有多个像素行的视频帧的序列包括：其中每个像素行都曝光于由所述IR光发射器发射的IR光的帧；部分地曝光于所述IR光的帧；以及其中像素行都不曝光于所述IR光的帧。在所述第二操作模式下，所述序列的交替的视频帧包括以下一个：其中每个像素行都曝光于所述IR光的帧，以及其中像素行都不曝光于所述IR光的帧。

【技术实现步骤摘要】
用于面部识别的自适应卷帘快门图像传感器和IR发射器控制
技术介绍
自动化面部识别因其广泛范围的适用性(包括商业和执法应用)而已经成为越来越流行的计算机视觉
面部识别系统在移动装置和台式计算机两者中提供增强的认证安全特征。例如，面部识别用于通过识别获取的图像(例如，经由装置的相机获取的图像)中的用户的特征(例如，面部特征)并将获取的图像中的识别特征与先前识别的人的存储的特征进行比较来认证装置的用户。附图说明可以从结合附图以举例的方式给出的以下描述中获得更详细的理解，在附图中：图1是可以实现本公开的一个或多个特征的示例装置的框图；图2是示出可以实现本公开的一个或多个特征的处理装置的示例部件的框图；图3是示出根据本公开的特征的面部识别的示例方法的流程图；图4是根据本公开的特征的使用第一操作模式和第二操作模式来获取视频帧的定时的图示；图5A示出了使用第一操作模式的图4中的亮帧的曝光定时和IR照射定时；图5B示出了使用第二操作模式的图4中的亮帧的曝光定时和IR照射定时；图6A是根据本发公开的特征的基于第一IR强度比的信噪比(SNR)对目标平均光强度(TALI)设定的影响的图形图示；图6B是根据本公开的特征的基于第二IR强度比的SNR对TALI设定的影响的图形图示；图7A是示出根据基于图6A中的第一IR强度比的TALI和SNR值而在第一操作模式与第二操作模式之间切换模式的点的示例的表；以及图7B是示出基于图6B中的第二IR强度比而在第一操作模式与第二操作模式之间切换模式的点的示例的表。具体实施方式成功的面部识别系统依赖于对在图像中获取的真人(例如，装置的用户)的准确识别。使用真人面部的替代物(例如，照片或视频)的图像欺骗可能不利地影响识别的准确性。一些面部识别系统使用红外(IR)辐射作为反欺骗措施。IR辐射用来识别外部生物识别和内部特征(例如，肌肉)两者。另外，被IR光辐射的特征不在照片中显示。一些面部识别系统包括图像传感器，该图像传感器使用卷帘快门技术和全局快门技术中的一种来获取视频帧或图像。当使用全局快门时，整个帧的像素在同一个曝光时间段期间一起曝光。在曝光每一个像素之后，在读出时间段期间读出像素(例如，将传感器单元中的像素的模拟值发送到模数转换器(ADC)并转换成数字值)。下一帧的像素直到前一帧的每一个像素的数据被读出之后(即，在完成读出时间段之后)再曝光。由于像素中的每一个在相同的曝光时间段期间一起曝光，因此使用缓冲器来存储曝光的像素的读出值，这会增加功耗。相比之下，当使用卷帘快门时，单独地曝光并读出帧的每个行(例如，水平像素行或竖直像素列)。在读出一行像素之后，读出下一行像素(即，图像传感器早一些时间进入下一行的曝光)。由于单独地曝光帧的每一行，因此卷帘快门可以引起视频中的快速移动对象的空间变形。然而，当对象以相对慢的速率移动并且按帧速率在时间上过采样时，不太可能发生变形。尽管每一行的曝光时间段是相同的，但每个曝光行的开始时间被延迟一定的延迟时间段(即，消隐时间段)，该延迟时间段被控制而使得每个读出时间段的开始之间的时间差至少足够读出电路读出每一行。消隐时间段还包括用于传感器像素的闲置和重置的时间。当使用卷帘快门时，帧的部分可以被IR光不均匀地照射。例如，帧的部分变得部分被照射。难以从部分照射的帧中的特征中准确地识别人。本公开提供了经由卷帘快门利用降低功耗的优点(与全局快门相比)而同时表面不均匀照射的面部识别处理装置和方法。例如，经由第一模式和第二模式来处理帧，在第一模式中，部分照射的帧被丢弃而使得用于认证的帧是均匀照射的，在第二模式中，IR光的定时(例如，LED-接通和LED-关断)被控制而使得每个帧被均匀地照射。本公开提供了用于自适应地控制卷帘快门图像传感器的IR定时和曝光定时以增强为面部识别获取的图像的SNR图像质量的处理装置和方法。该装置和方法根据自动曝光(AE)目标设定(例如每帧TALI像素范围)和LEDIR亮度像素强度(IRLI)与环境IR亮度像素强度(ELI)的IR强度比而在操作模式之间切换。可见亮度像素强度表示由像素(例如，RGB像素)捕获的可见光能量。该装置和方法降低功耗(例如，IRLED功耗)，同时维持或增强图像质量。一种处理装置包括：存储器，该存储器被配置为存储数据；以及处理器。该处理器被配置为通过在第一操作模式与第二操作模式之间切换来控制卷帘快门图像传感器的曝光定时和IR光发射器对对象的IR照射定时。在第一操作模式下，各自具有多个像素行的视频帧的序列包括：其中每个像素行都曝光于由IR光发射器发射的IR光的帧；部分地曝光于IR光的帧；以及其中像素行都不曝光于IR光的帧。在第二操作模式下，序列的交替的视频帧包括以下一个：其中每个像素行都曝光于IR光的帧，以及其中像素行都不曝光于IR光的帧。一种方法包括获取包括对象的视频帧的序列。该方法还包括通过在第一操作模式与第二操作模式之间切换来控制视频帧的卷帘快门曝光的定时和对象的红外(IR)照射的定时。在第一操作模式下，各自具有多个像素行的视频帧的序列包括：其中每个像素行都曝光于IR光的帧；部分地曝光于IR光的帧；以及像素行都不曝光于IR光的帧。在第二操作模式下，序列的交替的视频帧包括以下一个：其中每个像素行都曝光于IR光的帧，以及其中像素行都不曝光于IR光的帧。一种处理装置包括：存储器，该存储器被配置为存储数据；以及处理器。该处理器被配置为通过在第一操作模式与第二操作模式之间切换来控制卷帘快门图像传感器的曝光定时和红外(IR)光发射器对对象的红外(IR)照射定时。在第一操作模式下，处理各自具有多个像素行的视频帧的序列，其中期间IR光发射器发射IR光的第一时段大于期间帧的每个像素行都曝光于由IR光发射器发射的IR光的第二时间段。第二时间段等于有效时间段，在有效时间段期间，在第二时间段内而不是在第二时间段外发射的IR光被帧中的像素行捕获。在第二操作模式下，第二时间段小于第一时间段，并且有效时间段等于第一时间段。图1是可以实现本公开的一个或多个特征的示例装置100的框图。装置100可以包括例如计算机、游戏装置、手持装置、机顶盒、电视、移动电话或平板计算机。装置100包括处理器102、存储器104、存储设备106、一个或多个输入装置108，以及一个或多个输出装置110。装置100还可以任选地包括输入驱动器112和输出驱动器114。应理解，装置100可以包括图1中未示出的附加部件。在各种替代方案中，处理器102包括一个或多个处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、或另一种类型的计算加速器、位于同一管芯上的CPU和GPU，或一个或多个处理器核心，其中每个处理器核心可以是CPU或GPU或者另一种类型的加速器。多个处理器可以例如包括在单个板或多个板上。在各种替代方案中，存储器104与处理器102位于同一管芯或同一封装上，或者与处理器102分开定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器(本文档来自技高网...

【技术保护点】
1.一种处理装置，所述处理装置包括：/n存储器，所述存储器被配置为存储数据；以及/n处理器，所述处理器被配置为通过在以下之间切换来控制卷帘快门图像传感器的曝光定时和红外(IR)光发射器对对象的红外(IR)照射定时：/n第一操作模式，其中各自具有多个像素行的视频帧的序列包括：/n其中每个像素行都曝光于IR光的帧；/n部分地曝光于所述IR光的帧；以及/n其中像素行都不曝光于所述IR光的帧；以及/n第二操作模式，其中所述序列的交替的视频帧包括以下一个：/n其中每个像素行都曝光于所述IR光的帧；以及/n其中像素行都不曝光于所述IR光的帧。/n

【技术特征摘要】
1.一种处理装置，所述处理装置包括：
存储器，所述存储器被配置为存储数据；以及
处理器，所述处理器被配置为通过在以下之间切换来控制卷帘快门图像传感器的曝光定时和红外(IR)光发射器对对象的红外(IR)照射定时：
第一操作模式，其中各自具有多个像素行的视频帧的序列包括：
其中每个像素行都曝光于IR光的帧；
部分地曝光于所述IR光的帧；以及
其中像素行都不曝光于所述IR光的帧；以及
第二操作模式，其中所述序列的交替的视频帧包括以下一个：
其中每个像素行都曝光于所述IR光的帧；以及
其中像素行都不曝光于所述IR光的帧。


2.根据权利要求1所述的处理装置，其中所述处理器被配置为基于以下至少一个而在所述第一操作模式与所述第二操作模式之间切换：
所述帧中的一个或多个的像素的平均IR亮度强度与所述像素的环境IR亮度强度的比率；以及
所述像素的每帧目标平均亮度强度(TALI)。


3.根据权利要求2所述的处理装置，其中所述处理器被配置为当所述每帧TALI大于第一TALI阈值且小于或等于第二TALI阈值时，使用所述第一操作模式。


4.根据权利要求2所述的处理装置，其中所述第一TALI阈值和所述第二TALI阈值是根据LEDIR亮度像素强度和环境IR亮度像素强度确定的。


5.根据权利要求2所述的处理装置，其中所述处理器被配置为：
基于所述帧中的一个或多个的所述平均IR亮度像素强度与所述一个或多个帧的所述环境IR亮度像素强度的所述比率而确定信噪比(SNR)；以及
当所述SNR大于或等于第一SNR阈值且小于或等于第二SNR阈值时，使用所述第一操作模式。


6.根据权利要求3所述的处理装置，其中所述处理器被配置为通过针对像素的平均IR亮度强度与所述像素的所述环境IR亮度强度的所述比率使用存储的SNR值和TALI值来在所述第一操作模式与所述第二操作模式之间切换。


7.根据权利要求1所述的处理装置，其中所述处理器还被配置为：
识别所述视频帧的序列中的所述对象的特征；以及
基于所述对象的所述识别的特征与存储的特征的比较而认证所述对象。


8.根据权利要求1所述的处理装置，其中所述处理器还被配置为控制所述第二操作模式的帧速率，使得使用所述第二操作模式的包括其中每个像素行都曝光于所述IR光的所述帧和其中像素行都不曝光于所述IR光的所述帧的有效帧对的第一速率与使用所述第二操作模式的包括其中每个像素行都曝光于所述IR光的所述帧和其中像素行都不曝光于所述IR光的所述帧的有效帧对的第二速率相同。


9.一种方法，所述方法包括：
获取包括对象的视频帧的序列；以及
通过在以下之间切换来控制所述视频帧的卷帘快门曝光的定时和所述对象的红外(IR)照射的定时：
第一操作模式，其中各自具有多个像素行的所述视频帧的序列包括：
其中每个像素行都曝光于所述IR光的帧；
部分地曝光于IR光的帧；以及
其中像素行都不曝光于所述IR光的帧；以及
第二操作模式，其中所述序列的交替的视频帧包括以下一个：
其中每个像素行都曝光于所述IR光的帧；以及
其中像素行都不曝光于所述IR光的帧。


10.根据权利要求9所述的方法，所述方法包括：
确定所述帧中的一个或多个的像素的平均IR亮度强度与所述像素的环境IR亮度强度的比率；...

【专利技术属性】
技术研发人员：李志伟，蔡彰哲，王博民，王扬，
申请(专利权)人：超威半导体上海有限公司，
类型：发明
国别省市：上海;31