一种数字照相机制造技术

提供一种数字相机，包括：图像传感器；电连接到图像传感器的第一处理器，被配置以接收由图像传感器采集的图像流中景物的较低分辨率图像，该景物可能包括一张或者多张人脸，以及对图像应用至少一个高质量人脸分类器以识别较大尺寸人脸区域和中等尺寸人脸区域并对图像应用至少一个张弛人脸分类器以识别较小尺寸人脸区域；电连接到第一处理器的独立的第二处理器，被配置以接收来自图像传感器的表面上为同一景物的较高分辨率图像以及对较高分辨率版本的图像上的被识别的小尺寸人脸区域，应用至少一个高质量人脸分类器以便产生精细图像；以及电连接到第二处理器的显示器，被配置来显示精细图像。根据本实用新型专利技术，可以改善图像质量和处理。（*该技术在2017年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术提供了一种在采集器件内进行图像处理的改进型方法和设备。特别是，本专利技术在诸如照相电话的数字图像采集器件内实现改进的人脸跟踪。
技术介绍
图1示出数字图像采集设备，例如，照相电话。设备10包括数字信号处理器，ISP 14，通常，它是处理能力相对有限的通用CPU。通常，ISP 14是具有传感器接口 20的专用芯片或者芯片组，该传感器接口 20具有的专用硬件单元有助于进行包括图像管道22的图像处理。图像传感器16采集的图像通过传感器接口 20送到ISP 14。该设备进一步包括功能较强的主处理器12，例如，ARM9，布置该主处理器12，以从 ISP 14接收图像流。设备10装备了诸如IXD的显示器18，用于显示预览图像以及该设备采集的任一主图像。一旦该设备被接通，或者仅在预捕像模式下作为对半按下快门按钮的响应，预览图像就自动产生。主图像通常是通过全按下快门按钮产生的。传统上，诸如人脸跟踪的高级图像处理在主处理器12上运行，它向ISP 14的管道 22提供反馈。然后，根据主处理器12通常通过I2C接口 M提供的反馈，ISP 14润色、调整和处理该图像流中的(各)后续图像。因此，调整该流中后续图像的采集参数，以增强对用户显示的图像。这些采集参数包括聚焦、曝光和白平衡。聚焦确定图像或者图像相关部分的清晰度或者明晰度，并且它取决于镜头的焦距和图像传感器16的捕像区域。在本
内，确定图像是否焦点对准的方法是众所周知的。例如，如果在图像上检测到人脸区域，则假定大多数人脸的大小是近似相同的井且是采集图像中人脸的大小，可以对后续图像选择近似焦距，以确保该人脸在该图像中是焦点对准的。其它方法可以基于图像或者图像一部分的总体锐利度，例如，由该图像中的高频 CDT系数值所指示的。当在该图像或者受关注区域上，即人脸区域上，这些值最高时，认为该图像焦点对准了。因此，通过调整镜头的焦距，实现最高锐利度，可以增强图像聚焦。图像曝光涉及采集图像期间照射到图像传感器16的光量。因此，曝光不足的图像看来相当暗，并且具有总体低亮度级，而过曝光图像看来相当亮，并且具有总体高亮度级。 快门速度和镜头光圈影响图像的曝光，因此可以调整它们，以改善图像质量和图像处理。例如，众所周知，人脸检测和识别对图像的过曝光和曝光不足是敏感的，因此，可以调整曝光， 以优化图像流中的人脸检测。因为大多数光源不是100%的纯白光，所以光源照亮的对象发生偏色。例如，照亮白色对象的卤素光源使该对象看上去发黄。为了使数字图像采集设备对这种偏色进行补偿，即，执行白平衡，它需要白色基准点(white reference point)。因此，通过识别图像上应当是白色的点，例如，眼睛巩膜，可以相应补偿该图像上的所有其它色彩。然后，可以利用该补偿信息确定应当以其采集图像的光照类型。尽管调整诸如上述采集参数的采集参数是有用的，并且可以改善图像质量和处理，但是到ISP 14的反馈回路较慢，以致为了校正图像的聚焦、曝光和白平衡，而导致延迟将相关信息送到ISP14。这可能意味着，在景物快速变化期间，当由ISP 14对该流的后续图像进行调整时，主处理器12提供的调整指示可能不恰当。此外，可用于主处理器12的通常大多数处理能力被要求来运行人脸跟踪应用程序，保留最少的处理能力用于执行增值处理 (value added processing)0
技术实现思路
本专利技术的目的是提供一种改进的数字相机，以至少部分减轻现有技术中的调整指示不恰当的问题，进而改善图像质量和处理。本专利技术的第一方面，提供了一种没有照相胶片的数字相机。该数字照相机包括图像传感器；电连接到图像传感器的第一处理器，所述第一处理器被配置，以接收由图像传感器采集的图像流中景物的较低分辨率图像，所述景物可能包括一张或者多张人脸；并且被进一步配置，以对所述图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；电连接到第一处理器的独立的第二处理器，所述第二处理器被配置，以接收来自图像传感器的表面上为同一景物的较高分辨率图像；并且被进一步配置，以对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域，应用至少一个高质量人脸分类器以便产生精细图像；以及电连接到第二处理器的显示器，所述显示器被配置来显示所述精细图像。根据本专利技术的第二方面，提供了一种数字相机，包括第一处理器，电连接到图像传感器；以及独立的第二处理器，电连接到所述第一处理器，所述第一处理器被配置来将采集图像送到所述第二处理器，并且布置所述第二处理器，以存储所述图像，布置所述第一处理器，以对图像流中景物的较低分辨率图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域，所述景物可能包括一张或者多张人脸；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；以及布置所述第二处理器，以接收表面上为同一景物的较高分辨率图像，以及对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域应用至少一个高质量人脸分类器。通过本专利技术的实施方式，可以减轻现有技术中的调整指示不恰当的缺陷，改善图像质量和处理。附图说明现在，作为例子，将参考附图描述本专利技术实施例，附图中图1是可以实现本专利技术的优选实施例的数字图像采集设备的方框图；以及图2是示出本专利技术的优选实施例的流程图。具体实施方式数字图像采集器件的人脸跟踪包括在诸如视频流或者照相机预览的一系列图像中标记人脸的方法。可以利用人脸跟踪对摄影师指示人脸在图像中的位置，或者允许根据5人脸的位置知识后处理该图像。此外，在根据人脸信息，自适应调整图像的诸如聚焦、曝光和白平衡的采集参数时，可以使用人脸跟踪应用程序，以产生改进质量的采集图像。总之，人脸跟踪系统采用两种基本模块(i)检测模块，用于在采集的图像或者一系列图像中定位新候选人脸区域；以及(ii)跟踪模块，用于确认人脸区域。US2002/0102024公开了一种快速人脸检测的众所周知的方法，下面称为 Viola-Jones0在Viola-Jones中，通过对该积分图像中的子窗口应用分类器，可以对从采集图像获得的积分图像应用基于矩形(并逐渐精细的)Haar特征的一连串(级联)的32 个分类器。为了全面分析采集图像，在该积分图像上递增位移该子窗口，直到整幅图像被覆至ΓΤΠ ο除了在整幅积分图像上移动该子窗口，还可以放大/缩小该子窗口，以覆盖人脸尺寸的可能范围。因此，可以看出，利用最小尺寸的分类器子窗口，即，待检测的最小尺寸的人脸，确定该积分图像的分辨率，因为较大尺寸的子窗口可以利用该积分图像上的中间点进行其计算。在诸如第PCT/EP2007/005330(FN143)号国际专利申请公开的文献中，描述了原始Viola-Jones算法的许多变型。在本实施例中，人脸跟踪处理运行在ISP 14上，而没有运行在主处理器12上。因此，该主处理器更多的处理能力可以用于诸如人脸识别的进一步增值应用。此外，ISP 14可以更有效地自适应调整采集图像的诸如聚焦、曝光和白平衡的参数。我们明白，与对较低分辨率图像相比，对高分辨率图像执行人脸跟踪应用程序通常会获得更精确结果。此外，与对较大人脸相比，跟踪图像中本文档来自技高网...

【技术保护点】
１．一种没有照相胶片的数字相机，包括：图像传感器；电连接到图像传感器的第一处理器，所述第一处理器被配置，以接收由图像传感器采集的图像流中景物的较低分辨率图像，所述景物可能包括一张或者多张人脸；并且被进一步配置，以对所述图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；电连接到第一处理器的独立的第二处理器，所述第二处理器被配置，以接收来自图像传感器的表面上为同一景物的较高分辨率图像；并且被进一步配置，以对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域，应用至少一个高质量人脸分类器以便产生精细图像；以及电连接到第二处理器的显示器，所述显示器被配置来显示所述精细图像。

【技术特征摘要】
【国外来华专利技术】US 11/861,854 2007年9月26日1.一种没有照相胶片的数字相机，包括图像传感器；电连接到图像传感器的第一处理器，所述第一处理器被配置，以接收由图像传感器采集的图像流中景物的较低分辨率图像，所述景物可能包括一张或者多张人脸；并且被进一步配置，以对所述图像应用至少一个高质量人脸分类器，以识别较大尺寸人脸区域和中等尺寸人脸区域；以及对所述图像应用至少一个张弛人脸分类器，以识别较小尺寸人脸区域；电连接到第一处理器的独立的第二处理器，所述第二处理器被配置，以接收来自图像传感器的表面上为同一景物的较高分辨率图像；并且被进一步配置，以对所述较高分辨率版本的所述图像上的所述被识别的小尺寸人脸区域，应用至少一个高质量人脸分类器以便产生精细图像；以及电连接到第二处理器的显示器，所述显示器被配置来显示所述精细图像。2.根据权利要求1所述的数字相机，该第一处理器被进一步配置以提供包括人脸尺寸、人脸位置以及所述图像在所述人脸区域或者其附近包括人脸的概率的指示的信息。3.根据权利要求2所述的数字相机，其中所述第一处理器被进一步配置来根据所述信息产生权重。4.根据权利要求2所述的数字相机，其中所述第一处理器被进一步配置来根据所述信息调整所述图像流中后续图像的图像采集参数。5.根据权利要求4所述的数字相机，其中所述显示器进一步配置用于对用户显示所述后续图像。6.根据权利要求2所述的数字相机，其中独立的第二处理器被配置用于对所述高分辨率图像执行增值应用。7.根据权利要求1所述的数字相机，其中所述至少一个高质量人脸分类器包括较长级联的分类器或者对于接受人脸具有较高...

【专利技术属性】
技术研发人员：彼得·科科伦，
申请(专利权)人：德萨拉技术爱尔兰有限公司，
类型：实用新型
国别省市：IE