图像帧处理的时间扩展的方法、设备和计算机可读媒体技术

一种方法包含在图像处理器处确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段。所述方法还包含以第二时间段扩展用于处理所述第一帧的帧时间。所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。

Time extension of image frame processing

A method includes determining a first period of time associated with processing a first frame of an image captured by an image sensor at an image processor. The method further includes extending frame time for processing the first frame in a second time period. The second time section is based at least in part on the amount of pollution that is used to process the permitted focus values of the first frame, and the frame time comprises the first time section and the second time period.

【技术实现步骤摘要】
【国外来华专利技术】图像帧处理的时间扩展优先权主张本申请案主张2014年10月31日申请的名称为“图像帧处理的时间扩展(TIMEEXTENSIONFORIMAGEFRAMEPROCESSING)”的第62/073,499号美国临时专利申请案和2015年3月20申请的名称为“图像帧处理的时间扩展(TIMEEXTENSIONFORIMAGEFRAMEPROCESSING)”的第14/664,741号美国专利申请案的优先权，所述申请案的内容以全文引用的方式并入。
本专利技术大体上涉及图像帧处理。
技术介绍
技术的进步已产生了更小且更强大的计算装置。举例来说，多种便携式个人计算装置，包含无线电话，例如移动和智能电话、平板计算机和手提电脑体积小，重量轻，且便于用户携带。这些装置可经由无线网络传达话音和数据包。此外，许多此些装置并入有额外功能性，例如数字静态相机、数码摄像机、数字录制器和音频文件播放器。而且，此些装置可处理可执行指令，包含软件应用程序，例如可用以接入因特网的网络浏览器应用。由此，这些装置可包含大量计算能力。无线装置可包含捕获图像帧(例如，视频和/或图像剧照)的相机。由相机捕获的每一图像帧的自动聚焦准确性可受传感器曝光时间和帧时间影响。传感器曝光时间(例如，帧积分时间段)可能占据帧时间的一部分。在帧积分时间段期间，可为帧的每个像素产生像素数据。通常，更暗帧(例如，低亮帧)具有更长帧积分时间段。在帧积分时间段之后(例如，在帧时间的剩余部分期间)，调整(例如，再定位)相机的透镜以聚焦于帧的特定感兴趣区域。如果帧积分时间时间段较长，那么在帧时间中可能存在不充分的剩余时间以再定位相机的透镜。举例来说，如果帧积分时间时间段大致等于帧时间，那么在帧积分时间之后在剩余帧时间期间可能存在不充分的时间量以再定位相机的透镜。结果，可在致动器移动透镜时收集帧的聚焦值。如本文中所使用，“聚焦值”是用于被动自动聚焦中的指示帧的感兴趣区域的锐度等级的一个参数的实例。举例来说，可从统计引擎获得聚焦值，且聚焦值可用于自动聚焦算法中以确定具改善的锐度的透镜位置。为了产生可靠聚焦值，透镜不应在帧积分期间移动。因此，如果透镜在帧积分时间段期间移动，那么聚焦值可能被污染(例如，不准确或不可靠)。此外，如果在收集聚焦值时致动器移动透镜，那么聚焦值将不表示帧的“最佳”透镜位置。因此，图像锐度可能降级。
技术实现思路
揭示于扩展用于处理图像帧的时间段的系统和方法。图像传感器可确定用于处理所述第一帧的帧时间。所述帧时间可包含为所述图像帧的每个像素产生像素数据的帧积分时间段。亮帧可包含相对短帧积分时间段，且暗帧可包含相对长帧积分时间段。因为所述帧积分时间段依赖于外部因素(例如，所述帧的亮度)，所以在一些情况下，所述帧积分时间段可能占据所述帧时间的相对大部分。结果，在所述帧时间中可能存在不充分的剩余时间以再定位相机的透镜以聚焦于所述图像帧中的感兴趣区域。为了解决此问题，所述图像传感器可扩展所述帧时间以产生额外时间，在此额外时间期间致动器可移动所述相机的所述透镜。因此，所述所添加时间可为所述致动器提供足够的时间以移动所述透镜来聚焦于图像帧中的所述感兴趣区域。“聚焦值”可与所述感兴趣区域的锐度等级相关(例如，指示所述等级)。扩展所述帧时间可使得所述致动器能够完成(或大体上完成)振荡，此举可改善给定帧的聚焦值。添加到所述帧时间的时间量可基于在图像处理期间所准许的聚焦值污染的量(例如，百分比、等级、程度等)。所述聚焦值污染可在图像处理期间与成每帧图像积分时间(例如，曝光时间)的量比例。举例来说，如果所述曝光时间短且所述致动器未在所述曝光时间期间完成振荡，那么所述聚焦值污染可能相对高。替代地，如果所述曝光时间长且所述致动器在所述曝光时间期间完成振荡，那么所述聚焦值污染可能相对低(或不存在)。当所述透镜经再定位以聚焦于所述感兴趣区域时，所述图像处理器可收集表示所述感兴趣区域的“最佳”透镜位置的更准确且可靠的聚焦值。因此，可改善所述帧中的所述感兴趣区域的所述图像锐度。在特定方面中，一种方法包含在图像处理器处确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段。所述方法还包含以第二时间段扩展用于处理所述第一帧的帧时间。所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。在另一特定方面中，一种设备包含图像处理器和存储可由所述图像处理器执行以执行操作的指令的存储器。所述操作包含确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段。所述操作还包含以第二时间段扩展用于处理所述第一帧的帧时间。所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。在另一特定方面中，一种非暂时性计算机可读媒体包含指令，所述指令在由图像处理器执行时致使所述图像处理器确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段。所述指令还可执行以致使所述图像处理器以第二时间段扩展用于处理所述第一帧的帧时间。所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。在另一特定方面中，一种设备包含用于确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段的装置。所述设备还包含用于以第二时间段扩展用于处理所述第一帧的帧时间的装置。所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。由所揭示方面中的至少一者提供的特定优点包含特定图像帧中的感兴趣区域的改善的聚焦(例如，锐度)。举例来说，可通过将额外时间添加到所述帧时间中来扩展帧时间。致动器可使用所述额外时间以移动透镜并聚焦于所述感兴趣区域。本专利技术的其它方面、优点和特征将在审阅全部申请案之后变得显而易见，所述全部申请案包含以下章节：附图说明、具体实施方式和权利要求书。附图说明图1是用以说明可操作以扩展图像帧处理的帧时间的图像处理器的特定方面的图式；图2是说明图像帧处理的帧时间扩展的时序图；图3包含用以说明用于扩展图像帧处理的帧时间的方法的特定方面的流程图；图4包含用以说明用于扩展图像帧处理的帧时间的方法的另一特定方面的流程图；图5是聚焦值曲线的图式；图6是图5的聚焦值曲线的峰值比较图式；且图7是可操作以根据图1到4技术而扩展图像帧处理的帧时间的无线装置的框图。具体实施方式参考图1，展示可操作以扩展图像帧处理的帧时间的图像处理器102的特定方面。图像处理器102可包含传感器控制模块104、帧积分模块110、帧积分定时模块112、帧时间注入模块114、感兴趣区域识别模块116和聚焦值模块118。在特定实施例中，图像处理器102可包含于无线装置(例如，移动电话)中。传感器控制模块104可经配置以控制致动器106和图像传感器(未展示)的透镜108。举例来说，传感器控制模块104可经配置以控制致动器106的移动，且透镜108的位置又可基于致动器106的移动。举例来说，致动器106可移动透镜108。如下文所描述，图像帧的特定区域(例如，“感兴趣区域”)的锐度可基于透镜108的位置。举例来说，随着透镜108的位置移本文档来自技高网...

【技术保护点】
一种用于扩展用于处理图像帧的时间段的方法，所述方法包括：在图像处理器处确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段；以及以第二时间段扩展用于处理所述第一帧的帧时间，所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。

【技术特征摘要】
【国外来华专利技术】2014.10.31 US 62/073,499;2015.03.20 US 14/664,7411.一种用于扩展用于处理图像帧的时间段的方法，所述方法包括：在图像处理器处确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段；以及以第二时间段扩展用于处理所述第一帧的帧时间，所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。2.根据权利要求1所述的方法，其中所述第一时间段对应于帧曝光时间，且其中所述第二时间段进一步基于所述帧曝光时间。3.根据权利要求2所述的方法，其中确定所述第二时间段包括：从致动器安定时间减去所述帧曝光时间与所准许聚焦值污染的所述量的乘积以获得所述第二时间段，所述致动器安定时间对应于供致动器在处理所述第一帧期间完成振荡的时间的量。4.根据权利要求3所述的方法，其中所述致动器安定时间为固定时间段。5.根据权利要求3所述的方法，其中所述致动器安定时间是约10毫秒。6.根据权利要求2所述的方法，其中所述帧曝光时间基于与所述第一帧相关联的光照条件。7.根据权利要求1所述的方法，其进一步包括在所述第一时间段期间产生所述第一帧的像素数据。8.根据权利要求1所述的方法，其进一步包括在所述第二时间段期间调整所述图像传感器的透镜的位置以调整所述第一帧的聚焦值。9.根据权利要求8所述的方法，其中使用致动器来调整所述透镜的所述位置。10.根据权利要求8所述的方法，其中所述第一帧的所述聚焦值指示所述第一帧的感兴趣区域的锐度。11.一种设备，其包括：图像处理器；以及存储器，其存储可由所述图像处理器执行以执行包括以下各者的操作的指令：确定与处理经由图像传感器所捕获的图像的第一帧相关联的第一时间段；以及以第二时间段扩展用于处理所述第一帧的帧时间，所述第二时间段至少部分基于用于处理所述第一帧的所准许聚焦值污染的量，且所述帧时间包含所述第一时间段和所述第二时间段。12.根据权利要求11所述的设备，其中所述第一时间段对应于帧曝光时间，且其中所述第二时间段进一步基于所述帧曝光时间。13.根据权利要求12所述的设备，其中所述操作进一步包括：从致动器安定时间减去所述帧曝光时间与所准许聚焦值污染的所述量的乘积以获得所述第二时间段，所述致动器安定时间对应于供致动器在处理所述第一帧期间完成振荡的时间的量。14.根据权利要求13所述的设备，其中所述致动器安定时间为固定时间段。15.根据权利要求13所述的设备，其中所述致...

【专利技术属性】
技术研发人员：陈良春，应辰·卢，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US