【技术实现步骤摘要】
【国外来华专利技术】
本公开的各方面整体涉及图像信号处理。一些特征可实现并提供改进的通信，包括可补偿图像特性(诸如由大光圈大小引入的模糊)的去模糊操作。
技术介绍
1、图像捕获设备是可以捕获一个或多个数字图像(无论是用于照片的静止图像还是用于视频的图像序列)的设备。捕获设备可以被结合到各种各样的设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如移动电话、蜂窝或卫星无线电电话)、个人数字助理(pda)、面板或平板电脑、游戏设备、计算机设备(诸如网络摄像机、视频监视相机)或具有数字成像或视频能力的其他设备。
2、图像处理技术可用于提高由图像捕获设备捕获的照片和视频的质量。例如，算法可以改变照片中颜色的外观、增加照片中颜色的动态范围或范围、增加照片中的细节、减少摄影中的噪声、减少摄影中的模糊，以及可以改善用户所观看的图像质量的许多其他处理技术。
技术实现思路
1、下文概括了本公开内容的一些方面，以提供对所论述的技术的基本理解。该概括不是对本公开的全部预期特征的详尽概述，以及既不旨在标识本公开的全部方面的关键或重要元素，也不旨在描绘本公开的任何或全部方面的范围。其唯一目的是以概括的形式给出本公开内容的一个或多个方面的一些概念，作为稍后给出的更多具体实施方式的前序。
2、本文中所描述的图像处理技术的实施方案可基于第二图像帧的特性来改进第一图像帧的外观，而不将第二图像帧的数据与第一图像帧组合(例如，合并、融合或混合)。该处理消除了向第一
3、根据本文的实施方案的图像处理技术可有益于增加图像的表观焦深(depth offocus)。图像捕获设备中固有的限制导致图像帧的部分由于相机聚焦的有限能力而比其他部分模糊。例如，图像可具有在前景中靠近相机的对焦的面，而在背景中远离相机的面是离焦(out of focus)的。用户可能希望两个面在照片中都对焦(in-focus)。本文中所描述的图像处理技术可执行多帧景深(mf-dof)处理以通过使用在与第一图像帧不同的焦距处捕获的第二图像帧减少离焦面上的模糊来改进摄影的外观。
4、在本公开的一个方面，一种用于图像处理的方法包括：接收表示在第一焦距处捕获的场景的第一图像帧；接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定对应的感兴趣区域集合，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；基于第一感兴趣区域与第二感兴趣区域的比较来确定值；以及基于第一图像帧和该值来确定校正的第一图像帧。
5、在本公开内容的附加方面，一种装置包括至少一个处理器和联接到该至少一个处理器的存储器。该至少一个处理器被配置为执行包括以下各项的操作：接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定对应的感兴趣区域集合，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；基于第一感兴趣区域与第二感兴趣区域的比较来确定值；以及基于第一图像帧和该值来确定校正的第一图像帧。
6、在本公开的另外的方面，一种装置包括：用于接收表示在第一焦距处捕获的场景的第一图像帧的部件；用于接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧的部件；用于确定对应的感兴趣区域集合的部件，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；用于基于第一感兴趣区域与第二感兴趣区域的比较来确定值的部件；以及用于基于第一图像帧和该值来确定校正的第一图像帧的部件。
7、在本公开内容的另外的方面中，一种非暂态计算机可读介质存储指令，指令在由处理器执行时使得处理器执行操作。该操作包括接收表示在第一焦距处捕获的场景的第一图像帧；接收表示在不同于第一焦距的第二焦距处捕获的场景的第二图像帧；确定对应的感兴趣区域集合，该对应的感兴趣区域集合包括第一图像帧中的第一感兴趣区域和第二图像帧中的第二感兴趣区域；基于第一感兴趣区域与第二感兴趣区域的比较来确定值；以及基于第一图像帧和该值来确定校正的第一图像帧。
8、图像捕获设备(可捕获一个或多个数字图像无论是静止图像照片还是视频的图像序列的设备)可以被结合到各种各样的设备中。以举例的方式，图像捕获设备可包括独立数字相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如移动电话、蜂窝或卫星无线电电话)、个人数字助理(pda)、面板或平板电脑、游戏设备、计算机设备(诸如网络摄像机、视频监视相机)或具有数字成像或视频能力的其他设备。
9、一般来讲，本公开描述涉及具有图像传感器和图像信号处理器(isp)的数字相机的图像处理技术。isp可被配置为控制对来自一个或多个图像传感器的图像帧的捕获并且处理来自该一个或多个图像传感器的一个或多个图像帧以生成校正的图像帧中的场景的视图。校正的图像帧可以是形成视频序列的图像帧序列的一部分。视频序列可包括从图像传感器或其他图像传感器接收的其他图像帧和/或基于来自图像传感器或另一图像传感器的输入的其他校正的图像帧。在一些实施方案中，可在图像传感器内诸如在装仓模块(binning module)中执行对一个或多个图像帧的处理。本文所公开的实施方案中所描述的图像处理技术可以由图像传感器中、图像信号处理器(isp)中、应用处理器(ap)中或者这些组件中的两个或全部的组合中的电路诸如装仓模块来执行。
10、在一个示例中，图像信号处理器可响应于软件(诸如相机应用)的加载而接收用于捕获图像帧序列的指令，以从图像捕获设备产生预览显示。图像信号处理器可被配置为基于从一个或多个图像传感器接收的图像帧产生单个输出帧流。单个输出帧流可包括来自图像传感器的原始图像数据、来自图像传感器的装仓的图像数据，或由图像信号处理器内的一个或多个算法(诸如在装仓模块中)处理的校正的图像帧。例如，从图像传感器获得的图像帧(其在输出到图像信号处理器之前可能已对数据执行一些处理)可在图像信号处理器中通过图像后处理引擎(ipe)和/或用于执行色调映射、肖像照明、对比度增强、伽玛校正等中的一者或多者的其他图像处理电路处理图像帧来处理。
11、在图像信号处理器使用图像校正(诸如本文的各种实施方案中所描述的装仓)确定表示场景的输出帧之后，输出帧可作为单个静止图像和/或作为视频序列的一部分显示在设备显示器上，作为图片或视频序列保存到存储设备，通过网络传输，以及/或者打印到输出介质。例如，图像信号处理器可被配置为从不同图像传感器获得图像数据(例如，像素值)的输入帧，并且继而产生图像数据的对应输出帧(例如，预览显示帧、静止图像捕获、用于视频的帧、用于对象跟踪的帧等)。在其他示例中，图像信号处理器可将图像本文档来自技高网...
【技术保护点】
1.一种方法，所述方法包括：
2.根据权利要求1所述的方法，所述方法还包括：
3.根据权利要求1所述的方法，其中：
4.根据权利要求3所述的方法，其中执行所述对比度操作保持所述第一图像帧的亮度。
5.根据权利要求1所述的方法，其中确定所述校正的第一图像帧包括执行基于人工智能的操作。
6.根据权利要求1所述的方法，所述方法还包括：
7.根据权利要求6所述的方法，其中确定所述对准差异包括确定在所述第一图像帧中识别的对象从所述第一图像帧中的第一位置到所述第二图像帧中的第二位置的运动。
8.根据权利要求1所述的方法，所述方法还包括：
9.根据权利要求8所述的方法，其中确定所述第一图像帧中的感兴趣区域的所述数量包括检测所述第一图像帧中的面。
10.根据权利要求1所述的方法，其中：
11.根据权利要求10所述的方法，其中所述第一焦距是所述第一感兴趣区域中的所述第一面与所述第三感兴趣区域中的所述第二面之间的位置，并且其中所述第二焦距是所述第二面的焦距。
12.根据
13.一种装置，所述装置包括：
14.根据权利要求13所述的装置，其中所述至少一个处理器被进一步配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的操作：
15.根据权利要求13所述的装置，其中：
16.根据权利要求15所述的装置，其中执行所述对比度操作保持所述第一图像帧的亮度。
17.根据权利要求13所述的装置，其中确定所述校正的第一图像帧包括执行基于人工智能的操作。
18.根据权利要求13所述的装置，其中所述至少一个处理器被配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的进一步的操作：
19.根据权利要求18所述的装置，其中确定所述对准差异包括确定在所述第一图像帧中识别的对象从所述第一图像帧中的第一位置到所述第二图像帧中的第二位置的运动。
20.根据权利要求13所述的装置，其中所述至少一个处理器被配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的进一步的操作：
21.根据权利要求20所述的装置，其中确定所述第一图像帧中的感兴趣区域的所述数量包括检测所述第一图像帧中的面。
22.根据权利要求13所述的装置，其中：
23.根据权利要求22所述的装置，其中所述第一焦距是所述第一感兴趣区域中的所述第一面与所述第三感兴趣区域中的所述第二面之间的位置，并且其中所述第二焦距是所述第二面的焦距。
24.根据权利要求13所述的装置，其中确定所述校正的第一图像帧不是基于将所述第二图像帧的任何部分与所述第一图像帧组合。
25.根据权利要求13所述的装置，所述装置还包括：
26.根据权利要求13所述的装置，其中所述至少一个处理器包括图像信号处理器(ISP)。
27.一种存储指令的非暂态计算机可读介质，所述指令在由处理器执行时致使所述处理器执行包括以下各项的操作：
28.根据权利要求27所述的非暂态计算机可读介质，其中所述指令在由所述处理器执行时致使所述处理器执行包括以下各项的进一步的操作：
29.根据权利要求27所述的非暂态计算机可读介质，其中：
30.根据权利要求27所述的非暂态计算机可读介质，其中所述指令在由所述处理器执行时致使所述处理器执行包括以下各项的进一步的操作：
31.一种装置，所述装置包括：
32.根据权利要求31所述的装置，其中确定所述校正的图像帧包括对所述第二图像帧的所述第一感兴趣区域执行对比度增强操作。
33.根据权利要求32所述的装置，其中对所述第二图像帧的所述第一感兴趣区域执行所述对比度增强操作基于对应于所述值的强度。
34.根据权利要求31所述的装置，其中确定所述校正的图像帧包括对所述第二图像帧的所述第一感兴趣区域执行基于人工智能的操作。
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，所述方法包括：
2.根据权利要求1所述的方法，所述方法还包括：
3.根据权利要求1所述的方法，其中：
4.根据权利要求3所述的方法，其中执行所述对比度操作保持所述第一图像帧的亮度。
5.根据权利要求1所述的方法，其中确定所述校正的第一图像帧包括执行基于人工智能的操作。
6.根据权利要求1所述的方法，所述方法还包括：
7.根据权利要求6所述的方法，其中确定所述对准差异包括确定在所述第一图像帧中识别的对象从所述第一图像帧中的第一位置到所述第二图像帧中的第二位置的运动。
8.根据权利要求1所述的方法，所述方法还包括：
9.根据权利要求8所述的方法，其中确定所述第一图像帧中的感兴趣区域的所述数量包括检测所述第一图像帧中的面。
10.根据权利要求1所述的方法，其中：
11.根据权利要求10所述的方法，其中所述第一焦距是所述第一感兴趣区域中的所述第一面与所述第三感兴趣区域中的所述第二面之间的位置，并且其中所述第二焦距是所述第二面的焦距。
12.根据权利要求1所述的方法，其中确定所述校正的第一图像帧不是基于将所述第二图像帧的任何部分与所述第一图像帧组合。
13.一种装置，所述装置包括：
14.根据权利要求13所述的装置，其中所述至少一个处理器被进一步配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的操作：
15.根据权利要求13所述的装置，其中：
16.根据权利要求15所述的装置，其中执行所述对比度操作保持所述第一图像帧的亮度。
17.根据权利要求13所述的装置，其中确定所述校正的第一图像帧包括执行基于人工智能的操作。
18.根据权利要求13所述的装置，其中所述至少一个处理器被配置为执行所述处理器可读代码以致使所述至少一个处理器执行包括以下各项的进一步的操作：
19.根据权利要求18所述的装置，其中确定所述对准差异包括确定在所述第一图像帧中识...
【专利技术属性】
技术研发人员：冯文俊，YR·赖，H·Y·张，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。