图像捕获模式自适应制造技术

一般而言，描述了关于图像捕获模式的适配以提供改进的图像捕获能力的技术。还公开了包括被配置为执行所述技术的图像传感器的相机。图像传感器可以至少部分地基于各种操作条件使用不同的图像捕获模式来捕获图像数据帧。例如，在数字变焦级别满足预定义阈值的情况下，处理器可以使图像传感器在指定不同的分箱级别的图像捕获模式之间进行转换。别的图像捕获模式之间进行转换。别的图像捕获模式之间进行转换。

【技术实现步骤摘要】
图像捕获模式自适应
[0001]本申请是优先权日为2019年9月9日、申请日为2020年8月10日、申请号为202080061585.1、专利技术名称为“捕获图像数据的装置、方法及存储介质”的专利技术专利申请的分案申请。


[0002]本公开涉及图像捕获和处理。

技术介绍

[0003]图像捕获设备通常被合并到各种各样的设备中。在本公开中，图像捕获设备指的是能够捕获一个或多个数字图像的任何设备，包括能够捕获静止图像的设备和能够捕获图像序列以记录视频的设备。例如，图像捕获设备可以包括独立的数码相机或数字视频摄像机、配备有相机的无线通信设备手持机，诸如具有一个或多个相机的移动电话、蜂窝或卫星无线电话、配备有相机的个人数字助理(PDA)、面板或平板电脑、游戏设备、包括相机(诸如所谓的“网络摄像头”)的计算机设备，或任何具有数字成像或视频能力的设备。
[0004]某些数码相机具有捕获相机的潜在视场(FOV)的特定部分的能力，诸如具有放大、缩小、全景、望远镜、长焦或潜望镜特征。这些特征允许数码相机使用图像传感器和相机处理器，以根据用户设置和/或操纵(例如，缩放、闪光灯设置、宽高比设置等)来增强或以其他方式改变场景(或视频情况下的图像序列)的捕获。在一些示例中，潜在的视场(FOV)是指特定图像传感器可以用来感测场景或图像序列的全部像素。
[0005]另外，某些图像捕获设备可以包括多个图像传感器和/或多个镜头，这些图像传感器和/或镜头可以彼此配合使用，或者以其他方式，可以从一个相机切换到另一个相机。示例镜头类型包括广角镜头、超广角镜头、长焦镜头、望远镜镜头、潜望镜变焦镜头、鱼眼镜头、微距镜头、主镜头或其各种组合。例如，双相机配置可以包括宽镜头和长焦镜头两者。类似地，除了宽镜头和长焦镜头之外，三相机配置可以包括超宽镜头。通过使用多个镜头和/或图像传感器，图像捕获设备能够捕获具有不同FOV和/或光学变焦级别的图像。然后，图像传感器可以将多个像素和像素值输出到相机处理器以进行进一步处理。

技术实现思路

[0006]一般而言，本公开描述了涉及具有图像传感器的数码相机、具有相应光学变焦的镜头和相机处理器的图像捕获技术。相机处理器可以被配置为使图像传感器使用各种图像捕获模式来捕获图像数据(诸如视频数据帧和/或静止图像照片)。例如，相机处理器可以使图像传感器使用像素分箱来捕获图像数据的一个或多个帧。图像传感器通过将图像传感器的多个像素组合成较少的像素以输出到相机处理器来执行像素分箱(例如，4
×
4分箱、3
×
3分箱、2
×
2分箱、水平分箱、垂直分箱等)。
[0007]图像传感器可以将组合像素输出到相机处理器以进行进一步处理。基于期望的变焦级别或变焦比，相机处理器可以执行数字变焦技术，诸如数字裁剪、上采样、下采样、缩放
或其组合。然而，随着变焦级别的增加，相机处理器执行的上采样或缩放的量也会增加。因此，由于为实现期望的数字变焦级别而执行的上采样或缩放的量，从增加的变焦级别得到的图像数据往往提供失真的图像或视频。
[0008]在一些示例中，当用户请求的数字变焦级别超过相机转换阈值时，相机处理器可以被配置成在具有不同光学变焦级别和/或不同有效焦距的相机之间进行转换。然而，在相机之间的转换之前，相机处理器可以继续增加用于实现期望数字变焦级别的上采样或缩放的量。在某些情况下，直到发生了大量的变焦增加(例如，从1.0倍变焦到5.0倍变焦，或更多)，才可能发生相机之间的转换。
[0009]为了在如此宽的间隙之间进行桥接，某些相机可以使用具有越来越高的像素计数(例如，48MP、64MP、108MP)的图像传感器，以便为相机处理器提供尽可能多的输出像素以执行数字变焦操作。由于像素分箱随后与如此大的图像传感器一起使用，相机处理器将仍然具有较少的像素来使用，以便在期望数字分辨率下实现期望数字变焦级别。因此，相机处理器将使用上采样或缩放来桥接相机转换之间的间隙，并且由上采样或缩放引起的图像失真量将继续恶化，直到相机转换发生。因此，有了相机转换之间的宽间隙，由采样或缩放引起的图像失真量会严重降低图像或视频质量，并且因此，当用户试图执行达到每个相机外部极限的变焦操作时，用户体验将受到影响。
[0010]此外，在相机转换发生的时刻，鉴于第二相机的不同光学变焦级别，由于相机处理器执行的上采样或缩放量的突然减少，图像或视频质量将突然改变。这种突然改变是不希望的，因为当数字变焦级别增加和相机之间发生转换时，它提供了不一致的图像或视频质量。
[0011]根据本公开的各种技术，当那些变焦级别满足预定义的分箱转换阈值或相机转换阈值时，相机处理器可以在该相机处理器检测到期望变焦级别的变化时使图像传感器改变分箱级别。因此，响应于期望数字变焦级别的增加或减少，图像传感器可以利用不同的分箱级别来捕获图像数据的帧，无论其是视频数据、静态照片还是它们的组合。在一些示例中，期望变焦级别可以由用户指定，或者可以是自动变焦操作的结果。然后，相机处理器可以根据各种分箱级别转换以被分箱或未被分箱的像素信息的形式从图像传感器接收图像数据。
[0012]在某些情况下，取决于转换分箱级别之间的差异，图像传感器可以确定在将那些像素输出到相机处理器之前在转换的分箱级别上被分箱的减少量的输出像素。例如，图像传感器可以确定像素的中心部分被使用第二、较低级别的像素分箱来进行分箱，并将该像素的中心部分输出到相机处理器，而不是将在第二级别上分箱的全部量的像素输出到相机处理器。在一些示例中，可以这样做，以便在分箱转换之间保持对相机处理器的恒定或接近恒定的吞吐量或比特率。然后，相机处理器可以执行附加的数字变焦操作，以使用接收的输出像素来实现期望变焦级别。
[0013]根据本公开的技术，当用户增加期望变焦级别时，相机处理器可以接收一致的图像质量。另外，相机处理器可以使用更少的上采样和缩放来在期望输出分辨率下实现期望变焦级别。本公开的技术还提供了用于相机处理器的扩展的变焦范围，这是由于用于图像传感器在分箱级别之间转换的及时的分箱转换、减少相机处理器执行的上采样量以在转换之间实现期望变焦级别等。
[0014]在一个示例中，本公开的技术涉及一种被配置为捕获图像数据的装置，该装置包
括：被配置为存储图像数据的存储器，以及与该存储器进行通信的一个或多个处理器，该一个或多个处理器被配置为：在数字变焦级别小于第一预定义阈值的情况下，使第一图像传感器使用第一图像捕获模式来捕获图像数据的一个或多个帧，其中，第一图像捕获模式包括针对该图像数据的每个输出像素使用第一图像传感器的两个或更多个像素的第一分箱级别；确定所请求的数字变焦级别大于该第一预定义阈值；以及使第一图像传感器使用第二图像捕获模式来捕获该图像数据的一个或多个帧，其中，第二图像捕获模式包括针对该图像数据的每个输出像素使用相对于第一分箱级别更少的该第一图像传感器的像素的第二分箱级别。
[0015]在另一示例中，本公开的技术涉及一种捕获图像数据的方法，该方法包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种被配置为捕获图像数据的装置，所述装置包括：存储器，被配置为存储图像数据；以及至少一个处理器，与所述存储器进行通信，所述至少一个处理器被配置为：在变焦级别小于第一分箱转换阈值的情况下，使得第一相机的第一图像传感器使用第一图像捕获模式捕获所述图像数据的第一一个或多个帧，其中，所述第一图像捕获模式包括第一分箱级别，所述第一分箱级别针对所述图像数据的每个输出像素使用所述第一图像传感器的两个或更多个像素；接收等于或大于第一相机转换阈值的请求的变焦级别；以及响应于所述请求的变焦级别，使得从所述第一相机转换到包括第二图像传感器的第二相机，并且使得所述第二图像传感器使用第二图像捕获模式捕获所述图像数据的第二一个或多个帧，其中，所述第二图像捕获模式包括第二分箱级别，所述第二分箱级别针对所述图像数据的每个输出像素使用所述第二图像传感器的一个像素，其中，所述第二相机具有与所述第一相机不同的光学变焦级别和/或不同的有效焦距。2.根据权利要求1所述的装置，其中，所述一个或多个处理器还被配置为：接收第二请求的变焦级别；确定所述第二请求的变焦级别满足第二相机转换阈值，满足第二相机转换阈值的所述第二请求的变焦级别是小于所述第二相机转换阈值的所述第二请求的变焦级别；确定所述第二请求的变焦级别不满足所述第一分箱转换阈值；以及使得从当前相机转换到包括第三图像传感器的第三相机，并且使得所述第三图像传感器使用第三图像捕获模式捕获所述图像数据的第三一个或多个帧，其中所述第三图像捕获模式包括使用所述第二图像传感器的两个或更多个像素的第三分箱级别。3.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为从包括所述第一图像传感器和所述第二图像传感器的图像传感器接收输出的分箱或非分箱像素，其中，在所述图像传感器和所述至少一个处理器之间保持恒定或接近恒定的吞吐量。4.根据权利要求1所述的装置，其中，所述第一分箱级别是2x2像素分箱。5.根据权利要求2所述的装置，其中，所述第一分箱级别和所述第三分箱级别是2x2像素分箱。6.根据权利要求2所述的装置，其中，所述第一分箱级别是3x3像素分箱，以及所述第三分箱级别是2x2像素分箱。7.根据权利要求1所述的装置，其中，所述第一图像传感器、所述第二图像传感器和所述第三相机的第三图像传感器中的至少两个具有相同数量的像素。8.根据权利要求1所述的装置，其中，所述第一图像传感器、所述第二图像传感器和所述第三相机的第三图像传感器中的至少一个与所述第一图像传感器、所述第二图像传感器和所述第三图像传感器中的至少另一个具有不同数量的像素。9.根据权利要求6所述的装置，其中，所述第一图像传感器、所述第二图像传感器和所述第三图像传感器具有不同数量的像素。10.一种被配置为捕获图像数据的装置，所述装置包括：多个相机，包括第一相机、第二相机和第三相机；以及至少一个处理器，耦合到所述多个相机，其中，所述至少一个处理器被配置为：
用所述第一相机启动对场景的捕获；接收第一请求的变焦级别；确定所述第一请求的变焦级别超过第一分箱转换阈值和第一相机转换阈值两者，并且造成从所述第一相机到提供比所述第一相机更高的光学变焦级别的第二相机的相机转换，并使得所述第二相机使用第一分箱级别捕获所述场景的图像数据的一个或多个帧，所述第一分箱级别是非分箱的；接收第二请求的变焦级别；和确定所述第二请求的变焦级别满足第二相机转换阈值但不超过所述第一分箱转换阈值，并且造成到第三相机的相机转换，并且使得所述第三相机使用第二分箱级别捕获所述场景的所述图像数据的一个或多个帧，所述第二分箱级别针对所述图像数据的每个输出像素使用相机的图像传感器的两个或更多个像素。11.根据权利要求10所述的装置，其中，所述至少一个处理器还被配置为从所述多个相机的图像传感器接收输出的分箱或非分箱像素，其中，在相机转换之间，所述图像传感器和所述至少一个处理器之间的吞吐量保持恒定或接近恒定。12.根据权利要求1所述的装置，其中，所述第二分箱级别是2x2像...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：