用于数字拍摄设备中两个相机的图像之间的差异补偿的应用处理器制造技术

数字拍摄设备可以包括设备的公共侧上的多个相机、用于在相机之间切换图像捕获的应用处理器以及显示器。当相机切换时，所述应用处理器可以切换在显示器上输出的图像。在图像转变期间，在转变前图像和转变后图像之间输出一个或多个虚拟视点图像。所述虚拟视点图像对由不同相机位于不同位置所引起的转变前图像和转变后图像之间的差异进行插值，并导致平滑的视觉转变。当相机切换输入包括变焦因子信号时，所述虚拟视点图像可以是根据输入的变焦因子和差异的补偿图像。

An Application Processor for Compensating the Difference between the Images of Two Cameras in Digital Photography Equipment

The digital photographing device may include a plurality of cameras on the common side of the device, an application processor for switching image capture between cameras, and a display. When the camera is switched, the application processor can switch the image output on the display. During image transformation, one or more virtual viewpoint images are output between the pre-transformation image and the post-transformation image. The virtual viewpoint image interpolates the difference between the pre-transformation image and the post-transformation image caused by different cameras at different positions, and results in a smooth visual transition. When the camera switches the input including zoom factor signal, the virtual viewpoint image may be a compensated image according to the input zoom factor and difference.

【技术实现步骤摘要】
用于数字拍摄设备中两个相机的图像之间的差异补偿的应用处理器相关申请的交叉引用本申请要求享有于2017年6月23日向韩国知识产权局提交的韩国专利申请No.2017-0079782的优先权，其公开通过引用而全文合并于此。
本公开总体上涉及数字拍摄设备的应用处理器，并且更具体地涉及多相机数字拍摄设备中的差异补偿。
技术介绍
一些数字相机和配备相机的智能手机和平板电脑的最新设计已将多台相机设置在设备的同一侧。典型地，两个后置相机设置在设备的后侧，并且在前侧设置显示器和可选的前置相机。设置在数字拍摄设备的后侧的多个相机可以独立地或根据其组合来选择性地捕获广角图像或远摄图像，并且显示或存储所捕获的图像。例如，一个后置相机可以有一个广角镜头，而另一个则有一个远摄或变焦镜头。用户可以在广角视图和远摄视图之间选择，由此切换操作相机。在一个应用中，可以使用用于组合所捕获的图像的方案来实现诸如背景模糊或3D效果之类的各种视觉效果。当多个相机设置在不同位置时，由于相机之间的距离和相机之间的光轴的三维(3D)旋转，由多个相机捕获的图像之间出现差异。所述差异根据拍摄设备与被捕获的场景中的对象之间的距离而变化。
技术实现思路
当在相关技术的数字拍摄设备中捕获在显示器上输出的图像的装置从一个相机切换到另一个时，由于两个相机的图像之间的差异，所述场景中的对象的位置会突然改变。这可能会导致图像转变变得不连续的抖动效果。本公开的实施例可以确保当在显示器上切换由不同相机分别获取的图像时实现平滑的图像转变。通过顺序输出对转变前图像和转变后图像之间的差异进行补偿的虚拟图像来实现平滑转变。本公开的各方面不限于上面提到的那些方面，并且根据以下描述，附加方面对于本领域的普通技术人员将是显而易见的。根据本公开的方面，提供了一种包括中央处理器的应用处理器。所述中央处理器执行以下操作：在显示由第一相机在第一位置获取的第一图像时，生成控制信号，使得随后显示由第二相机在第二位置获取的第二图像；响应于所述控制信号，使用所述第一图像和所述第二图像的元素生成一个或多个第三图像，所述一个或多个第三图像是在所述第一位置和所述第二位置之间的一个或多个第三位置处虚拟地获取的；以及控制在显示所述第一图像和所述第二图像之间在时间上顺序地显示所述一个或多个第三图像。根据本公开的另一方面，提供了一种应用处理器，包括：输入/输出(I/O)接口，配置为接收包括变焦因子在内的用户输入；以及中央处理器。所述中央处理器配置为执行以下操作：当显示从具有第一视角的第一相机在第一位置处获取的关于场景的第一图像时，生成控制信号，使得随后显示由具有第二视角的第二相机在第二位置处获取的关于所述场景的至少一部分的第二图像；根据第一变焦因子和第二变焦因子之间的至少一个变焦因子使用从所述第一相机获取的第一变焦图像和从所述第二相机获取的第二变焦图像生成一个或多个第三图像；控制在显示所述第一图像和第二图像之间在时间上顺序地显示所述一个或多个第三图像；以及当所述变焦因子变成所述第二变焦因子时控制显示所述第二图像。根据本公开的另一方面，提供了一种数字拍摄设备，包括：广角相机，配置为在第一位置处获取关于场景的广角图像；远摄相机，配置为在第二位置处获取关于场景的一部分的远摄图像；显示器；以及应用处理器。所述应用处理器配置为：当显示所述广角图像时，接收针对所述广角图像中的特定区域的变焦请求信号；响应于所述变焦请求信号，使用以下图像元素生成一个或多个第三图像，所述一个或多个第三图像是在所述第一位置和所述第二位置之间的一个或多个第三位置处虚拟地获取的：i)基于所述广角图像并且包括所述特定区域的变焦广角图像；以及ii)基于所述远摄图像并且包括所述特定区域的变焦远摄图像。所述应用处理器可以控制所述显示器以在时间上顺序地输出所述广角图像、所述变焦广角图像、所述一个或多个第三图像和所述变焦远摄图像。通信器配置为发送所述变焦远摄图像以及与所述变焦远摄图像相关联的位置信息和方向信息，并且接收与所述变焦远摄图像相匹配的增强信息。附图说明通过参考附图详细描述本专利技术的示例性实施例，本公开的上述和其它目的、特征和优点对于本领域普通技术人员将变得更加明显，在附图中：图1是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的不同图像的图；图2是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的不同图像之间的差异的图；图3是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的多个图像的图并且示出了由应用处理器生成的可以在不同位置之间的位置处获取的虚拟视点图像；图4是示出了包括根据本公开的示例性实施例的应用处理器的数字拍摄设备的操作方法的流程图；图5A示出了分别由左相机和右相机拍摄的示例显示图像以及对捕获图像进行几何校正的校正图像；图5B示出了示例校正显示图像和对应的深度图；图6A是根据本公开的示例性实施例的数字拍摄设备的框图；图6B是根据另一个实施例的数字拍摄设备的框图；图7是示出由根据本公开的示例性实施例的应用处理器的由于变焦输入通过位于不同位置处的具有不同视角的多个相机获取的不同图像之间的差异和画面质量差别的图；图8是示出由根据本公开的示例性实施例的应用处理器通过不同位置处的具有不同视角的多个相机获取的不同图像并且示出在所获取的不同图像之间作为插值图像而生成的虚拟视点图像的图；图9是数字拍摄设备在显示图像上进行拉近放大的操作方法的流程图，所述流程图开始于广角相机获取广角图像；图10是数字拍摄设备在显示图像上进行拉远缩小的操作方法的流程图，所述流程图开始于远摄相机获取远摄图像；图11是示出当根据本公开的示例性实施例的应用处理器根据变焦输入切换相机时显示图像的画面质量和功耗的变化的图；图12是示出根据本公开的示例性实施例的数字拍摄设备的相机切换和增强信息提供操作的图；图13A是电子系统的增强信息提供方的框图；图13B是示出根据示例性实施例的从增强信息提供方向数字拍摄设备提供增强信息的示例方法的流程图；以及图14是示出根据示例性实施例的数字拍摄设备的相机切换方法的图。具体实施方式下文中，将参考附图描述根据本公开示例性实施例的数字拍摄设备和应用处理器。根据本公开示例性实施例的应用处理器是在数字拍摄设备等中使用的半导体器件。数字拍摄设备可以是数字相机、平板个人电脑(PC)、智能手机、笔记本电脑、可穿戴拍摄设备等，或者包括它们的设备。数字拍摄设备可以包括具有电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器的多个相机。根据示例性实施例的数字拍摄设备中提供的多个相机被布置在不同的位置，并且可以各自是相同类型的相机或者可以彼此不同。图1是示出通过根据本公开的示例性实施例的设备通过位于不同位置处的多个相机获取的不同图像的图。在该实施例中，两个相机被包括在数字拍摄设备100中并且可以具有相同的视角(视场)。如下面所解释的，图1-图3的实施例也适用于两个相机具有彼此不同的视场的情况，其中一个图像相对于另一个被数字拉近放大或拉远缩小，从而使得所得图像看起来具有相同的视场。在任一种情况下，这两个相机是第一相机10和第二相机20，并且可以布置在不同的位置。第一相机10本文档来自技高网...

【技术保护点】
1.一种应用处理器，包括：中央处理器，配置为：在显示由第一相机在第一位置获取的第一图像时，生成控制信号，使得随后显示由第二相机在第二位置获取的第二图像；响应于所述控制信号，使用所述第一图像和所述第二图像的元素生成一个或多个第三图像，所述一个或多个第三图像是在所述第一位置和所述第二位置之间的一个或多个第三位置处虚拟地获取的；以及控制在显示所述第一图像和所述第二图像之间在时间上顺序地显示所述一个或多个第三图像。

【技术特征摘要】
2017.06.23 KR 10-2017-00797821.一种应用处理器，包括：中央处理器，配置为：在显示由第一相机在第一位置获取的第一图像时，生成控制信号，使得随后显示由第二相机在第二位置获取的第二图像；响应于所述控制信号，使用所述第一图像和所述第二图像的元素生成一个或多个第三图像，所述一个或多个第三图像是在所述第一位置和所述第二位置之间的一个或多个第三位置处虚拟地获取的；以及控制在显示所述第一图像和所述第二图像之间在时间上顺序地显示所述一个或多个第三图像。2.根据权利要求1所述的应用处理器，其中，所述中央处理器控制按照从在离所述第一位置比离所述第二位置更近的第三位置处获取的第三图像到在离所述第二位置比离所述第一位置更近的第三位置处获取的第三图像的顺序显示所述一个或多个第三图像。3.根据权利要求1所述的应用处理器，其中，所述第一相机与所述第二相机具有相同的视场。4.根据权利要求1所述的应用处理器，还包括：图像信号处理器(ISP)，配置为对所述第一图像和所述第二图像执行图像信号处理。5.根据权利要求4所述的应用处理器，还包括：用于相机切换的图像生成器，配置为响应于所述控制信号而生成经历了图像信号处理的第一图像和经历了图像信号处理的第二图像之间的差异图，并且基于所述差异图生成所述一个或多个第三图像。6.根据权利要求4所述的应用处理器，还包括：存储器，配置为存储相机切换程序，其中，所述中央处理器通过执行所述相机切换程序来生成经历了图像信号处理的所述第一图像和经历了图像信号处理的所述第二图像之间的差异图，并且基于所述差异图生成所述一个或多个第三图像。7.一种应用处理器，包括：输入/输出(I/O)接口，配置为接收包括变焦因子在内的用户输入；以及中央处理器，配置为：当显示从具有第一视角的第一相机在第一位置处获取的关于场景的第一图像时，生成控制信号，使得随后显示由具有第二视角的第二相机在第二位置处获取的关于所述场景的至少一部分的第二图像；根据第一变焦因子和第二变焦因子之间的至少一个变焦因子使用从所述第一相机获取的第一变焦图像和从所述第二相机获取的第二变焦图像生成一个或多个第三图像，并且控制在显示所述第一图像和所述第二图像之间在时间上顺序地显示所述一个或多个第三图像，所述一个或多个第三图像是在所述第一位置和所述第二位置之间的一个或多个第三位置处虚拟的获取的；以及；当所述变焦因子变成所述第二变焦因子时控制显示所述第二图像。8.根据权利要求7所述的应用处理器，其中，所述第一变焦因子和所述第二变焦因子中的一个是所述第一相机与所述第二相机之间具有较小视角的相机的缺省变焦因子，并且所述第一变焦因子和所述第二变焦因子中的另一个是大于所述缺省变焦因子的设定变焦因子。9.根据权利要求7所述的应用处理器，其中，所述中央处理器控制按照从在离所述第一位置比离所述第二位置更近的第三位置处获取的第三图像到在离所述第二位置比离所述第一位置更近的第三位置处获取的第三图像的顺序显示所述一个或多个第三图像。10.根据权利要求...

【专利技术属性】
技术研发人员：朴东珍，姜锡斊，李志弘，任俊爀，金采盛，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR