图像处理设备及其方法技术

提供了一种图像处理设备及其方法，所述图像处理设备包括：图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，第二分辨率高于第一分辨率。图像传感器被配置为生成关于分辨率的帧信息，第一模式和第二模式分别基于模式信号来确定。该设备还包括：通道分配器，被配置为基于帧信息将第一信号和第二信号分配给多个通道中的不同通道；以及图像信号处理器(ISP)，包括多个通道，第一通道被配置为处理第一信号，并且第二通道被配置为处理第二信号。ISP被配置为对由多个通道处理的图像数据进行后处理。置为对由多个通道处理的图像数据进行后处理。置为对由多个通道处理的图像数据进行后处理。

【技术实现步骤摘要】
图像处理设备及其方法
[0001]相关申请的交叉引用
[0002]本申请要求分别于2019年12月6日和2020年3月11日在韩国知识产权局提交的No.10
‑
2019
‑
0161678和No.10
‑
2020
‑
0030381韩国专利申请的优先权，其公开内容通过引用整体并入本文中。


[0003]本专利技术构思涉及图像处理，更具体地，涉及用于处理高分辨率图像的设备和方法。

技术介绍

[0004]随着安装在设备上的相机的数量增加或每秒可以捕获的图像的数量增加，可能需要增强设备的图像处理能力。因此，可能需要高效地解决由于图像处理能力的限制而引起的各种问题，例如丢帧和快门滞后。

技术实现思路

[0005]本专利技术构思提供了一种能够确定以帧为单位改变用于预览或捕获的拍照模式并且根据分辨率分配适当的通道的设备。
[0006]根据本专利技术构思的一个方面，提供了一种图像处理设备，包括：图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，并且生成关于分辨率的帧信息，第二分辨率高于第一分辨率，第一模式和第二模式分别基于模式信号来确定；通道分配器，被配置为基于帧信息将第一信号和第二信号分配给多个通道中的不同通道；以及图像信号处理器(ISP)，包括多个通道，多个通道中的第一通道被配置为处理第一信号，多个通道中的第二通道被配置为处理第二信号，并且其中ISP被配置为对由多个通道处理的图像数据进行后处理。
[0007]根据本专利技术构思的另一方面，提供了一种图像处理设备，包括：图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，并且生成关于分辨率的帧信息，第二分辨率高于第一分辨率，第一模式和第二模式分别基于模式信号来确定；通道分配器，被配置为基于帧信息将第一信号和第二信号分配给多个通道中的不同通道；图像信号处理器(ISP)，包括多个通道，多个通道中的第一通道被配置为处理第一图像，多个通道中的第二通道被配置为处理第二图像，并且ISP被配置为生成第三信号作为对第一信号进行后处理的结果，以及生成第四信号作为对第二信号进行后处理的结果；存储器子系统，包括第一存储器和第二存储器，其中第一存储器临时存储第三信号，第二存储器临时存储第四信号；控制器，被配置为响应于捕获命令生成模式信号并且将与第二模式相对应的模式信号施加到图像传感器；显示单元，被配置为加载并且显示第三信号和第四信号中的至少一个，以供用户预先预览具有第一分辨率的图像；以及捕获单元，被配置为基于捕获命令加载第四信号以生成具有第二分辨率的图像。
[0008]根据本专利技术构思的另一方面，提供了一种图像处理方法，包括：在第一模式下生成与具有第一分辨率的图像相对应的第一信号；在第二模式下生成与具有第二分辨率的图像相对应的第二信号，第二分辨率高于第一分辨率；基于预定通道标准，以虚拟通道ID形式生成帧信息；以及基于帧信息确定图像帧的分辨率，并且基于所确定的分辨率将第一信号和第二信号分配给不同通道。
附图说明
[0009]根据以下结合附图的详细描述，将更清楚地理解本专利技术构思的实施例，附图中：
[0010]图1是示出了根据本专利技术构思的实施例的设备的框图；
[0011]图2是示出了根据本专利技术构思的实施例的通道分配器的电路图；
[0012]图3是根据本专利技术构思的实施例的由图像传感器和ISP基于通道处理的信号的定时图；
[0013]图4是根据本专利技术构思的实施例的由图像传感器和ISP基于通道处理的信号的定时图；
[0014]图5是根据本专利技术构思的另一实施例的由图像传感器和ISP基于通道处理的信号的定时图；
[0015]图6是根据本专利技术构思的实施例的图像处理方法的流程图；
[0016]图7、图8和图9是根据本专利技术构思的实施例的图像处理方法的更详细的流程图；
[0017]图10、图11、图12和图13是根据本专利技术构思的另一实施例的图像处理方法的更详细的流程图；
[0018]图14是示出了根据本专利技术构思的实施例的设备的框图；以及
[0019]图15是示出了包括根据本专利技术构思的实施例的设备在内的系统的框图。
具体实施方式
[0020]在下文中，将参考附图描述本专利技术构思的实施例。
[0021]图1是示出了根据本专利技术构思的实施例的设备10的框图。
[0022]参照图1，设备10能够使用固态图像传感器(例如，电荷耦合器件和互补金属氧化物半导体(CMOS))来捕获和/或存储对象的图像，并且可以在数码相机、数码摄录机、移动电话或平板电脑或任何其他便携式设备中实现。便携式设备可以包括膝上型计算机、移动电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数码摄像机、音频设备、便携式多媒体播放器(PMP)、个人导航设备(PND)、MP3播放器、手持游戏机、电子书、可穿戴设备等。另外，设备10可以被安装在诸如无人机、高级驾驶员辅助系统(ADAS)等的电子设备上，或者可以被安装在作为车辆、家具、制造设施、门、各种测量设备等的部件而提供的电子设备上。
[0023]根据本专利技术构思的设备10可以针对每个帧捕获主体(或对象)的图像。基于根据用户的捕获命令CAPTURE而生成的模式信号MODE，设备10感测低分辨率图像或高分辨率图像。可以生成帧信息FI，以在所感测的图像帧中将低分辨率图像帧与高分辨率图像帧区分开。可以根据标准化通道标准或由产品生产者组确定的任意通道标准将所生成的帧信息FI包括在通道信息中。例如，通道信息可以被存储在所发送的信号的头部(header)中，并且可以
在不使用附加的数据存储空间的情况下通过虚拟通道被发送到另一知识产权(IP)。由产品生产者组确定的任意通道标准可以是移动设备制造商在其中建立了通用接口规范的移动产业处理器接口(MIPI)联盟，但是不限于此，可以应用各种任意通道标准。另外，可以以嵌入式数据的形式将通道信息发送到另一IP，其中，帧信息FI被存储在不同于虚拟通道的嵌入式芯片中。
[0024]根据本专利技术构思的设备10可以从帧信息FI中读取通道信息，以确定所捕获的图像帧的分辨率。基于帧信息FI，当确定当前图像帧是低分辨率图像帧时，设备10可以将关于低分辨率图像帧的信号分配给具有用于处理低分辨率图像帧的优化的环境配置的低分辨率通道。当确定接收到的下一图像帧是高分辨率图像帧时，设备10可以将关于高分辨率图像帧的信号分配给具有用于处理高分辨率图像帧的优化的环境配置的高分辨率通道。也就是说，设备10可以设置路径，使得高分辨率图像帧和低分辨率图像帧通过不同的通道。也就是说，设备10可以根据分辨率动态地分配高分辨率图像帧和低分辨率图像帧。
[0025]根据本专利技术构思的设备10可以使用一个处理器对通过不同通道而输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理设备，包括：第一图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，以及生成关于分辨率的帧信息，所述第二分辨率高于所述第一分辨率，所述第一模式和所述第二模式分别基于模式信号来确定；通道分配器，被配置为基于所述帧信息将所述第一信号和所述第二信号分配给多个通道中的不同通道；以及图像信号处理器ISP，包括所述多个通道，所述多个通道中的第一通道被配置为处理所述第一信号，所述多个通道中的第二通道被配置为处理所述第二信号，并且其中所述ISP被配置为对由所述多个通道处理的图像数据进行后处理。2.根据权利要求1所述的图像处理设备，其中，所述第一通道被配置为处理所述具有第一分辨率的图像，所述第二通道被配置为处理所述具有第二分辨率的图像，以及所述通道分配器还被配置为在所述第一模式下将所述第一信号提供给所述第一通道以及在所述第二模式下将所述第二信号提供给所述第二通道。3.根据权利要求2所述的图像处理设备，其中，所述通道分配器包括：第一多路复用器，连接到所述第一通道，并且被配置为接收所述第一信号和所述第二信号；以及第二多路复用器，连接到所述第二通道，并且被配置为接收所述第一信号和所述第二信号。4.根据权利要求3所述的图像处理设备，还包括第二图像传感器，其中，所述通道分配器还包括被配置为生成选择信号的选择器，以及其中，所述选择信号控制所述第一多路复用器和所述第二多路复用器共同接收从所述第一图像传感器和所述第二图像传感器中的任何一个输出的信号。5.根据权利要求1所述的图像处理设备，其中，所述第一图像传感器被配置为以虚拟通道ID或嵌入式数据的形式生成所述帧信息。6.根据权利要求5所述的图像处理设备，其中，所述虚拟通道ID包括基于预定通道标准的所述帧信息。7.根据权利要求6所述的图像处理设备，其中，所述通道分配器还被配置为接收所述虚拟通道ID，并且基于所述预定通道标准从所接收的虚拟通道ID中确定分辨率。8.一种图像处理设备，包括：图像传感器，被配置为在第一模式下生成与具有第一分辨率的图像相对应的第一信号，在第二模式下生成与具有第二分辨率的图像相对应的第二信号，以及生成关于分辨率的帧信息，所述第二分辨率高于所述第一分辨率，所述第一模式和所述第二模式分别基于模式信号来确定；通道分配器，被配置为基于所述帧信息将所述第一信号和所述第二信号分配给多个通道中的不同通道；图像信号处理器ISP，包括所述多个通道，所述多个通道中的第一通道被配置为处理所述第一图像，所述多个通道中的第二通道被配置为处理所述第二图像，并且所述ISP被配置
为生成第三信号作为对所述第一信号进行后处理的结果，以及生成第四信号作为对所述第二信号进行后处理的结果；存储器子系统，包括第一存储器和第二存储器，其中所述第一存储器临时存储所述第三信号，所述第二存储器临时存储所述第四信号；控制器，被配置为响应于捕获命令生成所述模式信号并且将与所述第二模式相对应的所述模式信号施加到所述图像传感器；显示单元，被配置为加载并且显示所述第三信号和所述第四信号中的至少一个，以供用户预览所述具有第一分辨率的图像；以及捕获单元，被配置为基于所述捕获命令加载所述第四信号以生成所述具有第二分辨率的图像。9.根据权利要求8所述的图像处理设备，其中，在第一时间段，所述控制器还被配置为接收所述捕获命令，并且基于所述捕获命令发布用于将所述图像传感器的拍照模式从所述第一模式改变为所述第二模式的命令，在改变为所述第二模式完成之前且晚于所述第一时间段的第二时间段，所述图像传感器还被配置为生成所述第一信号，所述通道分配器还被配置为将所生成的第一信号分配给所述第一通道，所述ISP还被配置为生成所述第三信号并且将所述第三信号发送到所述第一存储器，并且所述显示单元还被配置为从所述第一存储器加载并显示所述第三信号，在晚于所述第二时间段的第三时间段，所述图像传感器还被配置为使改变为所述第二模式完成并且生成所述第二信号，所述通道分配器还被配置为将所生成的第二信号分配给所述第二通道，所述ISP还被配置为生成所述第四信号并且将所述第四信号发送到所述第二存储器，并且所述捕获单元还被配置为从所述第二存储器加载所述第四信号以生成所述具有第二分辨率的图像，并且降低所述第四信号的分辨率以将所述第四信号存储在所述第一存储器中，以及在所述图像传感器生成所述第二信号之后且晚于所述第三时间段的第四时间段，所述控制器还被配置为发布用于将所述拍照模式从所述第二模式改变为所述第一模式的命令。10.根据权利要求8所述的图像处理设备，其中，在第一时间段，所述控制器...

【专利技术属性】
技术研发人员：车佶炯，李东禹，李瑞勋，郑暻娥，许承镇，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：