图像处理设备及其操作方法技术

技术编号:36799821 阅读:12 留言:0更新日期:2023-03-08 23:33
公开了图像处理设备及其操作方法。所述图像处理设备包括:预处理器,被配置为:从图像传感器接收输入图像数据,输入图像数据包括与图像传感器的滤色器阵列对应的图案,并且通过基于与图像传感器的多个像素中的每个对应的相位信息对输入图像数据进行重构,来生成重构图像数据;以及神经网络处理器,被配置为基于输入图像数据和重构图像数据生成输出图像数据。入图像数据和重构图像数据生成输出图像数据。入图像数据和重构图像数据生成输出图像数据。

【技术实现步骤摘要】
图像处理设备及其操作方法
[0001]本申请基于并要求于2021年09月03日在韩国知识产权局提交的第10

2021

0117943号韩国专利申请以及于2022年06月15日在韩国知识产权局提交的第10

2022

0073065号韩国专利申请的优先权,该韩国专利申请的公开通过引用全部包含于此。


[0002]公开总体涉及通过使用预处理器和神经网络处理器来执行图像处理操作的图像处理设备及其操作方法。

技术介绍

[0003]近来,对高质量照片和图像的需求增加,并且可通过神经网络处理器高效地执行对由图像传感器生成的图像数据的图像处理。可利用神经网络来实现用于图像处理的深度学习、机器学习等。
[0004]当通过神经网络处理器对图像数据执行图像处理时,可能发生诸如假彩色(false color)的缺陷,并且可能降低图像的质量。因此,需要在对图像数据执行图像处理时输出无缺陷的高质量图像的技术。

技术实现思路

[0005]提供了图像处理设备及其操作方法,图像处理设备用于通过对输入到神经网络处理器的图像数据进行重构并通过使用神经网络处理器执行图像处理操作来提高从其输出的图像数据的质量。
[0006]附加方面将在下面的描述中部分阐述,并且部分上根据描述将是清楚的,或者可通过实施示出的实施例而得知。
[0007]根据示例实施例的一个方面,一种图像处理设备可包括:预处理器,被配置为:从图像传感器接收输入图像数据,输入图像数据包括与图像传感器的滤波器阵列对应的图案,并且通过基于与图像传感器的多个像素中的每个对应的相位信息对输入图像数据进行重构,来生成重构图像数据;以及神经网络处理器,被配置为基于输入图像数据和重构图像数据生成输出图像数据。
[0008]根据示例实施例的一个方面,一种图像处理设备可包括:图像传感器,包括多个像素和滤波器阵列,所述多个像素布置在滤波器阵列中,图像传感器被配置为生成输入图像数据,输入图像数据包括与滤波器阵列对应的图案;预处理器,被配置为:通过基于与所述多个像素中的每个对应的相位信息和与滤波器阵列对应的图案对输入图像数据进行重构,来生成重构图像数据;以及神经网络处理器,被配置为基于输入图像数据和重构图像数据生成输出图像数据。预处理器还可被配置为:基于与滤波器阵列对应的图案来确定重构图像数据的单位,并且基于输入图像数据来生成包括确定的单位的重构图像数据。
[0009]根据示例实施例的一个方面,一种图像处理设备的操作方法可包括:接收输入图像数据,输入图像数据包括与布置有多个像素的滤波器阵列对应的图案;通过基于与所述
多个像素中的每个对应的相位信息对输入图像数据进行重构,来生成重构图像数据;以及通过使用被配置为执行预设的图像处理操作的神经网络处理器,基于输入图像数据和重构图像数据生成输出图像数据。
附图说明
[0010]根据下面结合附图的描述,本公开的特定示例实施例的以上和其他方面、特征和优点将更清楚,在附图中:
[0011]图1是示出根据示例实施例的神经网络系统的框图;
[0012]图2是根据示例实施例的神经网络结构的示图;
[0013]图3是示出根据示例实施例的图像处理设备的框图;
[0014]图4和图5是示出根据示例实施例的预处理器的操作的示图;
[0015]图6是示出根据示例实施例的神经网络的示图;
[0016]图7是示出根据示例实施例的适配层分布块的示图;
[0017]图8是示出根据示例实施例的图像处理设备的操作方法的流程图;
[0018]图9是示出根据示例实施例的图像处理设备的框图;以及
[0019]图10是示出根据示例实施例的电子装置的框图。
具体实施方式
[0020]在下文中,将参照附图详细描述公开的实施例。
[0021]神经网络处理器可用于对由图像传感器生成的图像数据执行图像处理。可基于神经网络执行用于图像处理的深度学习、机器学习等。
[0022]神经网络处理器可被训练为执行图像处理操作(诸如,马赛克重排(remosaic)操作、去马赛克(demosaicing)操作、去噪(denoising)操作和去模糊(deblurring)操作)。当图像数据被输入到神经网络处理器,并且神经网络处理器对图像数据执行诸如马赛克重排操作或去马赛克操作的图像处理时,可能出现诸如假彩色的缺陷,并且可能降低图像质量。
[0023]提供了一种图像处理设备,该图像处理设备可使输入图像数据(例如,由图像传感器生成的图像数据)和重构图像数据被输入到神经网络处理器。可通过基于相位信息和图案(pattern)对输入图像数据进行重构来获得重构图像数据。重构图像数据可具有比输入图像数据小的尺寸,并且可被分类为包括一个属性的相位元素。
[0024]输入图像数据和重构图像数据可被输入到神经网络处理器,并且神经网络处理器可提取输入图像数据和重构图像数据的突出特性。因此,可改善神经网络处理器的性能,可在图像处理操作期间极大地降低缺陷,因此可生成高分辨率和高质量图像。图像处理设备可通过将不同的加权值(或称为权重值)应用于神经网络处理器的每个层级的输入图像数据来改善神经网络处理器的性能。
[0025]图1是示出根据示例实施例的神经网络系统的框图。
[0026]神经网络系统100可通过训练(或学习)神经网络或通过使用神经网络分析输入数据来推断包括在输入数据中的信息。神经网络系统100可基于推断的信息来确定情况,或者可控制安装有神经网络系统100的电子装置的配置。例如,神经网络系统100可应用于通过使用神经网络执行语音识别、图像识别、图像分类、图像处理等的智能电话、平板装置、智能
电视(TV)、增强现实(AR)装置、物联网(IoT)、自主车辆、机器人、医疗装置、无人机、高级驾驶员辅助系统(ADAS)、图像显示装置、测量装置等,并且神经网络系统100可安装在各种类型的电子装置之一上。在一个实施例中,图1的神经网络系统100可包括应用处理器。在下文中,神经网络系统100可应用于图像处理设备,并且主要对可对相机模块110的图像数据执行图像处理操作的配置进行描述。
[0027]参照图1,神经网络系统100可包括相机模块110、神经网络处理器(或神经网络装置)120、预处理器130、中央处理器(CPU)140、随机存取存储器150、存储器160和显示器170。神经网络系统100还可包括输入/输出模块、安全模块、电源控制装置等,并且还可包括各种类型的处理器。
[0028]在实施例中,神经网络系统100的一些或所有组件可形成在一个半导体芯片中。例如,在一些实施例中,神经网络系统100可被实现为片上系统(SoC),并且可被称为图像芯片等。神经网络系统100的组件可经由总线180彼此通信。
[0029]CPU 140可控制神经网络系统100的所有操作。CPU 140可包括一个处理本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像处理设备,包括:预处理器,被配置为:从图像传感器接收输入图像数据,输入图像数据包括与图像传感器的滤色器阵列对应的图案,并且通过基于与图像传感器的多个像素中的每个对应的相位信息对输入图像数据进行重构,来生成重构图像数据;以及神经网络处理器,被配置为基于输入图像数据和重构图像数据生成输出图像数据。2.如权利要求1所述的图像处理设备,其中,预处理器被配置为:基于所述相位信息和与滤色器阵列对应的图案来生成重构图像数据。3.如权利要求2所述的图像处理设备,其中,重构图像数据包括比与滤色器阵列对应的图案小的单位。4.如权利要求1所述的图像处理设备,其中,预处理器被配置为:通过分类出包括相同相位信息的输入图像数据来生成重构图像数据。5.如权利要求1所述的图像处理设备,其中,神经网络处理器被配置为执行马赛克重排操作、去马赛克操作、去噪操作、去模糊操作、伽马校正操作、高动态范围操作和色调映射操作中的至少一个。6.如权利要求1所述的图像处理设备,其中,神经网络处理器包括多个层级,并且其中,输入到所述多个层级中的每个的相应的图像数据彼此不同,相应的图像数据是输入图像数据或重构图像数据。7.如权利要求6所述的图像处理设备,其中,重构图像数据被输入到所述多个层级中的比输入图像数据被输入到的层级低的层级。8.如权利要求6所述的图像处理设备,其中,神经网络处理器包括适配层分布块,并且其中,适配层分布块被配置为:从与图像数据对应的特征图提取加权值,以及基于所述加权值计算所述特征图的加权和。9.如权利要求8所述的图像处理设备,其中,适配层分布块被配置为:通过对所述特征图执行卷积运算和激活函数运算来提取所述加权值。10.如权利要求1至9中的任一项所述的图像处理设备,其中,输入图像数据的通道数量不同于重构图像数据的通道数量。11.如权利要求10所述的图像处理设备,其中,重构图像数据的通道数量大于输入图像数据的通道数量。12.一种图像处理设备,包括:图像传感器,包括多个像素和滤色器阵列,图像传感器被配置为生成输入图像数据,输入图像数...

【专利技术属性】
技术研发人员:徐永一金艾莉娜宋成旭
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1