应用处理器及其操作方法和图像处理系统技术方案

提供了应用处理器及其操作方法和图像处理系统。所述应用处理器包括：神经处理单元，被配置为：将输入图像转换为基于第一图案的第一图像，并且使用神经网络生成第二图像，第二图像补偿所述转换；以及图像信号处理器，包括多条管线，所述多条管线被配置为执行图像信号处理，所述多条管线至少包括被配置为接收第一图像的第一管线和被配置为接收第二图像的第二管线。管线。管线。

【技术实现步骤摘要】
应用处理器及其操作方法和图像处理系统
[0001]本申请基于并要求于2021年3月23日在韩国知识产权局提交的第 10
‑
2021
‑
0037440号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。


[0002]专利技术构思涉及应用处理器，更具体地，涉及具有用于优化图像信号处理的结构的应用处理器及其操作方法。

技术介绍

[0003]图像传感器可将例如通过光学镜头输入的光信号转换为电图像信号。近来的图像传感器具有根据其上安装有图像传感器的产品而修改的结构，并且可生成以各种图案(pattern)的图像(例如，以各种图案的形式的图像或基于各种图案的图像)。应用处理器可包括处理单元，处理单元将由图像传感器生成的图像转换为RGB类型的图像。由于由图像传感器生成的图像的图案可能变化，因此期望用于在转换为RGB类型的图像时优化硬件资源的使用的应用处理器的结构。

技术实现思路

[0004]专利技术构思提供了具有用于优化图像信号处理的结构的应用处理器及其操作方法。<br/>[0005]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用处理器，包括：神经处理单元，被配置为：将输入图像转换为基于第一图案的第一图像，并且使用神经网络生成第二图像，第二图像补偿所述转换；以及图像信号处理器，包括多条管线，所述多条管线被配置为执行图像信号处理，所述多条管线至少包括被配置为接收第一图像的第一管线和被配置为接收第二图像的第二管线。2.根据权利要求1所述的应用处理器，其中，第一图案包括拜耳图案；并且输入图像具有与第一图案不同的第二图案。3.根据权利要求1所述的应用处理器，其中，第二图像表示输入图像的亮度信息。4.根据权利要求1所述的应用处理器，其中，第一管线被配置为：通过对第一图像执行图像信号处理来输出图像；并且第二管线连接到第一管线的后端，并且第二管线被配置为：通过对从第一管线输出的图像执行颜色插值来生成红色、绿色、蓝色(RGB)类型的第三图像。5.根据权利要求4所述的应用处理器，其中，第二管线还被配置为：基于第二图像对第三图像应用滤波。6.根据权利要求4所述的应用处理器，其中，第一管线被配置为：执行从第一图像去除噪声和检测第一图像中的坏像素中的至少一者。7.根据权利要求1所述的应用处理器，其中，神经网络包括子网络，子网络被配置为：基于输入图像和预测图像来学习特征图，并且输出与特征图对应的图像。8.根据权利要求7所述的应用处理器，其中，特征图基于包括基于第一图案的原始图像与预测图像之间的差值的损失函数；并且子网络还被配置为：基于损失函数而被训练，并且从输入图像输出第一图像。9.根据权利要求7所述的应用处理器，其中，特征图基于包括表示亮度信息的原始图像与预测图像之间的差值的损失函数；并且子网络还被配置为：基于损失函数而被训练，并且从输入图像输出第二图像。10.根据权利要求7所述的应用处理器，其中，特征图基于包括去除了噪声的原始图像与预测图像之间的差值的损失函数；并且子网络还被配置为：基于损失函数而被训练，并且从输入图像输出去除了噪声的图像。11.根据权利要求1至权利要求10中的任一项所述的应用处理器，还包括：存储器装置，被配置为：从神经处理单元接收第一图像和第...

【专利技术属性】
技术研发人员：李周贤，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：