【技术实现步骤摘要】
公开的一个或多个实施例涉及半导体装置，并且更具体地，涉及用于基于深度学习来校正坏像素的图像信号处理器、图像传感器和图像传感器的操作方法。
技术介绍
1、近来，随着对具有高质量和高图像质量的照片和视频的需求增加，增大的数量的感测像素被集成到像素阵列中，以便提高图像传感器的分辨率，并且因此，感测像素被小型化。然而，坏像素(bad pixel)由于工艺问题而频繁地出现在像素阵列的固定位置，并且因此用于校正坏像素的技术被需要。
2、深度学习(包括神经网络)是通过使用训练后的神经网络来从输入数据提取有效信息的技术。深度学习可用于校正坏像素，但是由于过多数量的算术运算而在实时处理中具有困难。
技术实现思路
1、公开的一个或多个实施例提供用于基于深度学习来实时地校正坏像素的图像传感器和图像传感器的操作方法。
2、根据公开的一个方面，提供一种图像传感器，所述图像传感器包括：像素阵列，包括多个像素，每个像素被配置为将接收的光信号转换为电信号；读出电路，被配置为将来自所述多个像素中的每个的电信号转换为图像数据，并且输出图像数据；以及图像信号处理器，被配置为将图像数据提供给神经网络的多个层之中的输入层，基于表示图像数据的第一像素组中的一个或多个坏像素之中的至少一个坏像素的位置的位置信息来生成位置数据，将位置数据提供给神经网络的多个层之中的中间层，并且基于神经网络来校正图像数据的第一像素组中的所述一个或多个坏像素。
3、根据公开的另一方面，提供一种图像信号处理器，所述图
4、根据公开的另一方面，提供一种用于使用神经网络来校正多个坏像素的图像传感器的操作方法，所述操作方法包括：基于接收的光信号来生成图像数据；将图像数据提供给神经网络的多个层之中的输入层；基于表示图像数据的第一像素组中的一个或多个坏像素之中的至少一个坏像素的位置的位置信息来生成位置数据；将位置数据提供给神经网络的所述多个层之中的中间层；以及基于神经网络来校正图像数据的第一像素组中的所述一个或多个坏像素。
本文档来自技高网...【技术保护点】
1.一种图像传感器，包括：
2.根据权利要求1所述的图像传感器，其中，图像信号处理器还被配置为：将在所述中间层之前的层的输出和位置数据作为输入提供给所述中间层。
3.根据权利要求1所述的图像传感器，其中，所述中间层包括全连接层。
4.根据权利要求1所述的图像传感器，其中，图像数据包括多个像素组，每个像素组包括以N×N矩阵布置的相同颜色的多个像素，其中，N是大于等于2的整数，
5.根据权利要求4所述的图像传感器，其中，位置数据包括与以N×(N-K)矩阵布置的像素对应的数量为N×(N-K)的位，N×(N-K)矩阵包括以N×N矩阵布置的第一像素组的像素之中的所述至少一个坏像素并且不包括以N×N矩阵布置的第一像素组的像素之中的M×K矩阵的第二坏像素。
6.根据权利要求5所述的图像传感器，其中，N×(N-K)个位中的每个包括：1位标志，表示相应的像素是否为坏像素。
7.根据权利要求4所述的图像传感器，其中，位置数据包括与以N×N矩阵布置的像素中的每个对应的数量为N×N的位。
8.根据权利要求1所述的图像传感
9.根据权利要求8所述的图像传感器，其中，图像信号处理器还被配置为：
10.根据权利要求9所述的图像传感器，其中，图像信号处理器还被配置为：基于翻转的输入数据，对位置信息进行编码以生成位置数据，位置信息表示所述至少一个坏像素的位置。
11.一种图像信号处理器，包括：
12.根据权利要求11所述的图像信号处理器，其中，预处理器还被配置为：将编码数据直接输入到神经网络的多个层之中的中间层。
13.根据权利要求12所述的图像信号处理器，其中，图像数据包括多个像素组，每个像素组包括以N×N矩阵布置的相同颜色的多个像素，其中，N是大于等于2的整数，并且
14.根据权利要求13所述的图像信号处理器，其中，编码数据包括数量为N×N的位，数量为N×N的位与所述多个像素组之中的包括所述多个坏像素的目标像素组中的以N×N矩阵布置的像素中的每个对应，并且数量为N×N的位中的每个表示相应的像素是否是坏像素。
15.根据权利要求13所述的图像信号处理器，其中，所述多个坏像素包括至少一个第一坏像素和以M×K矩阵布置的第二坏像素，其中，M是大于等于2且小于N的整数，并且K是大于等于1且小于等于N的整数，并且
16.根据权利要求15所述的图像信号处理器，其中，神经网络包括：至少一个卷积层和至少一个全连接层，并且
17.根据权利要求13所述的图像信号处理器，其中，预处理器还被配置为：当所述多个坏像素布置为在目标像素组中具有第二图案时，翻转输入图像数据以生成翻转的输入图像数据，并且将翻转的输入图像数据提供给神经网络，并且
18.一种图像传感器的操作方法，所述图像传感器用于使用神经网络来校正多个坏像素，所述操作方法包括：
19.根据权利要求18所述的操作方法，其中，目标像素组包括以N×N矩阵布置的相同颜色的像素，其中，N是大于等于2的整数，并且
20.根据权利要求18所述的操作方法，还包括：当坏像素布置为在目标像素组中具有第一图案时，生成包括目标像素组和外围像素组的部分图像数据，并且翻转所述部分图像数据以生成输入图像数据。
...【技术特征摘要】
1.一种图像传感器，包括：
2.根据权利要求1所述的图像传感器，其中，图像信号处理器还被配置为：将在所述中间层之前的层的输出和位置数据作为输入提供给所述中间层。
3.根据权利要求1所述的图像传感器，其中，所述中间层包括全连接层。
4.根据权利要求1所述的图像传感器，其中，图像数据包括多个像素组，每个像素组包括以n×n矩阵布置的相同颜色的多个像素，其中，n是大于等于2的整数，
5.根据权利要求4所述的图像传感器，其中，位置数据包括与以n×(n-k)矩阵布置的像素对应的数量为n×(n-k)的位，n×(n-k)矩阵包括以n×n矩阵布置的第一像素组的像素之中的所述至少一个坏像素并且不包括以n×n矩阵布置的第一像素组的像素之中的m×k矩阵的第二坏像素。
6.根据权利要求5所述的图像传感器，其中，n×(n-k)个位中的每个包括：1位标志，表示相应的像素是否为坏像素。
7.根据权利要求4所述的图像传感器，其中，位置数据包括与以n×n矩阵布置的像素中的每个对应的数量为n×n的位。
8.根据权利要求1所述的图像传感器，其中，图像信号处理器还被配置为通过以下操作来校正第一像素组中的所述一个或多个坏像素：
9.根据权利要求8所述的图像传感器，其中，图像信号处理器还被配置为：
10.根据权利要求9所述的图像传感器，其中，图像信号处理器还被配置为：基于翻转的输入数据，对位置信息进行编码以生成位置数据，位置信息表示所述至少一个坏像素的位置。
11.一种图像信号处理器，包括：
12.根据权利要求11所述的图像信号处理器，其中，预处理器还被配置为：将...
【专利技术属性】
技术研发人员：卢尧韩，金制年，成烈旼，宋容准，安赞祐，李在城，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。