【技术实现步骤摘要】
示例实施例总体上涉及半导体集成电路，并且更具体地，涉及基于用深度学习的超分辨率来处理图像的方法、以及使用处理图像的方法来预测半导体装置的特性的方法。
技术介绍
1、超分辨率(sr)是从对应的低分辨率(lr)图像/视频恢复或重建高分辨率(hr)图像/视频的处理。超分辨率在各种计算机视觉任务(诸如，安全监控、医学摄影)中已经被普遍地采用。随着机器学习(诸如，深度学习)的迅速发展，基于机器学习的超分辨率算法已被广泛地研究。深度学习基于具有代表学习的人工神经网络。
2、例如，关于构建高分辨率图像/视频的典型方法是通过使用卷积神经网络(cnn)学习从低分辨率图像/视频到高分辨率图像/视频的非线性映射。cnn是一类使用被称为卷积的数学运算来代替其层中的至少一个层的一般矩阵乘法的人工神经网络。
技术实现思路
1、本公开的至少一个示例实施例提供基于能够使用神经网络模型高效地生成高分辨率图像的超分辨率来处理图像的方法。
2、本公开的至少一个示例实施例提供了使用基于超分辨率处理图像的方法来预测半导体装置的特性的方法。
3、根据示例实施例的基于超分辨率处理图像的方法包括：使用超分辨率卷积神经网络(srcnn)对低分辨率输入图像顺序地执行多个计算操作以生成残差图像，对低分辨率输入图像执行插值操作以生成插值图像，以及将残差图像与插值图像相加以生成高分辨率输出图像。高分辨率输出图像具有比低分辨率输入图像的分辨率高的分辨率。srcnn包括用于执行所述多个计算操作的多个计算层。
4、根据示例实施例的预测半导体装置的特性的方法包括：使用低分辨率输入特性数据和超分辨率卷积神经网络(srcnn)获得高分辨率输出特性数据，以及使用高分辨率输出特性数据检查半导体装置的特性。高分辨率输出特性数据和低分辨率输入特性数据与半导体装置相关联。获得高分辨率输出特性数据的步骤包括：使用srcnn对低分辨率输入特性数据顺序地执行多个计算操作以生成残差特性数据，对低分辨率输入特性数据执行插值操作以生成插值特性数据，以及将残差特性数据与插值特性数据相加以生成高分辨率输出特性数据。高分辨率输出特性数据具有比低分辨率输入特性数据的分辨率高的分辨率。srcnn包括用于执行所述多个计算操作的多个计算层。所述多个计算层包括多个卷积层和用于后上采样的去卷积层。所述去卷积层是所述多个计算层之中的最后的计算层。
5、一种预测图像传感器的光效率的方法包括：使用超分辨率卷积神经网络(srcnn)对低分辨率输入图像顺序地执行多个计算操作以生成残差图像，对低分辨率输入图像执行双三次插值操作以生成插值图像，将残差图像与插值图像相加以生成高分辨率输出图像，以及使用高分辨率输出图像来预测图像传感器的多个像素的光效率。高分辨率输出图像具有比低分辨率输入图像的分辨率高的分辨率。srcnn包括多个卷积层、多个带泄漏修正线性单元(relu)层和用于后上采样的去卷积层。所述多个卷积层和所述多个带泄漏relu层被交替地布置。所述去卷积层是srcnn的最后的层。残差图像和插值图像中的每个具有比低分辨率输入图像的分辨率高的分辨率并且具有与高分辨率输出图像的分辨率相等的分辨率。
6、在根据示例实施例的基于超分辨率处理图像的方法中，可通过将低分辨率图像应用于基于残差学习和后上采样的超分辨率卷积神经网络模型来生成高分辨率图像。在学习或训练处理期间，过拟合和梯度消失可被解决，并且计算量可被减少。另外，可在相对短的时间内生成更接近真实图像的图像。因此，图像处理性能和效率可被提高。
7、在根据示例实施例的预测半导体装置的特性的方法中，可通过将低分辨率特性数据应用于超分辨率卷积神经网络来生成高分辨率特性数据。可从较少量的输入特性值获得较大量的输出特性值，并且可在相对短的时间内获得具有提高的准确度的特性值。因此，半导体装置的设计和制造效率可被提高。
本文档来自技高网...【技术保护点】
1.一种基于超分辨率处理图像的方法，所述方法包括：
2.根据权利要求1所述的方法，
3.根据权利要求1所述的方法，其中，残差图像和插值图像中的每个具有比低分辨率输入图像的分辨率高的分辨率。
4.根据权利要求3所述的方法，其中，残差图像和插值图像中的每个具有与高分辨率输出图像的分辨率相等的分辨率。
5.根据权利要求1所述的方法，其中，生成插值图像的步骤包括：对低分辨率输入图像执行双三次插值操作。
6.根据权利要求1至5中的任一项所述的方法，还包括：
7.根据权利要求6所述的方法，其中，执行训练处理的步骤包括：
8.根据权利要求7所述的方法，还包括：
9.根据权利要求7所述的方法，还包括：
10.根据权利要求7所述的方法，其中，获得高分辨率预测输出图像的步骤包括：
11.根据权利要求7所述的方法，其中，在训练的步骤期间，包括在SRCNN中的多个权重被更新。
12.一种预测半导体装置的特性的方法，所述方法包括：
13.根据权利要求12所述的方法
14.根据权利要求13所述的方法，
15.根据权利要求14所述的方法，其中，包括在第二图像传感器中的第二像素的尺寸小于包括在第一图像传感器中的第一像素的尺寸。
16.根据权利要求14所述的方法，其中，包括在第二图像传感器中的第二像素的第二数量大于包括在第一图像传感器中的第一像素的第一数量。
17.根据权利要求13所述的方法，其中，半导体装置的特性对应于包括在图像传感器中的所述多个像素的光效率。
18.根据权利要求12至17中的任一项所述的方法，还包括：
19.根据权利要求18所述的方法，其中，执行训练处理的步骤包括：
20.一种预测图像传感器的光效率的方法，所述方法包括：
...【技术特征摘要】
1.一种基于超分辨率处理图像的方法，所述方法包括：
2.根据权利要求1所述的方法，
3.根据权利要求1所述的方法，其中，残差图像和插值图像中的每个具有比低分辨率输入图像的分辨率高的分辨率。
4.根据权利要求3所述的方法，其中，残差图像和插值图像中的每个具有与高分辨率输出图像的分辨率相等的分辨率。
5.根据权利要求1所述的方法，其中，生成插值图像的步骤包括：对低分辨率输入图像执行双三次插值操作。
6.根据权利要求1至5中的任一项所述的方法，还包括：
7.根据权利要求6所述的方法，其中，执行训练处理的步骤包括：
8.根据权利要求7所述的方法，还包括：
9.根据权利要求7所述的方法，还包括：
10.根据权利要求7所述的方法，其中，获得高分辨率预测输出图像的步骤包括：
11.根据权利要求7所述的方法，其中，在训练的步骤期间，包括在...
【专利技术属性】
技术研发人员：洪振硕，石俊熙，徐张源，李揆一，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。