图像恢复方法和装置制造方法及图纸

提供了一种图像恢复方法和装置。图像恢复装置获得包括针对每个视点的输入图像信息的输入数据，并且使用图像恢复模型从通过使用每个视点的全局变换信息和每个视点的视差信息扭曲输入图像信息而生成的扭曲图像信息生成输出图像。输出图像。输出图像。

【技术实现步骤摘要】
图像恢复方法和装置
[0001]本申请要求于2020年7月24日在韩国知识产权局提交的第10
‑
2020
‑
0092384号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。


[0002]与示例实施例一致的方法和设备涉及图像恢复。

技术介绍

[0003]光学技术和图像处理技术的发展已经导致图像拍摄装置在广泛的应用领域(例如，多媒体内容、安全和目标识别)中的广泛使用。图像拍摄装置可设置在移动装置、相机、车辆、计算机等中，以拍摄图像、识别对象或获得用于控制装置的数据。图像拍摄装置的大小可通过透镜的大小、透镜的焦距、传感器的大小等而被确定。为了减小图像拍摄装置的大小，包括紧凑且小的透镜的多透镜可被使用。

技术实现思路

[0004]一个或多个示例实施例可至少解决以上问题和/或缺点以及以上未描述的其它缺点。此外，示例实施例不需要克服以上描述的缺点，并且示例实施例可不克服以上描述的问题中的任何问题。
[0005]根据示例实施例的一方面，提供了一种图像恢复方法，所述图像恢复方法包括：获得包括视点中的每个的输入图像信息的输入数据；从获得的输入数据估计视点中的每个的全局变换参数；从获得的输入数据估计视点中的每个的视差信息；通过使用全局变换参数和视差信息扭曲输入图像信息来生成视点中的每个的扭曲图像信息；和使用图像恢复模型从生成的扭曲图像信息生成所述多个视点的输出图像。根据公开的一方面，一种图像恢复方法包括：获得包括多个视点中的每个的相应的输入图像信息的输入数据；基于获得的输入数据估计所述多个视点中的每个的相应的全局变换参数；基于获得的输入数据估计所述多个视点中的每个的相应的视差信息；通过使用相应的全局变换参数和相应的视差信息相应的扭曲输入图像信息来生成所述多个视点中的每个的相应的扭曲图像信息；和使用图像恢复模型从生成的所述多个视点中的每个的相应的扭曲图像信息生成输出图像。
[0006]获得输入数据的步骤可包括：通过布置在不同位置处的多个透镜拍摄多个视点图像；和从拍摄的所述多个视点图像获得相应的输入图像信息。
[0007]获得相应的输入图像信息的步骤可包括：使用特征提取模型从所述多个视点图像中的每个提取相应的输入特征图作为相应的输入图像信息。
[0008]生成相应的扭曲图像信息的步骤可包括：通过使用全局变换参数将相应的输入图像信息变换到与目标视点对应的目标图像信息的像素坐标系来生成相应的变换图像信息；和通过使用相应的视差信息校正生成的相应的变换图像信息相对于目标图像信息的视差来生成相应的扭曲图像信息。
[0009]使用相应的全局变换参数进行变换的步骤可包括：使用与参考视差对应的单个深
度，将相应的输入图像信息的所有像素扭曲到目标图像信息的像素坐标系。
[0010]扭曲的步骤可包括：使用全局变换参数计算相应的输入图像信息中的与目标图像信息的像素坐标系中的位置对应的坐标；在相应的输入图像信息中获得计算的坐标的像素值；和将相应的变换图像信息中的位置的像素值设置为与获得的像素值相等。
[0011]生成相应的扭曲图像信息的步骤可包括：通过扭曲从所述多个视点图像中的每个提取的特征图来生成扭曲特征图。
[0012]估计相应的全局变换参数的步骤可包括：通过全局池化操作获得从输入数据去除了空间维度分量的信息；和基于去除了空间维度分量的信息计算相应的全局变换参数。
[0013]计算相应的全局变换参数的步骤可包括：将与卷积神经网络的至少一个全连接层相关的操作应用于去除了空间维度分量的信息。
[0014]估计相应的视差信息的步骤可包括：相应的视点中的多个像素中的每个，通过对从输入数据提取的特征数据执行至少一个卷积滤波来估计相应的像素视差信息。
[0015]估计相应的像素视差信息的步骤可包括：以与输入数据的分辨率相同的分辨率计算相应的像素视差信息。
[0016]图像恢复模型可包括包含至少一个卷积层的神经网络，所述至少一个卷积层将卷积滤波应用于输入数据。
[0017]生成输出图像的步骤可包括：通过对包括在相应的扭曲图像信息中的像素执行像素混洗来生成通过单个视点重新对准的图像信息；和通过将图像恢复模型应用于生成的重新对准的图像信息来生成具有目标分辨率的输出图像。
[0018]输入数据可包括多个像素，并且生成输出图像的步骤可包括：在不感测与所述多个像素中的每个对应的相应的目标点的深度的情况下生成输出图像。
[0019]输出图像的分辨率可大于所述多个视点图像中的每个的相应的分辨率。
[0020]获得输入数据的步骤可包括：通过包括多透镜阵列的图像传感器拍摄包括多个视点图像的多透镜图像；和从拍摄的多透镜图像生成输入数据。
[0021]获得输入数据的步骤可包括：拍摄多个视点图像，所述多个视点图像中的每个通过多个图像传感器中的相应的图像传感器拍摄；和从拍摄的所述多个视点图像生成输入数据。
[0022]一种非暂时性计算机可读存储介质可存储指令，所述指令能够由处理器执行，以执行公开的上述方面的图像恢复方法。
[0023]根据公开的一方面，一种图像恢复装置包括：存储器，被配置为在其中存储图像恢复模型；和处理器，被配置为：获得包括多个视点中的每个的相应的输入图像信息的输入数据，基于获得的输入数据估计所述多个视点中的每个的相应的全局变换参数，基于获得的输入数据估计所述多个视点中的每个的相应的视差信息，通过使用相应的全局变换参数和相应的视差信息扭曲相应的输入图像信息来生成所述多个视点中的每个的相应的扭曲图像信息，以及使用图像恢复模型从所述多个视点中的每个的生成的相应的扭曲图像信息生成输出图像。
[0024]根据公开的一方面，一种相机装置包括：透镜阵列，包括：多个透镜，所述多个透镜中的每个与多个视点中的相应的视点对应；感测阵列，包括：多个感测元件，所述多个感测元件被配置为感测穿过透镜阵列的光，感测阵列被划分为与所述多个透镜对应的多个感测
区域；和处理器，被配置为：获得包括所述多个视点中的每个的相应的输入图像信息的输入数据，基于获得的输入数据估计所述多个视点中的每个的相应的全局变换参数，基于获得的输入数据估计所述多个视点中的每个的相应的视差信息，通过使用相应的全局变换参数和相应的视差信息扭曲相应的输入图像信息来生成所述多个视点中的每个的相应的扭曲图像信息，以及使用图像恢复模型从所述多个视点中的每个的生成的相应的扭曲图像信息生成输出图像。
[0025]根据公开的一方面，一种移动终端包括：图像传感器，被配置为拍摄包括分别与多个视点对应的多个视点图像的多透镜图像；存储器，被配置为在其中存储图像恢复模型；和处理器，被配置为：获得包括所述多个视点中的每个的相应的输入图像信息的输入数据，基于获得的输入数据估计所述多个视点中的每个的相应的全局变换参数，基于获得的输入数据估计所述多个视点中的每个的相应的视差信息，通过使用相应的全局变换参数和相应的视差信息扭曲相应的输入图像信息来生成所述多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像恢复方法，包括：获得包括多个视点中的每个的相应的输入图像信息的输入数据；基于获得的输入数据估计所述多个视点中的每个的相应的全局变换参数；基于获得的输入数据估计所述多个视点中的每个的相应的视差信息；通过使用相应的全局变换参数和相应的视差信息扭曲相应的输入图像信息来生成所述多个视点中的每个的相应的扭曲图像信息；和使用图像恢复模型从生成的所述多个视点中的每个的相应的扭曲图像信息生成输出图像。2.根据权利要求1所述的图像恢复方法，其中，获得输入数据的步骤包括：通过布置在不同位置处的多个透镜拍摄多个视点图像；和从拍摄的所述多个视点图像获得所述多个视点中的每个的相应的输入图像信息，并且其中，获得所述多个视点中的每个的相应的输入图像信息的步骤包括：使用特征提取模型从所述多个视点图像中的每个提取相应的输入特征图作为相应的输入图像信息。3.根据权利要求1所述的图像恢复方法，其中，生成所述多个视点中的每个的相应的扭曲图像信息的步骤包括：通过使用相应的全局变换参数将相应的输入图像信息变换到与目标视点对应的目标图像信息的像素坐标系，来生成相应的变换图像信息；和通过使用相应的视差信息校正生成的相应的变换图像信息相对于目标图像信息的视差，来生成相应的扭曲图像信息，其中，使用相应的全局变换参数进行变换的步骤包括：使用与参考视差对应的单个深度，将相应的输入图像信息的所有像素扭曲到目标图像信息的像素坐标系，其中，扭曲的步骤包括：使用相应的全局变换参数计算相应的输入图像信息中的与目标图像信息的像素坐标系中的位置对应的坐标；在相应的输入图像信息中获得计算的坐标的像素值；和将相应的变换图像信息中的位置的像素值设置为与获得的像素值相等。4.根据权利要求2至3中的任一项所述的图像恢复方法，其中，生成相应的扭曲图像信息的步骤包括：通过扭曲从所述多个视点图像中的每个提取的特征图来生成扭曲特征图。5.根据权利要求1至3中的任一项所述的图像恢复方法，其中，估计相应的全局变换参数的步骤包括：通过全局池化操作获得从输入数据去除了空间维度分量的信息；和基于去除了空间维度分量的信息获得相应的全局变换参数，其中，获得相应的全局变...

【专利技术属性】
技术研发人员：李世镐，南东暻，李硕，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：