公开了使用神经网络进行数据处理的方法和装置。所述方法包括：通过基于第二图像转换第一图像使得第一图像的畸变对应于第二图像的畸变来确定第一转换图像，第一图像和第二图像具有不同的畸变；通过转换第一转换图像使得第一转换图像的畸变对应于第一图像的畸变来确定第一重新转换图像；以及基于第一重新转换图像与第一图像之间的损失训练第一形变场生成器和第二形变场生成器，第一形变场生成器被配置为确定表示从第一图像到第二图像的相对形变的第一相对形变场，第二形变场生成器被配置为确定表示从第二图像到第一图像的相对形变的第二相对形变场。变的第二相对形变场。变的第二相对形变场。
【技术实现步骤摘要】
使用神经网络进行数据处理的方法和装置
[0001]本申请要求于2021年5月17日在韩国知识产权局提交的第10
‑
2021
‑
0063699号韩国专利申请和于2021年6月28日在韩国知识产权局提交的第10
‑
2021
‑
0083974号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包括于此。
[0002]以下描述涉及一种使用神经网络进行数据处理的方法和装置。
技术介绍
[0003]机器学习可在给出了图像和标注的有监督环境中提高图像识别的性能。图像和标注可能需要被获取以进行图像识别，并且该获取操作可基于可更容易获得的直线性图像(rectilinear image)而被执行。然而，直线性图像在视场(FOV)方面会存在限制，为此引入了使用鱼眼镜头的相机。与用于直线性图像的一般镜头相比，鱼眼镜头的FOV可较少受到限制。然而，通过鱼眼镜头拍摄的图像可能存在形变或畸变。
[0004]可能缺乏针对这样的形变图像或畸变图像训练推断模型所需的标注。此外，由于这样的镜头或相机，可能会出现各种形变或畸变。因此，直接生成标注可能是困难的和/或低效的。
技术实现思路
[0005]提供本
技术实现思路
以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。
[0006]在一个总体方面，一种处理器实现的使用神经网络进行数据处理的方法包括：通过基于第二图像转换第一图像使得第一图像的畸变对应于第二图像的畸变来确定第一转换图像，第一图像和第二图像具有不同的畸变；通过转换第一转换图像使得第一转换图像的畸变对应于第一图像的畸变来确定第一重新转换图像；以及基于第一重新转换图像与第一图像之间的损失训练第一形变场生成器和第二形变场生成器，第一形变场生成器被配为确定表示从第一图像到第二图像的相对形变的第一相对形变场，第二形变场生成器被配置为确定表示从第二图像到第一图像的相对形变的第二相对形变场。
[0007]所述方法可包括：通过转换第二图像使得第二图像的畸变对应于第一图像的畸变来确定第二转换图像；通过转换第二转换图像使得第二转换图像的畸变对应于第二图像的畸变来确定第二重新转换图像；以及基于第二重新转换图像与第二图像之间的损失来训练第一形变场生成器和第二形变场生成器。
[0008]可通过基于第一转换图像与第三转换图像之间的损失的训练来确定第一形变场生成器的初始参数，第三转换图像基于鱼眼模拟从第一图像被确定。
[0009]第一相对形变场和第二相对形变场可具有逆形变关系。
[0010]确定第一转换图像的步骤可包括：通过将第一相对形变场应用于第一图像来确定
具有第二图像的畸变的第一转换图像。
[0011]确定第一重转换图像可包括：通过将第二相对形变场应用于第一转换图像来确定具有第一图像的畸变的第一重转换图像。
[0012]第一图像和第二图像可以是包括不同内容和不同场景中的一者或两者的不成对图像。
[0013]训练第一形变场生成器和第二形变场生成器的步骤可包括：在没有与第一图像的畸变和第二图像的畸变相关联的信息的情况下，通过无监督学习来训练第一形变场生成器和第二形变场生成器。
[0014]所述方法可包括：基于第一转换图像和转换标签图像来训练针对第二图像的推断模型，转换标签图像通过转换与第一图像对应的标签图像使得标签图像的畸变对应于第二图像的畸变而确定。
[0015]所述方法可包括：使用第二图像、转换标签图像和第四转换图像，通过无监督域自适应来训练针对第二图像的推断模型，转换标签图像通过转换与第一图像对应的标签图像使得标签图像的畸变对应于第二图像的畸变而确定，第四转换图像通过转换第一图像使得第一图像的畸变对应于第二图像的畸变和纹理而确定。
[0016]第二图像可不具有对应的标签图像。
[0017]在另一总体方面，一个或多个实施例包括一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，将处理器配置为执行在此描述的操作和方法中的任何一个、任何组合或所有。
[0018]在另一总体方面，一种处理器实现的使用神经网络进行数据处理的方法包括：基于具有不同畸变的源图像和目标图像来确定表示从源图像到目标图像的相对形变的相对形变场；以及通过相对形变场应用于源图像来确定具有目标图像的畸变的转换的源图像。
[0019]在另一总体方面，一种具有数据处理的装置包括：一个或多个处理器，被配置为：通过基于第二图像转换第一图像使得第一图像的畸变对应于第二图像的畸变来确定第一转换图像，第一图像和第二图像具有不同的畸变；通过转换第一转换图像使得第一转换图像的畸变对应于第一图像的畸变来确定第一重新转换图像；以及基于第一重新转换图像与第一图像之间的损失来训练第一形变场生成器和第二形变场生成器，第一形变场生成器被配置为确定表示从第一图像到第二图像的相对形变的第一相对形变场，第二形变场生成器被配置为确定表示从第二图像到第一图像的相对形变的第二相对形变场。
[0020]所述一个或多个处理器可被配置为：通过转换第二图像使得第二图像的畸变对应于第一图像的畸变来确定第二转换图像；通过转换第二转换图像使得第二转换图像的畸变对应于第二图像的畸变来确定第二重新转换图像；并且基于第二重新转换图像与第二图像之间的损失来训练第一形变场生成器和第二形变场生成器。
[0021]第一形变场生成器的初始参数可通过基于第一转换图像与第三转换图像之间的损失的训练来确定，第三转换图像基于鱼眼模拟从第一图像被确定。
[0022]第一相对形变场和第二相对形变场可具有逆形变关系。
[0023]为了确第一转换图像，所述一个或多个处理器可被配置为：通过将第一相对形变场应用于第一图像来确定具有第二图像的畸变的第一转换图像。
[0024]所述一个或多个处理器可被配置为：通过将第二相对形变场应用于第一转换图像
来确定具有第一图像的畸变的第一重新转换图像。
[0025]所述装置可以是移动电话、智能电话、个人数字助理(PDA)、上网本、平板计算机、膝上型计算机、移动装置、智能手表、智能手环、智能眼镜、可穿戴装置、台式机、服务器、计算装置、电视(TV)、智能TV、冰箱、家用电器、门锁、安全装置和交通工具中的至少一者。
[0026]在另一总体方面，一种处理器实现使用神经网络进行数据处理的方法包括：基于使用第一形变场生成器确定的第一相对形变场，将第一场景的第一图像从第一图像的畸变转换为第二场景的第二图像的畸变；基于使用第二形变场生成器确定的第二相对形变场，将转换的第一图像从第二图像的畸变重新转换到第一图像的畸变；以及基于重新转换的第一图像与第一图像之间的损失来训练第一神经网络和第二神经网络。
[0027]第一相对形变场可对应于第二图像中的像素的位置，第一图像中的像素移动到所述位置，使得本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种处理器实现的使用神经网络进行数据处理的方法，所述方法包括：通过基于第二图像转换第一图像使得第一图像的畸变对应于第二图像的畸变来确定第一转换图像，第一图像和第二图像具有不同的畸变；通过转换第一转换图像使得第一转换图像的畸变对应于第一图像的畸变来确定第一重新转换图像；以及基于第一重新转换图像与第一图像之间的损失训练第一形变场生成器和第二形变场生成器，第一形变场生成器被配置为确定表示从第一图像到第二图像的相对形变的第一相对形变场，第二形变场生成器被配置为确定表示从第二图像到第一图像的相对形变的第二相对形变场。2.根据权利要求1所述的方法，还包括：通过转换第二图像使得第二图像的畸变对应于第一图像的畸变来确定第二转换图像；通过转换第二转换图像使得第二转换图像的畸变对应于第二图像的畸变来确定第二重新转换图像；以及基于第二重新转换图像与第二图像之间的损失来训练第一形变场生成器和第二形变场生成器。3.根据权利要求1所述的方法，其中，通过基于第一转换图像与第三转换图像之间的损失的训练来确定第一形变场生成器的初始参数，第三转换图像基于鱼眼模拟从第一图像被确定。4.根据权利要求1所述的方法，其中，第一相对形变场和第二相对形变场具有逆形变关系。5.根据权利要求1所述的方法，其中，确定第一转换图像的步骤包括：通过将第一相对形变场应用于第一图像来确定具有第二图像的畸变的第一转换图像。6.根据权利要求1所述的方法，其中，确定第一重转换图像的步骤包括：通过将第二相对形变场应用于第一转换图像来确定具有第一图像的畸变的第一重新转换图像。7.根据权利要求1所述的方法，其中，第一图像和第二图像是包括不同内容和不同场景中的一者或两者的不成对图像。8.根据权利要求1所述的方法，其中，训练第一形变场生成器和第二形变场生成器的步骤包括：在没有与第一图像的畸变和第二图像的畸变相关联的信息的情况下，通过无监督学习来训练第一形变场生成器和第二形变场生成器。9.根据权利要求1所述的方法，还包括：基于第一转换图像和转换标签图像来训练针对第二图像的推断模型，转换标签图像是通过转换与第一图像对应的标签图像使得转换标签图像的畸变对应于第二图像的畸变而确定。10.根据权利要求1所述的方法，还包括：使用第二图像、转换标签图像和第四转换图像，通过无监督域自适应来训练针对第二图像的推断模型，转换标签图像通过转换与第一图像对应的标签图像使得标签图像的畸变对应于第二图像的畸变而确定，第四转换图像通过转换第一图像使得第一图像的畸变对应
于第二图像的畸变和纹理而确定。11.根据权利要求1至权利要...
【专利技术属性】
技术研发人员：张水尽，罗柱汉，吴度官，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。