生成新视角图像的方法技术

本申请公开了一种生成新视角图像的方法

【技术实现步骤摘要】
生成新视角图像的方法、相关方法及相关产品


[0001]本申请涉及人工智能
，尤其涉及一种生成新视角图像的方法
、
相关方法及相关产品
。

技术介绍

[0002]随着计算机视觉技术的快速发展，近年来已经有成熟技术，可基于拍摄视角为原始视角下的原始图像，生成拍摄视角为新视角下的图像
。
但是在原始图像中包括处于运动状态的动目标和处于静止状态的背景的情况下，如何确定新视角下的动目标与背景的遮挡关系，对提升新视角下的图像的质量具有非常重要的意义
。

技术实现思路

[0003]本申请提供一种生成新视角图像的方法
、
相关方法及相关产品，其中，相关方法包括：光流模型的训练方法
、
路径规划方法，相关装置包括：生成新视角图像的装置
、
光流模型的训练装置
、
车
、
电子设备
、
计算机可读存储介质
。
[0004]第一方面，提供了一种生成新视角图像方法，所述方法包括：
[0005]获取原始图像和所述原始图像的深度信息，所述原始图像为相机以原始视角对目标场景进行拍摄得到的图像，所述目标场景包括背景和动目标；
[0006]利用神经网络对所述原始图像和所述深度信息进行处理，得到所述原始视角下的多平面图像
(multiplane images
，
MPI)
的多张原始深度图像；
[0007]基于所述多张原始深度图像，生成第一深度图像和第二深度图像；所述第一深度图像包括：在所述相机以新视角对所述背景进行拍摄的情况下，所述背景的深度信息，所述第二深度图像包括：在所述相机以新视角对所述动目标进行拍摄的情况下，所述动目标的深度信息；
[0008]基于所述第一深度图像和所述第二深度图像，确定目标遮挡关系，所述目标遮挡关系为在所述相机以所述新视角对所述目标场景进行拍摄的情况下，所述背景与所述动目标的遮挡关系
。
[0009]结合本申请任一实施方式，所述方法还包括：
[0010]利用神经网络对所述原始图像和所述深度信息进行处理，得到所述
MPI
；
[0011]基于所述
MPI
，生成所述新视角下的新图像，所述新图像为所述相机在所述新视角下对所述目标场景进行拍摄得到的图像；
[0012]针对所述新图像，利用所述目标遮挡关系矫正所述背景与所述动目标的遮挡关系，得到所述新视角下的目标图像
。
[0013]结合本申请任一实施方式，所述基于所述第一深度图像和所述第二深度图像，确定目标遮挡关系，包括：
[0014]基于所述原始图像，生成所述相机以所述第一位姿对所述目标场景进行拍摄得到的背景参考图像，以及所述相机以所述第二位姿对所述动目标进行拍摄得到的动目标参考
图像；所述第一位姿为所述相机以所述新视角对所述背景进行拍摄的位姿，所述第二位姿为所述相机以所述新视角对所述动目标进行拍摄的位姿；
[0015]确定所述背景在所述背景参考图像中的第一位置范围，以及所述动目标在所述动目标参考图像中的第二位置范围；
[0016]确定所述第一位置范围与所述第二位置范围的交集的位置为第三位置范围；
[0017]基于所述第一深度图像和所述第二深度图像，确定所述背景与所述动目标在所述第三位置范围内的遮挡关系，作为所述目标遮挡关系
。
[0018]结合本申请任一实施方式，所述基于所述第一深度图像和所述第二深度图像，确定所述背景与所述动目标在所述第三位置范围内的遮挡关系，作为所述目标遮挡关系，包括：
[0019]依据所述第一深度图像，确定所述背景在所述第三位置范围的第一参考深度；
[0020]依据所述第二深度图像，确定所述动目标在所述第三位置范围的第二参考深度；
[0021]在所述第一参考深度小于所述第二参考深度的情况下，确定所述目标遮挡关系为所述动目标被所述背景遮挡；
[0022]在所述第一参考深度大于或等于所述第二参考深度的情况下，确定所述目标遮挡关系为所述背景被所述动目标遮挡
。
[0023]结合本申请任一实施方式，所述相机拍摄得到所述原始图像的位姿为原始位姿；
[0024]所述确定所述背景在所述背景参考图像中的第一位置范围，以及所述动目标在所述动目标参考图像中的第二位置范围，包括：
[0025]获取所述原始图像中的所述动目标的原始掩码
、
第一转换关系和第二转换关系，所述第一转换关系为所述原始位姿与所述第一位姿的转换关系，所述第二转换关系为所述原始位姿与所述第二位姿的转换关系；
[0026]基于所述第一转换关系，对所述原始掩码进行转换，得到所述背景参考图像中的所述动目标的第一参考掩码；
[0027]基于所述第二转换关系，对所述原始掩码进行转换，得到所述动目标参考图像中的所述动目标的第二参考掩码；
[0028]依据所述第一参考掩码，确定所述第一位置范围；
[0029]依据所述第二参考掩码，确定所述第二位置范围
。
[0030]结合本申请任一实施方式，所述基于所述多张原始深度图像，生成第一深度图像和第二深度图像，包括：
[0031]基于所述第一转换关系，将所述多张原始深度图像转换为所述新视角下的多张背景深度图像；
[0032]基于所述第二转换关系，将所述多张原始深度图像转换为所述新视角下的多张动目标深度图像；
[0033]对所述多张背景深度图像进行体渲染，得到所述第一深度图像；
[0034]对所述多张动目标深度图像进行体渲染，得到所述第二深度图像
。
[0035]第二方面，提供了一种光流模型的训练方法，所述方法包括：
[0036]获取第一方面的实施方式中的原始图像
、
目标图像；
[0037]获取所述原始图像与所述目标图像之间的稠密光流；
[0038]将所述稠密光流作为所述原始图像与所述目标图像的标签；
[0039]基于所述原始图像
、
所述目标图像和所述标签，对待训练模型进行训练，得到光流模型，所述光流模型用于估计稠密光流
。
[0040]第三方面，提供了一种路径规划方法，所述路径规划方法应用于车，所述车包括摄像头，所述方法包括：
[0041]在所述车行驶的过程中，通过所述摄像头对所述车所处的环境进行连续拍摄，得到第一待处理图像和第二待处理图像，所述第一待处理图像和所述第二待处理图像均包括目标对象；
[0042]获取根据第二方面的方法得到的光流模型；
[0043]利用所述光流模型，确定所述第一待处理图像与所述第二待处理图像之间的估计光流；
[0044]基于所述估计光流，预估所述目标对象的第一行驶路径；
[0045]基于所述第一行驶路径，规划本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种生成新视角图像的方法，其特征在于，所述方法包括：获取原始图像和所述原始图像的深度信息，所述原始图像为相机以原始视角对目标场景进行拍摄得到的图像，所述目标场景包括背景和动目标；利用神经网络对所述原始图像和所述深度信息进行处理，得到所述原始视角下的多平面图像的多张原始深度图像；基于所述多张原始深度图像，生成第一深度图像和第二深度图像；所述第一深度图像包括：在所述相机以新视角对所述背景进行拍摄的情况下，所述背景的深度信息，所述第二深度图像包括：在所述相机以新视角对所述动目标进行拍摄的情况下，所述动目标的深度信息；基于所述第一深度图像和所述第二深度图像，确定目标遮挡关系，所述目标遮挡关系为在所述相机以所述新视角对所述目标场景进行拍摄的情况下，所述背景与所述动目标的遮挡关系
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：利用神经网络对所述原始图像和所述深度信息进行处理，得到所述多平面图像；基于所述多平面图像，生成所述新视角下的新图像，所述新图像为所述相机在所述新视角下对所述目标场景进行拍摄得到的图像；针对所述新图像，利用所述目标遮挡关系矫正所述背景与所述动目标的遮挡关系，得到所述新视角下的目标图像
。3.
根据权利要求1或2所述的方法，其特征在于，所述基于所述第一深度图像和所述第二深度图像，确定目标遮挡关系，包括：基于所述原始图像，生成所述相机以第一位姿对所述目标场景进行拍摄得到的背景参考图像，以及所述相机以第二位姿对所述动目标进行拍摄得到的动目标参考图像；所述第一位姿为所述相机以所述新视角对所述背景进行拍摄的位姿，所述第二位姿为所述相机以所述新视角对所述动目标进行拍摄的位姿；确定所述背景在所述背景参考图像中的第一位置范围，以及所述动目标在所述动目标参考图像中的第二位置范围；确定所述第一位置范围与所述第二位置范围的交集的位置为第三位置范围；基于所述第一深度图像和所述第二深度图像，确定所述背景与所述动目标在所述第三位置范围内的遮挡关系，作为所述目标遮挡关系
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述第一深度图像和所述第二深度图像，确定所述背景与所述动目标在所述第三位置范围内的遮挡关系，作为所述目标遮挡关系，包括：依据所述第一深度图像，确定所述背景在所述第三位置范围的第一参考深度；依据所述第二深度图像，确定所述动目标在所述第三位置范围的第二参考深度；在所述第一参考深度小于所述第二参考深度的情况下，确定所述目标遮挡关系为所述动目标被所述背景遮挡；在所述第一参考深度大于或等于所述第二参考深度的情况下，确定所述目标遮挡关系为所述背景被所述动目标遮挡
。5.
根据权利要求3或4所述的方法，其特征在于，所述相机拍摄得到所述原始图像的位
姿为原始位姿；所述确定所述背景在所述背景参考图像中的第一位置范围，以及所述动目标在所述动目标参考图像中的第二位置范围，包括：获取所述原始图像中的所述动目标的原始掩码
、
第一转换关系和第二转换关系，所述第一转换关系为所述原始位姿与所述第一位姿的转换关系，所述第二转换关系为所述原始位姿与所述第二位姿的转换关系；基于所述第一转换关系，对所述原始掩码进行转换，得到所述背景参考图像中的所述动目标的第一参考掩码；基于所述第二转换关系，对所述原始掩码进行转换，得到所述动目标参考图像中的所述动目标的第二参考掩码；依据所述第一参考掩码，确定所述第一位置范围；依据所述第二参考掩码，确定所述第二位置范围
。6.
根据权利要求5所述的方法，其特征在于，所述基于所述多张原始深度图像，生成第一深度图像和第二深度图像，包括：基于所述第一转换关系，将所述多张原始深度图像转换为所述新视角下的多张背景深度图像；基于所述第二转换关系，将所述多张原始深度图像转换为所述新视角下的多张动目标深度图像；对所述多张背景深度图像进行体渲染，得到所述第一深度图像；对所述多张动目标深度图像进行体渲染，得到所述...

【专利技术属性】
技术研发人员：刘家铭，梁瑛平，
申请(专利权)人：小红书科技有限公司，
类型：发明
国别省市：