【技术实现步骤摘要】
本申请涉及人工智能领域，具体涉及一种图像处理方法、装置、电子设备和存储介质。
技术介绍
1、随着互联网技术的发展，人们对于三维视觉技术的需求越来越高。nerf由于其使用多层感知器对三维场景的辐照度和密度进行编码，然后通过可微分的体渲染方式合成新视角图像，而得到了大量的应用。现有技术中会使用两张宽基线的全景图作为输入构建两个网格，将mesh投影到目标视图，并通过补全网络融合两个网格上的颜色，但是基于上述现有技术采用曲面的混合方式得到目标视角图像，经常会产生重叠伪影。
2、并且，已有的nerf系列方法只能处理透视图像，在处理全景图像时，需要将全景图像转换为透视图像，由于每个透视视图的视场有限，会导致信息丢失和性能不佳。
技术实现思路
1、本申请实施例提供一种图像处理方法、装置、电子设备和存储介质，可以在已有视角参考全景图的输入条件下合成新视角下的目标全景图。
2、本申请实施例提供一种图像处理方法，包括：
3、获取多个视角下的参考全景图；
4、调用球形深度计算模块计算每个所述参考全景图对应的球形深度；
5、对所述球形深度进行卷积操作，得到所述参考全景图对应的几何特征；
6、对所述参考全景图进行特征提取操作，得到所述参考全景图对应的外观特征；
7、对所述几何特征和所述外观特征进行特征拼接，得到每个视角下的所述参考全景图对应的拼接后图像特征；
8、基于所述拼接后图像特征，采用球形投影将球形辐射场中
9、对所述对齐后的球形辐射场进行体渲染，得到任意视角下的目标全景图。
10、相应的，本申请实施例提供一种图像处理装置，包括:
11、获取单元，用于获取多个视角下的参考全景图；
12、调用单元，用于调用球形深度计算模块计算每个所述参考全景图对应的球形深度；
13、卷积单元，用于对所述球形深度进行卷积操作，得到所述参考全景图对应的几何特征；
14、特征提取单元，用于对所述参考全景图进行特征提取操作，得到所述参考全景图对应的外观特征；
15、特征拼接单元，用于对所述几何特征和所述外观特征进行特征拼接，得到每个视角下的所述参考全景图对应的拼接后图像特征；
16、对齐单元，用于基于所述拼接后图像特征，采用球形投影将球形辐射场中的三维采样点与所述参考全景图中对应的像素点对齐，得到对齐后的球形辐射场；
17、渲染单元，用于对所述对齐后的球形辐射场进行体渲染，得到任意视角下的目标全景图。
18、可选的，在本申请的一些实施例中，所述调用单元可以包括投影子单元和计算子单元，如下：
19、投影子单元，用于根据球形投影，找到所述第一参考全景图中第一像素点在所述第二参考全景图中对应的第二像素点；
20、计算子单元，用于根据所述第一像素点与所述第二像素点之间的相似程度，计算每个所述参考全景图对应的球形深度。
21、可选的，在本申请的一些实施例中，所述投影子单元可以包括扫描子单元和像素点查找子单元，如下：
22、扫描子单元，用于针对所述第一参考全景图中第一像素点的不同深度进行球形扫描，得到多个深度候选；
23、像素点查找子单元，用于根据球形投影找到每个所述深度候选在所述第二参考全景图中对应的第二像素点。
24、可选的，在本申请的一些实施例中，所述扫描子单元可以包括调用子单元和预测子单元，如下：
25、调用子单元，用于调用单目深度网络对第一参考全景图中第一像素点进行球形深度预测，得到每个所述第一像素点对应的第一球形深度；
26、预测子单元，用于通过高斯分布预测多个所述第一球形深度对应的深度候选。
27、可选的，在本申请的一些实施例中，所述预测子单元具体可以用于通过高斯分布，将搜索空间切分为多个子区间，所述子区间对应的区间概率相同；将每个所述子区间的中间点作为所述第一球形深度对应的深度候选。
28、可选的，在本申请的一些实施例中，所述计算子单元具体可以用于获取所述第一像素点与所述第二像素点在局部特征之间的相似度，得到相似度集合；利用卷积操作，将所述相似度集合进行降维操作，得到降维后相似度集合；对所述降维后相似度集合进行解码操作，得到球形深度。
29、可选的，在本申请的一些实施例中，所述特征拼接子单元具体可以用于将所述几何特征通过多层感知器解码成可见度信息；通过预设聚合网络聚合所述外观特征和所述可见度信息，得到每个视角下的所述参考全景图对应的拼接后图像特征。
30、可选的，在本申请的一些实施例中，所述对齐子单元具体可以用于基于所述拼接后图像特征，采用球形投影将所述参考全景图中的像素点坐标转化为球形极坐标；将所述球形极坐标转化为笛卡尔系坐标；基于笛卡尔系坐标的所述参考全景图，将球形辐射场中的三维采样点与所述参考全景图中对应的像素点对齐，得到对齐后的球形辐射场。
31、本申请实施例提供的一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令，以执行本申请实施例提供的图像处理方法中的步骤。
32、本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例提供的图像处理方法中的步骤。
33、此外，本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现本申请实施例提供的图像处理方法中的步骤。
34、本申请实施例提供了一种图像处理方法、装置、电子设备和存储介质，可以获取多个视角下的参考全景图；调用球形深度估算模块估算每个参考全景图对应的球形深度；对球形深度进行卷积操作，得到参考全景图对应的几何特征；对参考全景图进行特征提取操作，得到参考全景图对应的外观特征；对几何特征和外观特征进行特征拼接，得到每个视角下的参考全景图对应的拼接后图像特征；基于拼接后图像特征，采用球形投影将球形辐射场中的三维采样点与参考全景图中对应的像素点对齐，得到对齐后的球形辐射场；对对齐后的球形辐射场进行体渲染，得到任意视角下的目标全景图。本申请针对全景图，设计了一种处理遮挡的可泛化球形辐射场，直接对全景图进行操作，无需将全景图转换为透视图，从而可以在已有视角参考全景图的输入条件下合成新视角下的目标全景图。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，所述多个视角下的参考全景图包括参考视角对应的第一参考全景图、以及源视角对应的第二参考全景图，所述调用球形深度计算模块计算每个所述参考全景图对应的球形深度，包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据球形投影，找到所述第一参考全景图中第一像素点在所述第二参考全景图中对应的第二像素点，包括：
4.根据权利要求3所述的图像处理方法，其特征在于，所述针对所述第一参考全景图中第一像素点的不同深度进行球形扫描，得到多个深度候选，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，所述通过高斯分布预测多个所述第一球形深度对应的深度候选，包括：
6.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第一像素点与所述第二像素点之间的相似程度，计算每个所述参考全景图对应的球形深度，包括：
7.根据权利要求1所述的图像处理方法，其特征在于，所述对所述几何特征和所述外观特征进行特征拼接，得到每个视角下的所述
8.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述拼接后图像特征，采用球形投影将球形辐射场中的三维采样点与所述参考全景图中对应的像素点对齐，得到对齐后的球形辐射场，包括：
9.一种图像处理装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至8任一项所述的图像处理方法中的步骤。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至8任一项所述图像处理方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的图像处理方法中的步骤。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的图像处理方法，其特征在于，所述多个视角下的参考全景图包括参考视角对应的第一参考全景图、以及源视角对应的第二参考全景图，所述调用球形深度计算模块计算每个所述参考全景图对应的球形深度，包括：
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据球形投影，找到所述第一参考全景图中第一像素点在所述第二参考全景图中对应的第二像素点，包括：
4.根据权利要求3所述的图像处理方法，其特征在于，所述针对所述第一参考全景图中第一像素点的不同深度进行球形扫描，得到多个深度候选，包括：
5.根据权利要求4所述的图像处理方法，其特征在于，所述通过高斯分布预测多个所述第一球形深度对应的深度候选，包括：
6.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第一像素点与所述第二像素点之间的相似程度，计算每个所述参考全景图对应的球形深度，包括：
7.根据权利要求1所述的...
【专利技术属性】
技术研发人员：陈铮，单瀛，曹炎培，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。