【技术实现步骤摘要】
本申请的实施例涉及图像处理的，尤其涉及一种图像透视方法、装置、存储介质、电子设备和xr设备。
技术介绍
1、相关的图像透视方法高度依赖于硬件固定的透视系统，例如，相机数量不变，相机位置不变，无法应对不同的硬件条件。
2、基于此，需要一种能够在相机数量和位置发生变化时，仍能正常进行透视的方案。
技术实现思路
1、有鉴于此，本申请的目的在于提出一种图像透视方法、装置、存储介质、电子设备和xr设备。
2、基于上述目的，本申请提供了图像透视方法，包括：
3、确定同一时刻获取的相机图像的数量，在每个相机图像的相机坐标系与对应预设的人眼坐标系之间构建转换关系；
4、确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息；
5、利用深度信息和所述转换关系，将相机图像映射为在对应的人眼坐标系原点位置观测的目标图像。
6、进一步地，确定同一时刻获取的相机图像的数量，包括：
7、确定同一时刻获取的二维拍摄图像的数量；
8、响应于确定获取到单个二维拍摄图像，将所述单个拍摄图像作为单个相机图像；
9、响应于确定获取到两个二维拍摄图像，确定所述两个二维拍摄图像之间的相似度是否达到预设的相似度阈值；
10、响应于确定达到所述相似度阈值，将所述两个二维拍摄图像作为两个相机图像；
11、响应于确定未达到所述相似度阈值，将所述两个二维拍摄图像
12、进一步地，在每个相机图像对应的相机坐标系与对应预设的人眼坐标系之间构建转换关系，包括：
13、利用预设的出瞳距离，确定所述人眼坐标系的原点位置，利用所述人眼坐标系的原点位置确定所述相机坐标系与预设的世界坐标系之间的第一变换矩阵，并确定所述相机坐标系与所述人眼坐标系之间的第二变换矩阵；
14、在所述人眼坐标系中，利用所述第一变换矩阵和所述第二变换矩阵，以所述相机坐标系为目标，构建所述人眼坐标系与所述相机坐标系之间的转换关系。
15、进一步地，确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息，包括：
16、响应于确定存在两个相机图像，利用两个相机图像之间的视差图确定每个相机图像的深度信息。
17、进一步地，确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息，还包括：
18、响应于确定存在单个相机图像，判断是否存在深度相机图像；
19、响应于确定存在深度相机图像，利用所述深度相机图像确定该相机图像的深度信息；
20、响应于确定不存在深度相机图像，利用预设的深度学习网络确定该相机图像的深度信息。
21、进一步地，利用两个相机图像之间的视差图确定每个相机图像的深度信息，包括：
22、确定两个相机图像之间的重合范围，并确定所述重合范围内的视差图，所述视差图包括多个像素视差值，每个像素视差值包括所述重合范围内每个同名像点之间的像素坐标的差值；
23、根据所述视差图确定每个相机图像在重合范围内的每个像素点的深度值，并将全部像素点的深度值作为该相机图像的深度信息。
24、进一步地，利用两个相机图像之间的视差图确定每个相机图像的深度信息，还包括：
25、确定两个相机图像之间的重合范围，并确定所述重合范围内的视差图，所述视差图包括多个像素视差值，每个像素视差值包括所述重合范围内每个同名像点之间的像素坐标的差值；
26、确定每个相机图像在所述重合范围内的各个特征点；
27、根据各个特征点在对应相机图像中的分布，和每个特征点的像素值，对所述各个特征点进行聚类，按照聚类结果将该相机图像的所述重合范围划分为多个连通域；
28、根据所述视差图确定每个相机图像在重合范围内的每个连通域的深度值，并将全部连通域的深度值作为该相机图像的深度信息。
29、进一步地，利用预设的深度学习网络确定该相机图像的深度信息，包括：
30、将该相机图像输入至预设的深度学习网络，并对该相机图像进行多种分辨率的降采样，得到多个不同分辨率的第一子图像；
31、对各个第一子图像进行特征提取，得到多维特征矩阵；
32、利用所述多维特征矩阵对各个第一子图像的特征进行聚合，得到各个第一子图像的视差信息；
33、利用各个视差信息预测出与该相机图像中的深度信息，所述深度信息包括该相机图像中各个像素点的深度值。
34、进一步地，将相机图像映射为在对应的人眼坐标系原点位置观测的目标图像之后，还包括：
35、根据预设的屏幕分辨率对所述目标图像的分辨率进行缩放，得到分辨率修正后的目标图像；
36、根据预设的相机视场角和预设的人眼视场角之间的比例关系，对所述修正后的目标图像进行裁剪，得到显示图像。
37、基于同一专利技术构思，本申请还提供了一种图像透视装置，包括：判定模块、深度信息确定模块和转换模块；
38、其中，所述判定模块，被配置为，确定同一时刻获取的相机图像的数量，在每个相机图像对应的相机坐标系与对应预设的人眼坐标系之间构建转换关系；
39、所述深度信息确定模块，被配置为，确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息；
40、所述转换模块，被配置为，利用深度信息和所述转换关系，将相机图像映射为在对应的人眼坐标系原点位置观测的目标图像。
41、基于同一专利技术构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的图像透视方法。
42、基于同一专利技术构思，本申请还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述图像透视方法。
43、基于同一专利技术构思，本申请还提供了一种xr设备，所述xr设备包括如上所述的图像透视装置和电子设备，所述电子设备执行如上任意一项所述的图像透视方法。
44、从上面所述可以看出，本申请提供的图像透视方法、装置、存储介质、电子设备和xr设备，基于在同一时刻获取到的相机图像，可以构建相机坐标系与人眼坐标系之间各个像素坐标的转换关系，同时，综合考虑了相机图像的不同数量，来采取不同的方式计算相机图像的深度信息，当存在两个相机图像时，可以利用两个相机图像之间的视差图来计算各自的深度信息，避免了其他机制的参与，提高了计算深度信息的便捷性，当存在单个相机图像时，还可以根据是否存在深度相机图像，来采取不同的方式计算深度信息，存在深度相机图像时，可以通过深度相机图像来直接获取深度信息，本文档来自技高网...
【技术保护点】
1.一种图像透视方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述确定同一时刻获取的相机图像的数量，包括：
3.根据权利要求1所述的方法，其特征在于，所述在每个相机图像对应的相机坐标系与对应预设的人眼坐标系之间构建转换关系，包括：
4.根据权利要求1所述的方法，其特征在于，所述确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息，还包括：
6.根据权利要求4所述的方法，其特征在于，所述利用两个相机图像之间的视差图确定每个相机图像的深度信息，包括：
7.根据权利要求4所述的方法，其特征在于，所述利用两个相机图像之间的视差图确定每个相机图像的深度信息，还包括：
8.根据权利要求5所述的方法，其特征在于，所述利用预设的深度学习网络确定该相机图像的深度信息，包括：
9.根据权
10.一种图像透视装置，其特征在于，包括：判定模块、深度信息确定模块和转换模块；
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任意一项所述的方法。
12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至9中任意一项所述的方法。
13.一种XR设备，其特征在于，包括如权利要求10所述的图像透视装置或如权利要求11所述的电子设备。
...【技术特征摘要】
1.一种图像透视方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述确定同一时刻获取的相机图像的数量，包括：
3.根据权利要求1所述的方法，其特征在于，所述在每个相机图像对应的相机坐标系与对应预设的人眼坐标系之间构建转换关系，包括：
4.根据权利要求1所述的方法，其特征在于，所述确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述确定与所述相机图像数量对应预设的深度信息处理策略，并基于深度信息处理策略确定每个相机图像的深度信息，还包括：
6.根据权利要求4所述的方法，其特征在于，所述利用两个相机图像之间的视差图确定每个相机图像的深度信息，包括：
7.根据权利要求4所述的方法，其特征在于，所述利用两个相机图像之间的视差图确定每个相机图像的...
【专利技术属性】
技术研发人员：李鑫恺，陈丽莉，吕耀宇，马思研，赵元兴，郭浩飞，李言，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。