全息通讯设备、系统、方法和存储介质技术方案

本公开提供一种全息通讯设备、系统、方法和存储介质，属于计算机视觉技术领域。本公开的全息通讯设备，包括处理器被配置为基于接收到的多张第一图像，实时确定使用者的人眼三维坐标；将接收到的视频流解码为多张第二图像；多张第二图像分别为不同第二相机分别从不同视角拍摄到的、目标对象的图像；基于每张第二图像的序列信息，分别对相邻两张第二图像计算视角间视差，得到多张视差图，并将每张视差图转换为点云数据；基于各个点云数据，将第二图像的图像特征转换至人眼三维坐标，得到视点特征图；利用预先训练好的渲染神经网络模型对视点特征图进行渲染，得到使用者双目分别对应的新视点图；全息显示器被配置为基于各个新视点图进行全息显示。

【技术实现步骤摘要】

本公开属于计算机视觉，具体涉及一种全息通讯设备、系统、方法和存储介质。

技术介绍

1、全息通讯是一种利用光学和计算机图像处理技术，远程捕捉目标对象及其周围环境图像，并通过网络传输至终端侧实现实时立体显示的技术。相较于传统的二维图像通讯方式，全息通讯能够提供更加真实、逼真的交流体验，在远程视频、影音娱乐、在线教育、医疗卫生等领域都有广泛的应用前景。

技术实现思路

1、本公开旨在至少解决现有技术中存在的技术问题之一，提供一种全息通讯设备、系统、方法和存储介质。

2、第一方面，解决本公开技术问题所采用的技术方案是一种全息通讯设备，其中，包括全息显示器、处理器和存储器；所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时使所述处理器执行操作，所述操作包括：

3、基于接收到的多张第一图像，实时确定使用者的人眼三维坐标；所述多张第一图像分别为多个第一相机分别从不同视角拍摄到的所述使用者的图像；

4、接收视频流，并将所述视频流解码为多张第二图像；所述多张第二本文档来自技高网...

【技术保护点】

1.一种全息通讯设备，其中，包括全息显示器、处理器和存储器；所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时使所述处理器执行操作，所述操作包括：

2.根据权利要求1所述的全息通讯设备，其中，所述操作中基于每张所述第二图像的序列信息，分别对相邻两张所述第二图像计算视角间视差，得到多张视差图，包括：

3.根据权利要求1所述的全息通讯设备，其中，所述操作中将每张所述视差图转换为点云数据，包括：

4.根据权利要求3所述的全息通讯设备，其中，利用下述公式一，确定深度图；

5.根据权利要求3所述的全息通讯设备，其中，利...

【技术特征摘要】

1.一种全息通讯设备，其中，包括全息显示器、处理器和存储器；所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时使所述处理器执行操作，所述操作包括：

2.根据权利要求1所述的全息通讯设备，其中，所述操作中基于每张所述第二图像的序列信息，分别对相邻两张所述第二图像计算视角间视差，得到多张视差图，包括：

3.根据权利要求1所述的全息通讯设备，其中，所述操作中将每张所述视差图转换为点云数据，包括：

4.根据权利要求3所述的全息通讯设备，其中，利用下述公式一，确定深度图；

5.根据权利要求3所述的全息通讯设备，其中，利用下述表达式二，确定所述点云集合中的一个点云数据；

6.根据权利要求1所述的全息通讯设备，其中，所述操作中基于各个所述点云数据，将所述第二图像的图像特征转换至所述人眼三维坐标，得到视点特征图，包括：

7.根据权利要求6所述的全息通讯设备，其中，利用下述公式三，确定述点云数据对应的高斯点云数据；

【专利技术属性】
技术研发人员：刘烨斌，涂汉璋，李文宇，李治富，马思研，于静，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人