基于瞳孔检测的远程全景图像实时传输和显示方法技术

本发明专利技术提供基于瞳孔检测的远程全景图像实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接。与现有技术相比，本发明专利技术采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。

Real time transmission and display method of remote panoramic image based on pupil detection

The present invention provides real-time transmission of remote server including panoramic image pupil detection and display method, based on the transmission system and the terminal, the terminal comprises a processing unit, a motion detection unit and the display unit, the processing unit is respectively connected with the motion detection unit and the display unit is electrically connected. Compared with the prior art, the invention adopts the transmission of image data according to the detected results corresponding to the motion detection unit scheme, save a lot of network bandwidth, the real-time transmission of remote panoramic images and display can be realized. By intercepting the image region of the window and buffering the image area, not only reduces the amount of data transmission, but also to avoid the emergence of black edges and the sense of delay. The environment simulation unit can simulate the environment, and has certain significance to the immersion of virtual reality.

【技术实现步骤摘要】

本专利技术涉及全景图像传输领域，更具体地说，涉及基于瞳孔检测的远程全景图像实时传输和显示方法。
技术介绍
全景显示目前一般采用曲面屏或近眼显示装置营造一个虚拟的三维场景，让使用者不管朝向哪个方向都可以看到虚拟世界中的图像，有较强的沉浸感。全景视频或游戏目前一般是在主机中提前下载好整个文件再播放，很难实现远程实时传输，这是由于目前的网络传输速度存在较大的限制，而全景视频或游戏的传输需要很大的实时数据传输量，这是目前大多数的网络条件难以满足的。一些实时传输的方案采用了降低传输图像画质来节省数据传输量，但这样会造成传输图像质量下降，晶格感严重，严重影响沉浸感。
技术实现思路
为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本专利技术提供一种可实时传输而且沉浸感强的基于瞳孔检测的远程全景图像实时传输和显示方法。本专利技术解决其技术问题所采用的技术方案是：提供基于瞳孔检测的远程全景图像实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述运动检测单元包括瞳孔检测装置和姿态检测装置，所述瞳孔检测装置可以检测使用者瞳孔位置，所述姿态检测装置可以检测使用者的角度坐标信息，远程全景图像实时传输和显示的方法包括以下步骤：S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；S2：所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息；S3：所述服务器传输对应图像数据至所述终端。优选地，所述瞳孔检测装置检测使用者的瞳孔位置，根据使用者瞳孔位置在所述传输图像区域中截取分辨视域区域、有效视域区域和诱导视野区域。优选地，所述处理单元向所述服务器请求所述分辨视域区域的一级清晰图像，向所述服务器请求所述有效视域区域的二级清晰图像，向所述服务器请求所述诱导视野区域的三级清晰图像。优选地，通过确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所述极限边界范围确定对应延迟时间内所述传输图像区域。优选地，，所述传输图像区域的计算方法是：S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α0，β0，γ0)；S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα1，Δβ1，Δγ1)和反向最大偏移量(Δα2，Δβ2，Δγ2)，整理使用者可能出现的角度坐标集合Ф＝{(α0-Δα2<α<α0+Δα1)，(β0-Δβ2<β<β0+Δβ1)，(γ0-Δγ2<γ<γ0+Δγ1)，|α，β，γ本文档来自技高网...

【技术保护点】
基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述运动检测单元包括瞳孔检测装置和姿态检测装置，所述瞳孔检测装置可以检测使用者瞳孔位置，所述姿态检测装置可以检测使用者的角度坐标信息，远程全景图像实时传输和显示的方法包括以下步骤：S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；S2：所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息；S3：所述服务器传输对应图像数据至所述终端。

【技术特征摘要】
1.基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述运动检测单元包括瞳孔检测装置和姿态检测装置，所述瞳孔检测装置可以检测使用者瞳孔位置，所述姿态检测装置可以检测使用者的角度坐标信息，远程全景图像实时传输和显示的方法包括以下步骤：S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；S2：所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息；S3：所述服务器传输对应图像数据至所述终端。2.根据权利要求1所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，所述瞳孔检测装置检测使用者的瞳孔位置，根据使用者瞳孔位置在所述传输图像区域中截取分辨视域区域、有效视域区域和诱导视野区域。3.根据权利要求2所述的基于瞳孔检测的远程全景图像实时传输和显示方法，...

【专利技术属性】
技术研发人员：党少军，
申请(专利权)人：深圳市虚拟现实科技有限公司，
类型：发明
国别省市：广东;44