远程全景图像实时传输和显示方法技术

本发明专利技术提供一种远程全景图像实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接。与现有技术相比，本发明专利技术采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。

Remote panoramic image real-time transmission and display method

The invention provides a remote real-time panoramic image transmission and display method, including server, transmission system and terminal, the terminal comprises a processing unit, a motion detection unit and the display unit, the processing unit is respectively connected with the motion detection unit and the display unit is electrically connected. Compared with the prior art, the invention adopts the transmission of image data according to the detected results corresponding to the motion detection unit scheme, save a lot of network bandwidth, the real-time transmission of remote panoramic images and display can be realized. By intercepting the image area of the window and buffering the image area, not only the data transmission is reduced, but also the appearance of black edges and the generation of delay are avoided. The environment simulation unit can simulate the environment, and it has a certain meaning to the immersion of virtual reality.

【技术实现步骤摘要】
远程全景图像实时传输和显示方法
本专利技术涉及全景图像传输领域，更具体地说，涉及一种远程全景图像实时传输和显示方法。
技术介绍
全景显示目前一般采用曲面屏或近眼显示装置营造一个虚拟的三维场景，让使用者不管朝向哪个方向都可以看到虚拟世界中的图像，有较强的沉浸感。全景视频或游戏目前一般是在主机中提前下载好整个文件再播放，很难实现远程实时传输，这是由于目前的网络传输速度存在较大的限制，而全景视频或游戏的传输需要很大的实时数据传输量，这是目前大多数的网络条件难以满足的。一些实时传输的方案采用了降低传输图像画质来节省数据传输量，但这样会造成传输图像质量下降，晶格感严重，严重影响沉浸感。
技术实现思路
为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本专利技术提供一种可实时传输而且沉浸感强的远程全景图像实时传输和显示方法。本专利技术解决其技术问题所采用的技术方案是：提供一种远程全景图像实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，远程全景图像实时传输和显示的方法包括以下步骤：S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；S2：所述处理单元对接收到的检测结果进行处理，并发送请求至所述服务器请求图像数据；S3：所述服务器传输对应图像数据至所述终端。优选地，所述终端进一步包括环境模拟单元，所述环境模拟单元与所述处理单元电性连接，所述服务器传输环境信息到所述终端，所述终端传输对应信息至所述环境模拟单元，所述环境模拟单元可以根据所述终端传输的信息模拟对应环境场景。优选地，所述运动检测单元包括姿态检测装置，所述姿态检测装置可以检测使用者的角度坐标信息。优选地，所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息。优选地，通过大量收集实验数据，确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所述极限边界范围确定对应延迟时间内所述传输图像区域。优选地，所述传输图像区域的计算方法是：S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α0，β0，γ0)；S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα1，Δβ1，Δγ1)和反向最大偏移量(Δα2，Δβ2，Δγ2)，整理使用者可能出现的角度坐标集合Ф＝{(α0-Δα2<α<α0+Δα1)，(β0-Δβ2<β<β0+Δβ1)，(γ0-Δγ2<γ<γ0+Δγ1)，|α，β，γ}；S2.13所述处理单元向所述服务器请求集合Ф对应的所述传输图像区域。优选地，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。优选地，使用者角度坐标最大偏移量为使用者该坐标方向最大运动角速度和延迟时间的乘积。优选地，所述终端进一步包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间。优选地，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。与现有技术相比，本专利技术采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。姿态检测装置可以探测使用者的角度坐标信息，实时将相关信息传输至处理单元以确定传输图像区域。固定传输图像区域与延迟时间一一对应可以很方便地确定传输图像区域的范围。通过确定使用者延迟时间内角度坐标的最大偏移量可以更精确传输图像区域的范围，进一步减少数据传输量。设置响应测试装置可以测量使用者的网速情况，同时方便得出延迟时间。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是目前远程图像实时传输和显示方法；图2是全景图像显示示意图；图3是本专利技术远程全景图像实时传输和显示方法结构示意图；图4是本专利技术远程全景图像实时传输和显示方法原理示意图；图5是本专利技术远程全景图像实时传输和显示方法传输图像区域示意图。具体实施方式为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本专利技术提供一种可实时传输而且沉浸感强的远程全景图像实时传输和显示方法。为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。请参阅图1。图1是目前远程图像实时传输和显示方法，终端13包括显示单元131，通过终端13向服务器11请求数据，服务器11根据终端13请求的数据传输对应的图像数据到终端13，终端13经过处理后将图像信号传输至显示单元131。这种传输对终端13和服务器11的处理速度以及传输数据的速度都有一定的要求，如果这些速度无法达到要求，视频就会出现卡顿，严重影响使用体验。在目前的远程音像实时传输和显示中，服务器11性能、终端13性能和网络带宽及稳定性成为了制约音像传输的关键因素。因此，在目前高清视频的传输和大型游戏中，性能卓越的终端13和稳定高速的网络配置是不能缺少的。请参阅图2。图2是全景图像显示示意图。全景图像多通过虚拟现实头盔、增强现实眼镜和全景曲面屏来呈现，需要保证使用者20不管朝向什么方向，都可以感受到如同现实般的图像，因此在非远程虚拟现实显示中，需要制作全方位360度的图像，存储在终端13，待使用者20的运动和位置状态被确定后，终端13传输对应的图像信息到显示单元131中。而在远程实时传输中，无法提前制作全方位360度的图像，只能依靠实时传输360度的图像来保证使用者20不管朝向什么方向都可以感受到如同现实般的图像。但是同时传输如此多的信息需要很大的网络带宽支持，目前的技术无法达到要求，这就使得远程全景图像实时传输和播放遇到很大的难题。一个解决方案是降低图像的画质，当图像的画质降低到一定的标准时，实时传输数据量大为减少，网络带宽可以满足，但这会导致图像非常模糊，晶格感严重，严重影响虚拟现实的沉浸感和体验。在目前网络带宽的条件下，实时传输的情况下增强虚拟现实沉浸感必须寻找其他解决方案。请参阅图3—图5，在本专利技术中，完成远程全景音像实时传输和播放需要服务器11、传输系统12和终端13，服务器11和终端13之间通过传输系统12连接并相互传递信息。终端13包括处理单元137、显示单元131、环境模拟单元139和运动检测单元135，处理单元137分别与显示单元131、环境模拟单元139和运动检测单元135电性连接。环境模拟单元139可以根据处理单元137的相关命令模拟环境场景，服务器11可以传输环境信息到终端13，并由处理单元137命令环境模拟单元139进行表达。环境模拟单元139可以配备鼓风机(图未示)模拟风向和配备喷水装置(图未示)模拟喷水、下雨等环境变化。运动检测单元135包括姿态检测装置1353。处理单元137包括响应测试装置1371，响应测试装置1371可以测量网络响应速度。由于人的视角限制本文档来自技高网...

【技术保护点】
远程全景图像实时传输和显示方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，远程全景图像实时传输和显示的方法包括以下步骤：S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；S2：所述处理单元对接收到的检测结果进行处理，并发送请求至所述服务器请求图像数据；S3：所述服务器传输对应图像数据至所述终端。

【技术特征摘要】
1.远程全景图像实时传输和显示方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，远程全景图像实时传输和显示的方法包括以下步骤：S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；S2：所述处理单元对接收到的检测结果进行处理，并发送请求至所述服务器请求图像数据；S3：所述服务器传输对应图像数据至所述终端。2.根据权利要求1所述的远程全景图像实时传输和显示方法，其特征在于，所述终端进一步包括环境模拟单元，所述环境模拟单元与所述处理单元电性连接，所述服务器传输环境信息到所述终端，所述终端传输对应信息至所述环境模拟单元，所述环境模拟单元可以根据所述终端传输的信息模拟对应环境场景。3.根据权利要求1所述的远程全景图像实时传输和显示方法，其特征在于，所述运动检测单元包括姿态检测装置，所述姿态检测装置可以检测使用者的角度坐标信息。4.根据权利要求3所述的远程全景图像实时传输和显示方法，其特征在于，所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息。5.根据权利要求4所述的远程全景图像实时传输和显示方法，其特征在于，通过确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所...

【专利技术属性】
技术研发人员：党少军，
申请(专利权)人：深圳市虚拟现实科技有限公司，
类型：发明
国别省市：广东,44