一种虚拟现实无线网络传输协议的设计方法技术

本发明专利技术涉及一种虚拟现实无线网络传输协议的设计方法，其特征在于，包括HRTP协议栈设计，数据报文格式设计，和数据发送/接收处理流程设计3个步骤，PC端编码器将虚拟现实内容图像压缩后，采用本发明专利技术所设计网络传输协议将图像数据发送给虚拟现实头戴显示设备。本发明专利技术方法的优点在于针对虚拟现实无线数据传输的特点和要求，设计简单高效的数据传输协议，能够提高数据传输的实时性，稳定性，确保所传输数据的正确性、安全性，降低数据冗余，进一步减小系统延时。

A design method of virtual reality wireless network transmission protocol

The invention relates to a design method of a virtual reality wireless network transmission protocol, which is characterized in that it includes three steps: the design of HRTP protocol stack, the design of data packet format, and the design of data transmission/reception processing flow. The image data is sent to the virtual reality display device. The method of the invention has the advantages of designing a simple and efficient data transmission protocol according to the characteristics and requirements of wireless data transmission in virtual reality, which can improve the real-time and stability of data transmission, ensure the correctness and security of the transmitted data, reduce data redundancy and further reduce the system delay.

【技术实现步骤摘要】
一种虚拟现实无线网络传输协议的设计方法
本专利技术涉及一种网络传输协议设计方法，尤其是一种虚拟现实无线网络传输协议的设计方法。
技术介绍
虚拟现实(virtualreality，VR)技术是利用计算机模拟产生一个三维空间的虚拟世界，提供给用户关于视觉等感官的模拟，目前被广泛应用于教育、医学、交通等领域。基于个人计算机(PersonalComputer,PC)端的虚拟现实设备常用的连接方案为利用高清晰度多媒体接口(HighDefinitionMultimediaInterface,HDMI)线连接头戴显示器和电脑主机，但此连接方式存在使用者活动范围受限，头部可能被HDMI线缠绕并受到伤害的缺陷。因此，采用无线数据传输成为虚拟现实技术的发展趋势，在虚拟现实设备无线传输方案中，PC端产生虚拟现实内容图像，经过视频编码压缩后，通过无线网络传送给虚拟现实头戴显示设备(Head-MountedDisplay，HMD)，HMD端进行解码和畸变处理，最终显示到HMD屏幕。传统的网络传输协议有RTP/RTSP(实时传输控制协议，Real-timeTransportProtocol或RealTimeStreamingProtocol)，HTTP(超文本传输协议，HypertextTransferProtocol)，或者直接使用TCP/UDP(传输控制协议/用户数据报协议，TransmissionControlProtocol/UserDatagramProtocol)等等，但这些传统网络协议都具有各自的使用局限性，无法满足虚拟现实数据无线传输所要求的低延迟，低冗余，高效率的要求。因此本专利技术旨在提供一种更符合虚拟现实数据传输特点和要求的网络传输协议(HyperealRealtimeTransportProtocol，HRTP)的设计方法，用于传输从PC端到虚拟现实头戴显示端的视频图像数据。
技术实现思路
本专利技术目的是：提供一种虚拟现实无线网络传输协议的设计方法，达到提高数据传输的实时性，稳定性，确保所传输数据的正确性、安全性，降低数据冗余，进一步减小系统延时的目的。本专利技术的技术方案是：本专利技术中网络传输协议(HRTP)的设计方法分为HRTP协议栈设计，数据报文格式设计，数据发送/接收处理流程设计三个步骤：一、HRTP网络协议栈设计HRTP网络协议栈的层次结构(参见附图1)分别为：物理层、MAC层、IP层、UDP层、HRTP层与应用层；与标准的TCP/IP协议栈相比，HRTP协议主要增加了HRTP协议层，此协议层设计的目的在于：1.实现虚拟现实图像帧数据的完整性校验；2.纠正UDP协议传输时乱序问题；3.防止图像帧数据错误的扩展；4.传输图像帧附加数据信息比如PTS，帧序列号等。二、数据报文格式设计(一)HRTP数据报文头部格式设计HRTP层的每一个数据报文包都含有一个数据报文头部信息(参见附图2)，其中Videotype表示图像类型，如H.264格式为96；Packetnumber表示该报文的序列号，共16位；Timestamp表示该数据对应的显示时间戳；hyVR为固定识别码，表示该数据产生于某个平台，如HyperealVR平台；(二)HRTP数据报文负载格式设计HRTP层的数据报文负载有2种类型：1.如果虚拟现实图像帧数据小于1460byets，可将数据封装为单包格式(参见附图3)；其中packethead表示该图像帧NAL头部字段；2.如果虚拟现实图像帧数据大于1460byets，则将虚拟现实图像数据拆分为多包格式传输，每个包的大小不超过1460bytes(参见附图4)，其中NRI表示图像帧的第一NAL头部字段的nal_ref_idc；S表示是否为图像帧的第一个数据包；E表示是否为图像帧的最后一个数据包；Type表示图像帧的第一NAL头部字段的NALunittype。三、数据发送/接收处理流程设计(一)发送端处理流程设计(参见附图5)，主要思路为判断图像帧长度，决定是用单包模式还是多包模式，如果采用单包模式则计算PTS，数据头和负载头部信息，如果采用多包模式则分析PTS，数据头和负载头部信息，分割数据包，设置正确的S和E标识，之后发送所有的数据包；(二)接收端处理流程设计(参见附图6)，主要思路为数据接收后检查数据的识别字符段以判断数据是否正确，确认数据包序列号以判断是否有数据丢失或者乱序，最后进行负载的提取，如果是多包模式，需要进行数据的组合。与现有技术相比，本专利技术技术方案的创新点为：1.结合虚拟现实数据无线传输的特点和要求，提出简单高效的网络传输协议HRTP协议栈的设计方法；2.本专利技术方案提出的HRTP数据报文格式，能够有效降低数据冗余，且有利于数据纠错，提高系统稳定性。3.本方法设计的数据发送/接收处理流程，提高了数据传输的实时性，进一步减少系统延时，为使用者提供良好的虚拟现实体验。附图说明图1为本专利技术方法中网络传输协议(HRTP)栈层次结构；图2为本专利技术方法中网络传输协议(HRTP)头部数据格式；图3为本专利技术方法中网络传输协议(HRTP)单包负载格式；图4为本专利技术方法中网络传输协议(HRTP)多包负载格式；图5为本专利技术方法中网络传输协议(HRTP)发送端处理流程；图6为本专利技术方法中网络传输协议(HRTP)接收端处理流程；图7为本专利技术方法中网络传输协议(HRTP)接收端多包模式详细处理流程。具体实施方式如
技术介绍
所述，现有技术中的网络传输协议设计方法在实际应用中仍然存在不符合虚拟现实技术数据传输特点、使用局限性大等问题。在本专利技术方案中，提出了一种符合虚拟现实技术数据传输特点的网络传输协议(HRTP)的设计方法，分为HRTP协议栈设计，数据报文格式设计，数据发送/接收处理流程设计三个步骤。为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。图1为本专利技术方法中网络传输协议(HRTP)栈层次结构；本专利技术中网络协议栈的层次结构分别为：物理层(附图1中106)、MAC层(附图1中105)、IP层(附图1中104)、UDP层(附图1中103)、HRTP层(附图1中102)与应用层(附图1中101)；与标准的TCP/IP协议栈相比，HRTP协议主要增加了HRTP协议层(附图1中102)，此协议层设计的目的在于：1.实现虚拟现实图像帧数据的完整性校验；2.纠正UDP协议传输时乱序问题；3.防止图像帧数据错误的扩展；4.传输图像帧附加数据信息比如PTS，帧序列号等。图2为本专利技术方法中网络传输协议(HRTP)头部数据格式；在HRTP层的每一个数据报文包都含有一个数据报文头部信息(图2)，其中Videotype表示图像类型，如H.264格式为96；Packetnumber表示该报文的序列号，共16位；Timestamp表示该数据对应的显示时间戳；hyVR为固定识别码，表示该数据产生于某个平台，如HyperealVR平台；图3为本专利技术方法中网络传输协议(HRTP)单包负载格式；HRTP层的数据报文负载分为单包格式和多包格式2种类型；如果虚拟现实图像帧数据小于1460byets，可将数据封装为单包格式(图3)；其中packethead表示该图像帧NAL头部字段；图4为本专利技术方法中网络传输协议本文档来自技高网...

【技术保护点】
1.一种虚拟现实无线网络传输协议的设计方法，其特征在于，包括步骤：HRTP协议栈设计：在现有技术中标准的TCP/IP协议基础上，增加HRTP协议层；数据报文格式设计：包括数据报文头部格式与数据报文负载格式设计；数据发送与接收处理流程设计：判断数据包模式后，采用单包或多包数据发送/接收处理流程。

【技术特征摘要】
1.一种虚拟现实无线网络传输协议的设计方法，其特征在于，包括步骤：HRTP协议栈设计：在现有技术中标准的TCP/IP协议基础上，增加HRTP协议层；数据报文格式设计：包括数据报文头部格式与数据报文负载格式设计；数据发送与接收处理流程设计：判断数据包模式后，采用单包或多包数据发送/接收处理流程。2.根据权利要求1所述的一种虚拟现实无线网络传输协议的设计方法，其特征在于，所述网络传输协议基于TCP/IP协议实现HRTP协议栈设计。3.根据权利要求1所述的一种虚拟现实无线网络传输协议的设计方法，其特征在于，所述HRTP数据报文格式设计。4.根据权利要求3所述...

【专利技术属性】
技术研发人员：田巍，黄柴铭，陈玉琨，
申请(专利权)人：上海拆名晃信息科技有限公司，
类型：发明
国别省市：上海,31