一种图像处理方法、头戴显示器以及渲染设备技术

本发明专利技术实施例公开了一种图像处理方法、头戴显示器以及渲染设备。其中一种方法包括：向渲染设备发送头戴显示器在第一时刻的姿态信息；接收来自渲染设备的视频数据，视频数据包括根据姿态信息渲染得到图像数据；获取头戴显示器在第二时刻的姿态信息，第二时刻晚于第一时刻；根据第二时刻的姿态信息与第一时刻的姿态信息的信息差，调整图像数据指示的图像，从而得到用于显示的调整后的图像。采用本发明专利技术实施例，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生画面绘制延时。

Image processing method, head mounted display device, and rendering apparatus

The embodiment of the invention discloses an image processing method, a head mounted display device and a rendering device. One method involves to the attitude information rendering device sends a head mounted display for the first time; receiving video data from the video data including the rendering device, according to the attitude information rendering to obtain image data; obtaining attitude information of head mounted display in the second time, second time later than the first time; according to the attitude information of second time attitude information with the first time information, adjust the image data indicating the image, obtained for image display after adjustment. The embodiment of the invention, through the HMD to adjust the equipment according to the image data by rendering the attitude information at the first time to get, without treatment will be used to adjust the second time attitude information sent to the rendering device, the image data after adjustment, the head can rotate, eliminates the head rotation caused by scene change picture drawing delay.

【技术实现步骤摘要】
一种图像处理方法、头戴显示器以及渲染设备
本专利技术涉及计算机
，尤其涉及一种图像处理方法、头戴显示器以及渲染设备。
技术介绍
虚拟现实(VirtualReality，VR)技术是近年来新兴的多媒体技术。它是一种可以创建和体验虚拟世界的计算机仿真系统。在VR场景中，使用者通过佩戴一种集成图形系统、光学系统以及姿态追踪系统的头戴显示器(HeadMountedDisplay，HMD)后，可以让使用者获得一种可交互的沉浸式体验。在VR视频传输场景中，多采用无线进行传输。目前，无线VR视频传输过程如图1所示，HMD采集姿态信息后通过无线传输至渲染设备(ApplicationProcessor，AP)，而AP则根据接收到的姿态信息渲染出对应的图像数据/视频数据，并无线回传至HMD，使得HMD对图像数据/视频数据进行显示。当AP在渲染时，若某一帧数据渲染性能不足(如渲染时间过长)，下一帧数据就会被丢掉，使得HMD就会显示与上一帧数据相同的图像数据。而一旦头部转动，相同图像的光线则会落在视网膜上的不同部位，从而导致画面抖动。此时，通过AP侧的图形处理器(GraphicsProcessingUnit，GPU)进行二次渲染处理，也就是直接对该帧的图像进行空间上的移位和扭曲以匹配头部转动，减小画面抖动。但由于在二次渲染时，需要根据该帧图像对应的姿态信息与当前时刻HMD采集的姿态信息的信息差进行移位以匹配头部转动，也就是说需要将当前时刻采集的姿态信息无线传输至AP侧，而姿态信息在传输过程中存在传输时延，使得调整后的图像仍然无法匹配头部转动，因此，无法消除了因头部转动引起场景变化产生的画面绘制延时。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种图像处理方法、头戴显示器以及渲染设备，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。本专利技术第一方面提供了一种图像处理方法，包括：头戴显示器向渲染设备发送头戴显示器在第一时刻的姿态信息，并接收来自渲染设备的视频数据，其中视频数据包括根据第一时刻的姿态信息渲染得到的图像数据，然后获取所述头戴显示器在第二时刻的姿态信息，第二时刻晚于所述第一时刻，根据第二时刻的姿态信息与第一时刻的姿态信息的信息差调整该图像数据指示的图像，从而得到用于显示的调整后的图像。在本专利技术实施例第一方面中，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。结合第一方面，在第一方面的第一种实现方式中，所述方法还包括：头戴显示器向渲染设备发送用于指示第一时刻的第一时刻信息，其中，第一时刻信息与第一时刻的姿态信息绑定；在视频数据还包括与视频数据绑定的第一时刻信息时，头戴显示器通过获取与第一时刻信息绑定的在第一时刻的姿态信息，并根据第二时刻的姿态信息与所述第一时刻的姿态信息的信息差调整图像数据指示的图像。结合第一方面或第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。结合第一方面或第一方面的第一种实现方式或第一方面的第二种实现方式，在第一方面的第三种实现方式中，所述根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到调整后的图像，包括：将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。结合第一方面或第一方面的第一种实现方式或第一方面的第二种实现方式或第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述方法还包括：头戴显示器获取头戴显示器在第三时刻的姿态信息，第三时刻晚于第一时刻，第二时刻与第三时刻不是同一时刻，并根据第三时刻的姿态信息与第一时刻的姿态信息的信息差调整图像数据指示的图像，从而得到用于显示的另一调整后的图像。通过第三时刻的姿态信息与第一时刻的姿态信息的信息差以及第二时刻的姿态信息与第一时刻的姿态信息的信息差对渲染的一帧图像数据经过两次不同的位移调整，实现了图像数据的插帧处理，并减小了图像数据的渲染帧率，降低了无线图像数据的传输带宽。本专利技术第二方面提供了一种图像处理方法，包括：渲染设备接收来自头戴显示器的在第一时刻的姿态信息以及与在第一时刻的姿态信息绑定的第一时刻信息，所述第一时刻信息用于指示第一时刻，然后根据在第一时刻的姿态信息渲染得到图像数据，具体可以为根据第一时刻的姿态信息，对全景视频/图像进行渲染，从而得到图像数据。最后向所述头戴显示器发送图像数据以及与所述图像数据绑定的第一时刻信息，用于头戴显示设备对图像数据进行调整处理。在本专利技术实施例第二方面中，渲染设备接收头戴显示器的姿态信息后，根据该姿态信息渲染得到视频数据/图像数据，并发送至头戴显示器，用于头戴显示器对该视频数据/图像数据进行调整并显示，从而使得显示的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。本专利技术第三方面提供了一种头戴显示器，包括：无线传输单元，用于向渲染设备发送所述头戴显示器在第一时刻的姿态信息；所述无线传输单元，还用于接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据；运动传感器单元，用于获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻；图像处理单元，用于根据所述运动传感器单元获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像，从而得到用于显示的调整后的图像。在本专利技术实施例第三方面中，通过HMD对由渲染设备根据第一时刻的姿态信息得到的渲染图像数据进行调整，无需将用于调整处理的第二时刻的姿态信息发送至渲染设备，减小了姿态信息的传输时延，使得调整后的图像数据可以匹配头部转动，消除了因头部转动引起场景变化产生的画面绘制延时。结合第三方面，在第三方面的第一种实现方式中，所述头戴显示器还包括：所述无线传输单元，还用于向所述渲染设备发送用于指示所述第一时刻的第一时刻信息，所述第一时刻信息与所述第一时刻的姿态信息绑定；所述视频数据还包括与所述视频数据绑定的所述第一时刻信息；所述图像处理单元具体用于：根据所述运动传感器单元获取的所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述无线传输单元接收到的所述图像数据指示的图像。结合第三方面，在第三方面的第二种实现方式中，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。结合第三方面的第二种实现方式，在第三方面的第三种实现方式中，所述图像处理单元具体用于：将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。结合第三方面的第三种实现方式，在第三方面的第四种实现方式中，所述头戴显示器还包括：所述运动传感器单元，还用于获取所本文档来自技高网...

【技术保护点】
一种图像处理方法，所述方法由头戴显示器执行，其特征在于，所述方法包括：向渲染设备发送所述头戴显示器在第一时刻的姿态信息；接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据；获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻；根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到用于显示的调整后的图像。

【技术特征摘要】
1.一种图像处理方法，所述方法由头戴显示器执行，其特征在于，所述方法包括：向渲染设备发送所述头戴显示器在第一时刻的姿态信息；接收来自所述渲染设备的视频数据，所述视频数据包括根据所述姿态信息渲染得到图像数据；获取所述头戴显示器在第二时刻的姿态信息，所述第二时刻晚于所述第一时刻；根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到用于显示的调整后的图像。2.如权利要求1所述的方法，其特征在于，所述方法还包括：向所述渲染设备发送用于指示所述第一时刻的第一时刻信息，所述第一时刻信息与所述第一时刻的姿态信息绑定；所述视频数据还包括与所述视频数据绑定的所述第一时刻信息；所述根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，包括：获取与所述第一时刻信息绑定的所述在第一时刻的姿态信息，根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像。3.如权利要求1或2所述的方法，其特征在于，所述第一时刻的姿态信息包括所述第一时刻的姿态角，所述第二时刻的姿态信息包括所述第二时刻的姿态角。4.如权利要求1至3任一项所述的方法，其特征在于，所述根据所述第二时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到调整后的图像，包括：将信息差对应的变换矩阵与所述图像信息指示的图像相乘，从而得到所述调整后的图像。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：获取所述头戴显示器在第三时刻的姿态信息，所述第三时刻晚于所述第一时刻，所述第二时刻与所述第三时刻不是同一时刻；根据所述第三时刻的姿态信息与所述第一时刻的姿态信息的信息差，调整所述图像数据指示的图像，从而得到用于显示的另一调整后的图像。6.一种图像处理方法，所述方法由渲染设备执行，其特征在于，所述方法包括：接收来自头戴显示器的在第一时刻的姿态信息以及与所述在第一时刻的姿态信息绑定的第一时刻信息，所述第一时刻信息用于指示第一时刻；根据所述在第一时刻的姿态信息，渲染得到图像数据；向所述头戴显示器发送所述图像数据以及与所述图像数据绑定的第一时刻信息。7.一种头戴显示器，其特征在于，所述头戴显示器包括：无线传输单元，用于向渲染设备发送所述头戴显示器在第一时刻的姿态信息；所述无线传输单元，还用...

【专利技术属性】
技术研发人员：郑方舟，高剑，罗毅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44