一种图像显示方法及装置、计算机可读存储介质制造方法及图纸

本申请公开了一种图像显示方法及装置、计算机可读存储介质，包括读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对前一帧进行超像素分割；根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。本申请通过针对超像素进行处理而非逐像素进行处理，降低了处理对象的数目，有效地提升了处理速度和运算效率，而且超像素内的所有像素进行仿射变换的参数是相同的，极大程度地降低了传统的对每个像素进行非线性变换导致的近场景物的失真。

An Image Display Method, Device and Computer Readable Storage Media

This application discloses an image display method and device, a computer readable storage medium, including reading the current frame to be displayed, reading the first frame of the current frame to be displayed and super-pixel segmentation of the previous frame when the current frame to be displayed can not complete rendering processing in a predetermined time, and affine the super-pixel in the previous frame according to the acquired inter-frame field of view transformation information. The compensation frame is replaced and the compensation frame is output to the display unit for display. This application reduces the number of processing objects by processing super-pixels instead of pixel-by-pixel, effectively improves the processing speed and efficiency, and the parameters of affine transformation of all pixels in super-pixels are the same, which greatly reduces the distortion of Near-Scene objects caused by the traditional non-linear transformation of each pixel.

【技术实现步骤摘要】
一种图像显示方法及装置、计算机可读存储介质
本专利技术涉及但不限于虚拟现实(VirtualReality，VR)
，尤其涉及一种图像显示方法及装置、计算机可读存储介质。
技术介绍
随着计算机技术的迅速发展，VR技术研究吸引了越来越多的目光，在医学、娱乐、军事航天和工业仿真方面获得了诸多应用。VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地观察三维空间内的事物。VR技术主要包括场景采集、模拟、编解码、场景重建和场景显示等几个方面。人类对于头部运动与视界变换的差异是非常敏感的，即头部运动与视野转动的时差应该非常小，研究表明，该时差超过20毫秒就会有明显的迟滞感。因此，在场景显示时，刷新率不足会明显导致头部运动与视觉观测视角的不匹配，进而导致VR用户的体验下降甚至导致VR头盔用户的晕动症。对于VR视频而言，需要画面刷新频率不低于50Hz，即需要在20毫秒内完成传感器对位置和角度等信息的更新、画面的解析与渲染以及显示器及时更新显示。VR视频为了追求沉浸感和真实性，通常具有较高的分辨率和广角特性，这进一步增大了渲染的压力，因此，保持较高的刷新率是一件很有难度的工作。相关技术在处理渲染不及时或者刷新频率较低的VR视频时，通常采用时间扭曲(TimeWarp，TW)技术进行插帧来保证帧率满足特定的要求。TW通过利用已经渲染的上一帧图像，在时间上将之扭曲为显示的当前帧。假设将t时刻待显示帧定义为ft(由于ft未完成渲染，所以不能用于显示)，相邻已经完成渲染的图像帧定义为ft-1，根据采集到的帧间头盔旋转角度信息δ，合成t时刻的显示数据ft'：ft'＝ft-1φ(δ)(1)其中，φ(δ)表示将角度信息转换为帧间的视场变换函数，φ(δ)为4×4的齐次变换矩阵，具有如下的形式：其中，n、o和a是旋转变换列向量，p是平移向量。通过综合调节n、o和a，可以实现补偿帧在三维空间下的旋转，例如，利用矩阵可以实现绕z轴旋转θ角的目的。TW可以有效地解决渲染不及时的问题，但是，由于传统的TW是逐像素进行的一种非线性变换，因此，存在以下三个问题：1)对于分辨率较高的图片，需要运算的时间将直线上升；2)由于对每个像素均采用非线性变换极有可能会导致近场景物的失真，根据视觉暂留效应，反应到使用者就会导致一种明显的近场景物抖动；3)由于仅仅使用了ft-1帧的信息，TW补偿帧中无法估计场景中物体的运动信息。
技术实现思路
为了解决运算时间长以及近场景物的失真问题，本专利技术一方面提供了一种图像显示方法及装置、计算机可读存储介质，能够提升运算效率、降低近场景物的失真以及降低运动信息缺失导致的抖动；为了解决传统TW方法中的运动信息缺失导致的运动物体抖动问题，本专利技术另一方面提供了一种图像显示方法及装置、计算机可读存储介质，能够降低运动信息缺失导致的抖动。为了达到本专利技术目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供了一种图像显示方法，包括：读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对前一帧进行超像素分割；根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。进一步地，所述对前一帧进行超像素分割，包括：利用简单线性迭代聚类算法、基于图论的方法或者基于熵率的超像素分割方法对所述前一帧进行超像素分割。本专利技术实施例还提供了一种图像显示方法，包括：读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对当前待显示帧和前一帧分别进行超像素分割；对超像素分割后的当前待显示帧和前一帧进行超像素匹配；根据当前待显示帧和前一帧之间的超像素匹配关系，估计前一帧中的超像素的运动信息，使用运动信息对前一帧中的超像素进行运动补偿，得到中间补偿帧；根据获取的帧间视场变换信息，对中间补偿帧的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。进一步地，在得到中间补偿帧之后，所述方法还包括：根据所述当前待显示帧对应位置的数据，对所述中间补偿帧中的空洞进行填充。进一步地，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。进一步地，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色信息和位置信息，组成五维特征向量，根据五维特征向量信息进行匹配。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像显示的程序，所述图像显示的程序被处理器执行时实现如以上任一项所述的图像显示方法的步骤。本专利技术实施例还提供了一种图像显示装置，包括第一读取单元、第一超像素分割单元、第一仿射变换单元和第一显示单元，其中：第一读取单元，用于读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，并将前一帧输出至第一超像素分割单元；第一超像素分割单元，用于对前一帧进行超像素分割，将超像素分割后的前一帧输出至第一仿射变换单元；第一仿射变换单元，用于根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至第一显示单元；第一显示单元，用于接收并显示补偿帧。本专利技术实施例还提供了一种图像显示装置，包括第二读取单元、第二超像素分割单元、第二超像素匹配单元、第二运动补偿单元、第二仿射变换单元和第二显示单元，其中：第二读取单元，用于读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，并将当前待显示帧和前一帧输出至第二超像素分割单元；第二超像素分割单元，用于对当前待显示帧和前一帧分别进行超像素分割，将超像素分割后的当前待显示帧和前一帧输出至第二超像素匹配单元；第二超像素匹配单元，用于对超像素分割后的当前待显示帧和前一帧进行超像素匹配，将当前待显示帧和前一帧之间的超像素匹配关系输出至第二运动补偿单元；第二运动补偿单元，用于根据当前待显示帧和前一帧之间的超像素匹配关系估计前一帧中的超像素的运动信息，使用运动信息对前一帧中的超像素进行运动补偿，得到中间补偿帧，将中间补偿帧输出至第二仿射变换单元；第二仿射变换单元，用于根据获取的帧间视场变换信息，对中间补偿帧的超像素进行仿射变换得到补偿帧，并将补偿帧输出至第二显示单元；第二显示单元，用于接收并显示补偿帧。进一步地，所述第二运动补偿单元还用于：根据所述当前待显示帧对应位置的数据，对所述中间补偿帧中的空洞进行填充。进一步地，所述第二超像素匹配单元的对超像素分割后的当前待显示帧和前一帧进行超像素匹配，包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。进一步地，所述第二超像素匹配单元的对超像素分割后的当前待显示帧和前一帧进行超像素匹配，包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色信息和位置信息，组成五维特本文档来自技高网...

【技术保护点】
1.一种图像显示方法，其特征在于，包括：读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对前一帧进行超像素分割；根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。

【技术特征摘要】
1.一种图像显示方法，其特征在于，包括：读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对前一帧进行超像素分割；根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。2.根据权利要求1所述的图像显示方法，其特征在于，所述对前一帧进行超像素分割，包括：利用简单线性迭代聚类算法、基于图论的方法或者基于熵率的超像素分割方法对所述前一帧进行超像素分割。3.一种图像显示方法，其特征在于，包括：读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对当前待显示帧和前一帧分别进行超像素分割；对超像素分割后的当前待显示帧和前一帧进行超像素匹配；根据当前待显示帧和前一帧之间的超像素匹配关系，估计前一帧中的超像素的运动信息，使用运动信息对前一帧中的超像素进行运动补偿，得到中间补偿帧；根据获取的帧间视场变换信息，对中间补偿帧的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。4.根据权利要求3所述的图像显示方法，其特征在于，在得到中间补偿帧之后，所述方法还包括：根据所述当前待显示帧对应位置的数据，对所述中间补偿帧中的空洞进行填充。5.根据权利要求3所述的图像显示方法，其特征在于，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。6.根据权利要求3所述的图像显示方法，其特征在于，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色信息和位置信息，组成五维特征向量，根据五维特征向量信息进行匹配。7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像显示的程序，所述图像显示的程序被处理器执行时实现如权利要求1至6中任一项所述的图像显示方法的步骤。8.一种图像显示装置，其特征在于，包括第一读取单元、第一超像素分割单元、第一仿射变换单元和第一显示单元，其中：第一读取单元，用于读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时...

【专利技术属性】
技术研发人员：孔德辉，徐科，刘祥凯，
申请(专利权)人：深圳市中兴微电子技术有限公司，
类型：发明
国别省市：广东,44