一种图像帧预测方法、装置及头显设备制造方法及图纸

本发明专利技术实施例提供了一种图像帧预测方法、装置及头显设备。所述图像帧预测方法包括：对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，所述源帧为已渲染的帧；根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。

An Image Frame Prediction Method, Device and Head Display Device

The embodiment of the present invention provides an image frame prediction method, device and head display device. The image frame prediction method includes: calculating the inter-frame motion vectors of the two adjacent source frames to obtain the frame motion vectors of the two adjacent source frames, which are rendered frames; predicting the inter-frame motion vectors according to at least two frame motion vectors to obtain the predicted value of the frame motion vectors; and predicting the nearest predicted value of the frame motion vectors according to the predicted value of the frame motion vectors. The source frame is processed to get the predicted frame.

【技术实现步骤摘要】
一种图像帧预测方法、装置及头显设备
本专利技术涉及图像处理领域，具体涉及一种图像帧预测方法、装置及头显设备。
技术介绍
AR/VR(增强现实/虚拟现实)产品要求分辨率高、帧频快，且要求延时低。在一定延时要求下，复杂场景、高帧率对图形渲染与数据传输有很高要求，而庞大的数据处理与渲染工作，给GPU(图形处理器)、显卡、AP(应用处理器)或无线数据传输，都带来了巨大的技术挑战。在渲染时，若某一帧数据渲染性能不足，如图形内容较复杂渲染时间过长，而输出帧率又较高，GPU没有按帧率及时渲染完图像提供显示，下一帧数据就会被丢掉，使得HMD(头戴式可视设备)就会显示与上一帧数据相同的图像数据，造成顿挫感或显示异常。现有方案中有基于运动补偿的帧率提升算法，实现框图如图1所示，对先前的原始帧和当前的原始帧进行运动估计，得到运动数据后进行矢量处理，得到运动矢量后进行运动补偿，最终得到插入帧。基于运动补偿的帧率提升算法若直接用于AR/VR帧率提升(如60Hz至120Hz)，会引入较大延时(至少接近2帧)，是AR/VR无法接受的。
技术实现思路
本专利技术实施例提供一种图像帧预测方法、装置及头显设备，降低时延。一方面，本专利技术实施例提供了一种图像帧预测方法，包括：对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，所述源帧为已渲染的帧；根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。可选地，所述方法还包括：将所述预测帧插到与所述帧运动矢量预测值最近的源帧之后，所述与帧运动矢量预测值最近的源帧为计算所述帧运动矢量预测值过程中使用的最后一个源帧。可选地，所述对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，包括：将第一源帧分成多个单位块；在第二源帧中找到所述第一源帧中每个单位块对应的匹配块，所述第二源帧为所述第一源帧时序上的后一帧；计算所述第一源帧中每个单位块与其对应的匹配块之间的运动矢量，得到所述第一源帧和所述第二源帧间的帧运动矢量。可选地，所述根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值，包括：采用以下方式之一得到帧运动矢量预测值：根据帧运动矢量和位移规律，类比推测出帧运动矢量预测值；根据卡尔曼滤波算法对至少两个帧运动矢量进行计算，得到帧运动矢量预测值；采用训练得出的人工神经网络算法模型预测得到帧运动矢量预测值。可选地，所述根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧，包括：将计算所述帧运动矢量预测值过程中使用的最后一个源帧中的单位块中的像素按照所述帧运动矢量预测值进行位移，得到预测帧。另一方面，本专利技术实施例还提供了一种图像帧预测装置，其特征在于，包括：帧运动矢量计算单元、运动矢量预测单元和预测帧构建单元，其中：所述帧运动矢量计算单元，用于对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，所述源帧为已渲染的帧；所述运动矢量预测单元，用于根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；所述预测帧构建单元，用于根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。可选地，所述装置还包括插帧处理单元，用于将所述预测帧插到与所述帧运动矢量预测值最近的源帧之后，所述与帧运动矢量预测值最近的源帧为计算所述帧运动矢量预测值过程中使用的最后一个源帧。可选地，所述帧运动矢量计算单元，用于将第一源帧分成多个单位块，在第二源帧中找到所述第一源帧中每个单位块对应的匹配块，所述第二源帧为所述第一源帧时序上的后一帧，以及计算所述第一源帧中每个单位块与其对应的匹配块之间的运动矢量，得到所述第一源帧和所述第二源帧间的帧运动矢量。可选地，所述运动矢量预测单元采用以下方式之一得到帧运动矢量预测值：根据帧运动矢量和位移规律，类比推测出帧运动矢量预测值；根据卡尔曼滤波算法对至少两个帧运动矢量进行计算，得到帧运动矢量预测值；采用训练得出的人工神经网络算法模型预测得到帧运动矢量预测值。可选地，所述预测帧构建单元用于将计算所述帧运动矢量预测值过程中使用的最后一个源帧中的单位块中的像素按照所述帧运动矢量预测值进行位移，得到预测帧。再一方面，本专利技术实施例还提供了一种头显设备，包括如前所述的图像帧预测装置。本专利技术方案提供一种低延时空间预测驱动方案及装置，以后期图像处理插帧方案，代替GPU渲染图像插帧方案，预测帧由对应算法产生，并并非由渲染产生，可以减小场景渲染工作量，减少中间数据传输量，使产品更易做到便携性，且时延低，避免了因渲染能力不足而丢帧的情况，提升了对应产品的价值、性能、品质。当然，实施本专利技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。本专利技术的其它特征和优点将在随后的说明书实施例中阐述，并且，部分地从说明书实施例中变得显而易见，或者通过实施本专利技术而了解。本专利技术实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本
技术实现思路
。图1为已有技术中动态补偿实现方案示意图；图2为本专利技术实施例图像帧预测方法流程图；图3为本专利技术实施例一种预测方式示例图；图4为本专利技术实施例图像帧预测装置结构示意图；图5本专利技术应用示例设备架构图；图6本专利技术应用示例空间预测方法流程图。具体实施方式下面结合附图和实施例对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。下面对本专利技术实施例方法进行详细描述。如图2所示，本专利技术实施例方法包括步骤21-23。步骤21，对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量(或称帧间运动矢量)，所述源帧为已渲染的帧；例如，对第一源帧和第二源帧进行帧间运动矢量计算，得到第一源帧和第二源帧间的帧运动矢量(以下简称帧运动矢量1)，对第二源帧和第三源帧进行帧间运动矢量计算，得到第二源帧和第三源帧间的帧运动矢量(以下简称帧运动矢量2)，以此类推。该第一源帧、第二源帧和第三源帧等源帧均为已经渲染过的帧，所述第二源帧为所述第一源帧时序上的后一帧(或称时序上的下一帧)，所述第三源帧为所述第二源帧时序上的后一帧。步骤22，根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；例如，根据帧运动矢量1和帧运动矢量2进行运动矢量预测，得到帧运动矢量预测值，即预测的帧运动矢量。例如，可以根据帧运动矢量的规律进行预测，如假定所述运动为线性运动，则根据帧运动矢量1和帧运动矢量2可以预估出下一个帧运动矢量，进而可以预估出图像中相同位置的对象在下一帧所在的位置。进行帧间运动矢量预测时使用的帧运动矢量越多，预测的越准确。步骤23，根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。与所述帧运动矢量预测值最近的源帧是指计算所述帧运动矢量预测值过程中本文档来自技高网...

【技术保护点】
1.一种图像帧预测方法，其特征在于，所述方法包括：对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，所述源帧为已渲染的帧；根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。

【技术特征摘要】
1.一种图像帧预测方法，其特征在于，所述方法包括：对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，所述源帧为已渲染的帧；根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值；根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述预测帧插到与所述帧运动矢量预测值最近的源帧之后，所述与帧运动矢量预测值最近的源帧为计算所述帧运动矢量预测值过程中使用的最后一个源帧。3.根据权利要求1所述的方法，其特征在于，所述对相邻两源帧进行帧间运动矢量计算，得到所述相邻两源帧的帧运动矢量，包括：将第一源帧分成多个单位块；在第二源帧中找到所述第一源帧中每个单位块对应的匹配块，所述第二源帧为所述第一源帧时序上的后一帧；计算所述第一源帧中每个单位块与其对应的匹配块之间的运动矢量，得到所述第一源帧和所述第二源帧间的帧运动矢量。4.根据权利要求1或2或3所述的方法，其特征在于，所述根据至少两个帧运动矢量进行帧间运动矢量预测，得到帧运动矢量预测值，包括：采用以下方式之一得到帧运动矢量预测值：根据帧运动矢量和位移规律，类比推测出帧运动矢量预测值；根据卡尔曼滤波算法对至少两个帧运动矢量进行计算，得到帧运动矢量预测值；采用训练得出的人工神经网络算法模型预测得到帧运动矢量预测值。5.根据权利要求1或3所述的方法，其特征在于，所述根据所述帧运动矢量预测值对与所述帧运动矢量预测值最近的源帧进行处理，得到预测帧，包括：将计算所述帧运动矢量预测值过程中使用的最后一个源帧中的单位块中的像素按照所述帧运动矢量预测值进行位移，得到预测帧。6.一种图像帧预测装置，其特征在于，包括...

【专利技术属性】
技术研发人员：邵继洋，毕育欣，孙剑，张浩，訾峰，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11