【技术实现步骤摘要】
技术介绍
1、帧速率上转换(frame rate up-conversion，fruc)是指通过增加相同持续时间内可供显示的帧数来提高视频的帧速率的技术。一些流行的fruc技术通过使用已渲染帧作为参考来增加可用帧的数量，从而为一个或更多个新帧生成像素数据，而不是使用完整的渲染管线。这些新帧可以作为附加帧插入视频中，以增加视频中的总帧数。这些fruc技术可以使用光流来基于场景中运动识别参考渲染帧之间的像素行为模式。这些模式可用于预测新帧的像素中的像素数据，方法是从参考帧中扭曲源像素，以生成中间帧的像素的像素数据。在执行像素扭曲时，如果来自相同或不同参考帧的多个源像素映射到中间帧的相同位置，则可能会发生冲突，例如，诸如源像素与位于帧中描述的环境中不同深度的特征(例如，对象和对象表面)相对应。要产生更真实的中间帧，应解决这些冲突，以反映中间帧中源像素的相对深度。
2、解决参考帧源像素之间冲突的传统方法可以使用像素的深度值来选择中间帧中的位置的前景像素。在某些示例中，深度值由用于渲染帧的游戏引擎提供。然而，从游戏引擎访问深度值需要与游戏引擎紧密集成，这可能并不总是可行或可用的。在其他示例中，深度值可以使用与帧本身相对应的数据来生成。然而，从帧生成深度值可能计算量大且耗时，这可能会阻碍以实时或接近实时速率执行fruc的能力。
技术实现思路
1、本专利技术的实施例涉及在帧速率上转换应用中使用光流进行冲突解决。具体而言，本专利技术涉及用于至少基于像素的运动矢量与使用光流计算的全局运
2、与传统方法(例如上述方法)相比，本公开的方法可以至少基于一个或更多个全局运动矢量与其他一个或更多个帧的一个或更多个部分的一个或更多个运动矢量之间的相似性水平，使用一个或更多个其他帧的一个或更多个部分来生成一个或更多个帧中的至少一个位置的像素数据。帧的全局运动矢量可以代表整个帧的运动。相似性水平可用于确定，例如，是否使用像素和/或帧中位置的像素加权来生成图像中某个位置的像素数据。可使用至少基于全局运动矢量的一个或更多个角度与运动矢量的与一个或更多个部分相对应的一个或者多个角度之间的差异的相似性度量，将相似性水平计算为相似性分数(在一个或更多个实施例中)。此外，或者可选地，相似性度量可以至少基于全局运动矢量的一个或更多个量值和与一个或更多个部分相对应的运动矢量的一个或者多个量值之间的差值。相似性度量可以根据全局运动矢量的量值按比例衡量一个或更多个角度之间的差异。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.如权利要求1所述的方法，其中生成所述像素数据是至少基于以下中的一个或更多个：在所述第一参考帧和所述第二参考帧之间插值所述像素数据，或者从所述第一参考帧或所述第二参考帧中的一个或更多个外推所述像素数据。
3.如权利要求1所述的方法，其中检测所述冲突至少基于所述第一组一个或更多个局部运动矢量指示第一表面的至少一部分位于与所述第一表面不同的第二表面的前面，并且所述第二组一个或更多个局部运动矢量指示所述第一表面的所述至少一部分在所述第二表面的后面。
4.如权利要求1所述的方法，还包括：至少基于以下中的一项或更多项来计算所述更高的相似性分数：
5.如权利要求1所述的方法，其中生成所述像素数据是用于生成所述帧序列的一个或更多个附加帧，以在一个或更多个时间段内使用显示设备显示时实现目标帧速率。
6.如权利要求1所述的方法，其中确定所述第一组一个或更多个局部运动矢量或所述第二组一个或更多个局部运动矢量中的哪一个相对于所述全局运动矢量具有更高的相似性分数至少基于计算相似性度量，所述相似性度量与所述全局运动矢量的量
7.如权利要求1所述的方法，其中确定所述第一组一个或更多个局部运动矢量或所述第二组一个或更多个局部运动矢量中的哪一个具有所述更高的相似性分数包括：
8.如权利要求1所述的方法，其中使用所述第一参考帧和所述第二参考帧之间的运动矢量的统计组合来计算所述全局运动矢量。
9.如权利要求1所述的方法，其中生成所述至少一个像素位置的所述像素数据至少基于与所述第一组一个或更多个局部运动矢量相对应的所述更高的相似性分数不与所述第二视觉内容相对应。
10.一种系统，包括：
11.如权利要求10所述的系统，其中生成所述像素数据是至少基于以下中的一个或更多个：在所述第一参考帧和所述第二参考帧之间插值所述像素数据，或者从所述第一参考帧或所述第二参考帧中的一个或更多个外推所述像素数据。
12.如权利要求10所述的系统，其中确定所述冲突至少基于所述第一运动矢量指示第一表面的至少一部分在所述像素位置处位于与所述第一表面不同的第二表面的前面，并且所述第二运动矢量指示所述第一表面的所述至少一部分在所述像素位置处位于所述第二表面的后面。
13.如权利要求10所述的系统，还包括：至少基于计算以下中的一项或更多项，确定所述第一运动矢量相比于所述第二运动矢量与全局运动矢量具有更大的相似度：
14.如权利要求10所述的系统，其中所述系统被包括在以下中的至少一个中：
15.一种处理器，包括：
16.如权利要求15所述的处理器，其中所述像素位置的所述像素数据是至少基于确定与所述一个或更多个冲突部分中的第二部分相对应的至少一个局部运动矢量相比于与所述一个或更多个冲突部分中的第一部分相对应的至少另一个局部运动矢量与所述一个或更多个全局运动矢量更不相似，使用所述第一部分来确定的。
17.如权利要求15所述的处理器，其中所述插值帧是至少通过在所述一个或更多个帧中的第一帧和所述一个或更多个帧中的第二帧之间插值所述像素数据来生成的。
18.如权利要求15所述的处理器，其中所述一个或更多个冲突部分是至少基于识别所述一个或更多个帧中的一个或更多个第一帧与所述一个或更多个帧中的一个或更多个第二帧之间的像素冲突来确定的。
19.如权利要求15所述的处理器，其中所述相似度是至少基于以下中的一项或更多项来计算的：
20.如权利要求15所述的处理器，其中所述处理器被包括在以下中的至少一个中：
...【技术特征摘要】
1.一种方法，包括：
2.如权利要求1所述的方法，其中生成所述像素数据是至少基于以下中的一个或更多个：在所述第一参考帧和所述第二参考帧之间插值所述像素数据，或者从所述第一参考帧或所述第二参考帧中的一个或更多个外推所述像素数据。
3.如权利要求1所述的方法，其中检测所述冲突至少基于所述第一组一个或更多个局部运动矢量指示第一表面的至少一部分位于与所述第一表面不同的第二表面的前面，并且所述第二组一个或更多个局部运动矢量指示所述第一表面的所述至少一部分在所述第二表面的后面。
4.如权利要求1所述的方法，还包括：至少基于以下中的一项或更多项来计算所述更高的相似性分数：
5.如权利要求1所述的方法，其中生成所述像素数据是用于生成所述帧序列的一个或更多个附加帧，以在一个或更多个时间段内使用显示设备显示时实现目标帧速率。
6.如权利要求1所述的方法，其中确定所述第一组一个或更多个局部运动矢量或所述第二组一个或更多个局部运动矢量中的哪一个相对于所述全局运动矢量具有更高的相似性分数至少基于计算相似性度量，所述相似性度量与所述全局运动矢量的量值成比例地对所述全局运动矢量的角度与所述第一组一个或更多个运动矢量的一个或更多个角度之间的差进行加权。
7.如权利要求1所述的方法，其中确定所述第一组一个或更多个局部运动矢量或所述第二组一个或更多个局部运动矢量中的哪一个具有所述更高的相似性分数包括：
8.如权利要求1所述的方法，其中使用所述第一参考帧和所述第二参考帧之间的运动矢量的统计组合来计算所述全局运动矢量。
9.如权利要求1所述的方法，其中生成所述至少一个像素位置的所述像素数据至少基于与所述第一组一个或更多个局部运动矢量相对应的所述更高的相似性分数不与所述第二视觉内容相对应。
10.一种系统，包括：
【专利技术属性】
技术研发人员：A·马哈拉纳，K·塞卡潘，R·纳斯库尔沃，
申请(专利权)人：辉达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。