使用流式元数据的视频帧速率转换制造技术

一种视频服务器(130,305,405,505,605)生成表示第一帧(200)的部分的内插参数(240‑244)的元数据(530,535)，所述第一帧(200)表示包括所述第一帧的帧流(315,335,415)中的场景(110)。所述内插参数用于生成表示在所述帧流中的在所述第一帧之后且在第二帧之前的所述场景的至少一个内插帧(205)。所述视频服务器将所述元数据并入到所述流中并传输包括多路复用的元数据的所述流。一种视频客户端(135,310,410,510,610)接收表示包括元数据的帧流的第一帧。所述视频客户端基于所述第一帧和所述元数据生成表示在所述帧流中的在所述第一帧之后且在第二帧之前的场景的一个或多个内插帧(205)。所述视频客户端显示所述第一帧、所述一个或多个内插帧和所述第二帧。

Video Frame Rate Conversion Using Streaming Metadata

A video server (130, 305, 405, 505, 605) generates metadata (530, 535) representing the interpolation parameters (240 244) of the part of the first frame (200), and the first frame (200) represents the scene (110) in the frame stream (315, 335, 415) including the first frame. The interpolation parameters are used to generate at least one interpolation frame (205) representing the scene described after and before the first frame in the frame stream. The video server incorporates the metadata into the stream and transmits the stream including multiplexed metadata. A video client (135,310,410,510,610) receives the first frame representing a frame stream including metadata. The video client generates one or more interpolated frames (205) representing the scene after the first frame and before the second frame in the frame stream based on the first frame and the metadata. The video client displays the first frame, the one or more interpolation frames and the second frame.

【技术实现步骤摘要】
【国外来华专利技术】使用流式元数据的视频帧速率转换
技术介绍
帧速率指示由摄像机捕获或由诸如电影放映机、电视、数字显示器等装置显示帧(其通常还被称为图像或场)的速率。例如，常规电影摄像机以24帧每秒(FPS)的速率捕获帧，而常规电影放映机以24FPS的相同速率投射帧。一些数字成像装置可以更高的帧速率(诸如30FPS、48FPS、60FPS和更高)捕获帧。数字显示器(诸如高清晰度电视(HDTV))能够以更高的帧速率(诸如60FPS和更高)显示帧。由于图像捕获装置的帧速率通常与显示装置的帧速率不同，因此显示装置使用帧速率转换来修改所捕获帧的帧速率以匹配显示装置的帧速率。例如，通过在对应于五个所显示帧的持续时间内显示两个所捕获帧，以24FPS的速率捕获的帧可以60FPS来显示。这被称为3:2转换，因为两个相继捕获的帧A和B分别重复三次和两次，以形成五个所显示帧的序列：AAABB。通过重复所捕获帧来执行帧速率上转换的优点是相对简单，但已知引入不期望的视觉效果，诸如抖动和模糊。附图说明通过参考附图，可更好地理解本公开，并且本公开的许多特征和优点对本领域技术人员变得显而易见。在不同附图中使用的相同附图标号指示类似或完全相同的项目。图1是根据一些实施方案的视频获取和显示系统的图示。图2是示出根据一些实施方案的视频帧和基于运动矢量所生成的内插帧的图示。图3是示出根据一些实施方案的包括视频服务器和视频客户端的视频处理系统的第一实例的框图。图4是示出根据一些实施方案的包括视频服务器和视频客户端的视频处理系统的第二实例的框图。图5是根据一些实施方案的示出视频帧、元数据和内插帧的视频处理系统的框图。图6是根据一些实施方案的视频处理系统的框图，所述视频处理系统包括用于从视频帧生成元数据的视频服务器以及用于基于所述元数据和视频帧生成内插帧的视频客户端。图7是包括根据一些实施方案显示图像的屏幕的图示，可对所述图像进行搜索以确定与图像中的对象相关联的运动矢量。具体实施方式支持高帧速率(诸如60FPS)的视频显示装置通过(通常基于所接收帧的部分的运动矢量)在所接收的帧之间进行内插对从视频服务器接收的较低帧速率流执行视频速率上转换。为确定运动矢量，将以24FPS的帧速率捕获的帧细分成包括一个或多个像素的部分。将第一帧中的每个部分与后续(第二)帧中的对应部分进行比较，所述对应部分从第一帧中的部分的位置偏移达由候选运动矢量指示的距离。针对表示第一帧的部分的可能运动的一组候选运动矢量执行类似的比较。选择产生第一帧中的部分与第二帧中的偏移部分之间的最佳匹配的运动矢量作为表示第一帧中的部分的运动的运动矢量。然后，针对第一帧的每个部分重复运动矢量计算，以确定第一帧的运动矢量场。视频显示装置使用运动矢量场来生成估计帧，以替换常规帧速率转换中所用的重复帧。例如，从24FPS到60FPS的帧速率上转换可表示为AA′A″BB′，其中A′是通过对帧A进行内插所生成的第一估计帧，A″是通过对帧A进行内插所生成的第二估计帧，并且B′是通过对帧B进行内插所生成的估计帧。然而，视频帧速率上转换是计算密集型的，这显著增加了视频显示装置的功率使用，并且将帧速率上转换的可用性限于具有足够的计算能力以执行对运动矢量场的强力计算的视频显示装置。通过在视频服务器处对流中的帧执行运动估计，然后将帧与表示帧的运动矢量场的元数据一起提供给视频显示装置，可降低视频显示装置的功耗，同时还允许计算能力较弱的视频显示装置受益于视频帧速率上转换。在一些实施方案中，元数据还包括运动矢量场中的运动矢量的置信度测度或指示以下的标记：(0)不基于运动矢量执行内插，(1)仅在时间上前向执行内插，(2)仅在时间上后向执行内插，或(3)在时间上双向执行内插。视频服务器以第一帧速率提供流中的帧，并将元数据多路复用或以其他方式并入到流中。视频服务器的一些实施方案还被配置来对帧执行场景变化检测并且提供指示在帧中是否检测到场景变化的附加元数据。使用运动矢量处理来标识与相邻运动矢量意外不同的离群值运动矢量，例如，它们指向相反方向，或具有与相邻运动矢量的平均值大不相同的量值。可忽略离群值运动矢量或基于相邻运动矢量的值对其进行修改。可使用遮挡检测来标识受遮挡影响的帧的部分的运动矢量，使得不基于被遮挡运动矢量执行内插，仅在时间上前向执行内插，仅在时间上后向执行内插，或者在时间上双向执行内插。在一些实施方案中，运动矢量处理和遮挡检测由视频服务器执行，所述视频服务器生成表示帧中的离群值运动矢量或被遮挡运动矢量的元数据，并且将元数据与帧一起提供。视频显示装置接收流中的帧以及对应的元数据，并且通过基于元数据对帧进行内插来使用元数据生成估计帧。估计帧用于流中的帧的从第一帧速率到第二(更高的)帧速率的帧速率上转换。图1是根据一些实施方案的视频获取和显示系统100的图示。系统100包括视频获取装置105，诸如视频摄像机。视频获取装置105可以是独立的装置，或者视频获取装置105可集成到另一计算装置(诸如台式计算机、膝上型计算机、平板计算机、智能电话等)中。视频获取装置105获取场景110的图像序列。在所示实施方案中，场景110包括运动场115、人120和球125。然而，场景110可以是能够由视频获取装置105监测的任何场景。由视频获取装置105捕获的图像表示为帧中的像素的值。视频获取装置105基于所捕获图像以一定帧速率(诸如24帧每秒(FPS)或30FPS)生成帧。将由视频获取装置105生成的帧提供给视频服务器130，所述视频服务器130被配置来(至少暂时地)存储帧并例如，经由居间网络140将帧提供给一个或多个视频客户端135。例如，场景110包括用户正在视频客户端135的屏幕145上观看的足球或橄榄球比赛的一部分。在此实例中，视频服务器130接收由视频获取装置105生成的帧流并以视频获取装置105的帧速率将帧流传输到视频客户端135。如本文所论述，视频获取装置105的帧速率不一定匹配可用于在视频客户端135处显示由帧流表示的视频的帧速率。例如，视频获取装置105可以24FPS的帧速率获取图像，而视频客户端135可以更高的帧速率(诸如30FPS、48FPS、60FPS和更高)显示帧。视频客户端135可执行视频帧速率上转换，以将以较低帧速率(诸如24FPS)接收的帧转换为可以较高帧速率(诸如60FPS)显示的更多数目的帧。例如，视频客户端135可通过在从视频服务器130接收的帧之间进行内插来生成附加帧。视频客户端135可基于从所接收帧导出的内插参数(诸如所接收帧的部分的运动矢量，所述运动矢量是使用所接收帧与参考帧的基于块的比较、对所接收帧的光流分析、或所接收帧的各部分的相关性(例如，自相关、卷积、互相关或相位相关)生成的)来执行内插。然而，如本文所论述，生成内插参数是计算密集型的，这增加了视频客户端135处的功耗并且可能限制能够执行视频速率上转换的视频客户端135的类型。为了减轻视频客户端135的计算负担，视频服务器130的一些实施方案使用从视频获取装置105接收的帧来生成内插参数。例如，视频服务器130可生成一组或多组内插参数，可使用所述内插参数来执行从视频获取装置105所用的帧速率(例如，24FPS)到用于在视频客户端135处显示帧的帧速率(本文档来自技高网...

【技术保护点】
1.一种方法，其包括：在视频服务器(130,305,405,505,605)处生成表示第一帧(200)的部分的内插参数(240‑244)的元数据(525,530)，所述第一帧(200)表示包括所述第一帧的帧流(315,335,415)中的场景(110)，其中所述内插参数用于生成表示在所述帧流中的在所述第一帧之后且在第二帧之前的所述场景的至少一个内插帧(205)；在所述视频服务器处将所述元数据并入到所述流中；以及从所述视频服务器传输包括所述元数据的所述流。

【技术特征摘要】
【国外来华专利技术】2016.11.08 US 15/346,3921.一种方法，其包括：在视频服务器(130,305,405,505,605)处生成表示第一帧(200)的部分的内插参数(240-244)的元数据(525,530)，所述第一帧(200)表示包括所述第一帧的帧流(315,335,415)中的场景(110)，其中所述内插参数用于生成表示在所述帧流中的在所述第一帧之后且在第二帧之前的所述场景的至少一个内插帧(205)；在所述视频服务器处将所述元数据并入到所述流中；以及从所述视频服务器传输包括所述元数据的所述流。2.如权利要求1所述的方法，其中生成所述元数据包括：生成表示与所述第一帧的所述部分相关联的运动矢量(240-244)的元数据和所述运动矢量的置信度测度。3.如权利要求1所述的方法，其中生成所述元数据包括：标识所述第一帧的部分的在统计上不同于所述第一帧的相邻部分的相邻内插参数的离群值内插参数，并且生成元数据，所述元数据指示所述离群值内插参数将被忽略以便进行内插或基于所述相邻运动矢量来修改所述离群值内插参数。4.如权利要求1所述的方法，其还包括：执行遮挡检测以标识所述第一帧的被遮挡部分的内插参数。5.如权利要求4所述的方法，其中执行遮挡检测包括：在所述视频服务器处执行遮挡检测，并且其中生成所述元数据包括：生成指示所述第一帧的所述被遮挡部分的所述内插参数将被忽略以便进行内插的元数据。6.一种方法，其包括：在视频客户端(135,310,410,510,610)处接收表示包括元数据(525,530)的帧流(315,335,415)中的场景(110)的第一帧(200)，所述元数据(525,530)表示所述第一帧的部分的内插参数(240-244)；在所述视频客户端处，基于所述第一帧和所述元数据，生成表示在所述帧流中的在所述第一帧之后且在第二帧之前的所述场景的至少一个内插帧(205)；以及在所述视频客户端处显示所述第一帧、所述至少一个内插帧和所述第二帧。7.如权利要求6所述的方法，其中接收表示所述内插参数的所述元数据包括：接收表示与所述帧的所述部分相关联的运动矢量((240-244)的元数据和所述运动矢量的置信度测度。8.如权利要求6所述的方法，其中接收所述元数据包括：接收标识所述帧的一部分的离群值内插参数的元数据，所述离群值内插参数在统计上不同于所述帧的相邻部分的相邻内插参数，并且其中生成所述至少一个内插帧包括：当生成所述至少一个内插帧时，忽略所述离群值内插参数。9.如权利要求6所述的方法，其还包括：在所述视频客户端处执行遮挡检测以标识所述帧的被遮挡部分的内插参数；以及当生成所述至少一个内插帧时，忽略所述帧的所述被遮挡部分的所述内插参数。10.如权利要求6所述的方法，其中接收生成所述元数据包括：接收指示所述帧的所述被遮挡部分的内插参数的元数据，并且其中生成所述至少一个内插帧包括：当生成所述至少一个内插帧时，忽略所述帧的所述被遮挡部分的所述内插参数。11.一种视频服务器(130,3...

【专利技术属性】
技术研发人员：鲍里斯·伊万诺维奇，
申请(专利权)人：ATI科技无限责任公司，
类型：发明
国别省市：加拿大,CA