一种用于渲染视频帧的方法和设备技术

用户可以与汽车或车辆中的信息娱乐系统的交互式远程显示器交互(例如触摸输入)，并且可将交互发送给移动设备上的应用。当有变化——例如通过用户交互(例如在触摸显示器上的触摸)触发的变化时，移动设备(应用和/或编码器)可以渲染用于显示器的视频帧。通过确定用于应用的渲染速度，可以缩短视频帧管道中的延迟。如果应用不是恒定的渲染类型的应用，那么可将伪帧发送给编码器。可以在经过渲染的帧之后将伪帧发送给管道，从而冲洗管道，因为在可以将管道清空之前，管道可能对于可用帧的最小数量具有一个阈值，即，将最小集合的帧从移动设备中的编码器传输给汽车的信息娱乐系统中的解码器。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
在流视频系统中，可通过编码器来渲染视频帧。编码器例如可以按照与即将对视频流进行显示的显示器兼容的格式和/或分辨率来压缩视频流和/或编码视频流。在渲染视频的装置与显示器之间的连接可以是有线(例如USB)或无线(例如WiFi、蓝牙)连接。与显示器相关联的解码器可以将它接收的经过编码的视频帧解码。当以恒定的帧率渲染视频时，可以用新帧连续更新显示器。
技术实现思路
根据实施方式，移动设备可以接收远程显示器上的触摸输入的指示。远程显示器可以是与移动设备分立的，且触摸输入可以与对显示器上显示的应用的变化相关联。移动设备可以确定用于应用的渲染速度。可以基于渲染速度向移动设备的编码器发送至少一个伪响应。可以渲染包括至少一个伪帧在内的一个或多个帧。渲染可以填充编码器的管道。可将包括被填充的管道的一个或多个帧发送给被联接到显示器的解码器。公开了一种包括被连接到移动设备的处理器的系统。可将处理器配置为接收远程显示器上的触摸输入的指示。远程显示器可以是与移动设备分立的，且触摸输入可以与对显示器上显示的应用的变化相关联。可将处理器配置为确定用于应用的渲染速度。处理器可以基于渲染速度向移动设备的编码器发送至少一个伪帧。处理器可以渲染包括至少一个伪帧在内的一个或多个帧。渲染可以填充编码器的管道。可将处理器配置为将组成被填充的管道的帧发送给被联接到显示器的解码器。公开了一种以下述方式实施的处理，其中，响应于从信息娱乐系统接收的输入生成至少一个帧。可将渲染速度确定为非恒定的。可将至少一个伪帧以及至少一个帧发送给编码器。编码器可以渲染至少一个伪帧和至少一个帧，以形成一个或多个经过渲染的帧。可将一个或多个经过渲染的帧发送给连接到信息娱乐系统的解码器。信息娱乐系统可以显示一个或多个经过渲染的帧。在实施方式中，根据本公开主题的系统包括用于响应于从信息娱乐系统接收的输入而生成一个或多个帧的装置。它可包括用于确定渲染速度并非恒定的装置。该系统可包括用于将一个或多个伪帧以及一个或多个帧发送给编码器的装置。该系统可包括用于渲染一个或多个伪帧以及一个或多个帧以形成经过渲染的帧的编码器装置。该系统可包括用于将经过渲染的帧发送给被连接到信息娱乐系统的解码器的装置。信息娱乐系统可包括用于显示经过渲染的帧的装置。通过考虑以下详细描述、附图和权利要求可以阐明所公开主题的附加特征、优点、以及实施方式，或者显而易见。此外应当理解，前面的
技术实现思路
以及后面的详细描述提供了实施方式的示例，并且旨在提供进一步的解释而不限制权利要求的范围。附图说明为了提供对所公开主题的进一步理解而包括的附图合并在本说明书中并构成说明书的一部分。附图还示出所公开主题的实施方式，并与详细描述一起用于解释所公开主题的实施方式的原理。不打算通过对于所公开主题的基本理解而言所必须的更多细节以及可以实践它的各种方式来示出结构细节。图1示出将移动设备用于驱动本文所公开的信息娱乐系统的显示器的示例性系统。图2是本文所公开的用于在远程显示器上渲染视频帧的示例性处理。图3是本文所公开的用于在远程显示器上渲染视频帧的示例性处理。图4是本文所公开的用于生成即将通过编码器渲染并发送给被联接到信息娱乐系统的解码器的一个或多个伪帧的示例性处理。图5示出根据所公开主题的实施方式的计算机。图6示出根据所公开主题的实施方式的网络配置。具体实施方式用户可通过各种方式与显示器交互，例如通过触摸、按压键、或转动拨号盘。用于用户交互的视频编码器在响应于用户输入(例如触摸)而在显示器上高效渲染视频方面可能有困难。典型的视频编码器作为需要若干帧来形成编码帧的管道操作。在只通过周期性方式来更新显示器的情况下，这可能具有挑战性。如果以恒定速度(例如每秒30帧(“FPS”))渲染视频，那么可以不断地刷新屏幕。如果驱动显示器的装置足够强大，那么它可以没有困难地以恒定速度驱动显示器。但是，如果装置(例如移动设备)不是那么强大，那么仅当必须在显示器上显示改变时，渲染用于显示的帧才是有利的。例如，当用户触摸显示器时，用户经由显示器与之交互的应用可以只更新显示器的一小部分。例如，编码器可以渲染一个或两个帧，并将其发送给连接到显示器的解码器。图1是将移动设备130用于驱动信息娱乐系统160的显示器140的示例性系统。可将其称为投影架构。移动设备130可以接收信息娱乐系统针对显示分辨率、宽高比、一个或多个按钮、以及一个或多个拨号盘的布局的指示。在投影架构系统中，信息娱乐系统160的其它功能性——例如无线电或车辆的温度控制——同样可通过移动设备130控制。可以利用USB电缆或其他有线或无线连接将移动设备130连接到车辆170(或其他远程系统)。用于移动设备130的编码器120可以利用由于功率限制而具有两个以上的级的管道。例如，三级管道可以等待发送编码帧，直到它有三个帧要发送。因此，信息娱乐系统160的显示器140可能不显示任何变化，除非并且直到编码器120从应用110或其他地方收到要渲染的三个帧。如果只有一个用户界面更新(例如，正被渲染的一个帧)，那么显示器140可能不适当地未能反映由于用户交互引起的改变，因为编码器120正在等待发送显示所述变化的经过渲染的帧，直到它有两个以上帧来填充三级管道。一旦管道充满，那么可将经过渲染的视频帧发送给连接到信息娱乐系统160的解码器150。如本文所述，编码器(例如移动设备)可以基于在信息娱乐显示器上显示的在移动设备上操作的一个或多个应用的渲染速度来确定是否需要伪帧。伪帧可以是指简短和简单的帧指示符，其指令所述系统例如显示先前帧。因为伪帧不大，所以它有助于压缩视频流保持小尺寸和/或更容易传输。在应用不是恒定渲染应用的情况下，伪帧可以帮助推动管道。例如，如果应用正在显示电影并且以30FPS的速度渲染，那么伪帧不一定有用。但是，如果应用正在更新用户界面组件，那么它可以周期性地渲染一个或几个帧，而不是连续性地渲染。这可以被反映为管道延迟问题，并且如本文所述，可通过以下方式解决：发送一个或多个伪帧给信息娱乐系统的显示器和/或与其相连的解码器，用以填充管道的所述未填充级以便为了待被发送的下一组经过渲染的帧而清除所述管道。可以基于渲染速度确定伪帧是否是必须的。可通过若干方式确定渲染速度。系统可以记录在一个时间段内编码器的吞吐量，并基于吞吐量分配编码器的渲染速度。指引编码器的应用可以提供渲染速度的指示。例如，电影渲染应用可以提供它是恒定渲染应用并且不需要伪帧的指示。类似地，所接收的用户输入的类型可以提供对于响应用户输入来讲可能是必须的渲染量的指示。例如，如果用户在显示器上绘制形状，那么系统可以预料用户的附加输入，等待向编码器发送伪帧。因此，发送伪帧的决定可以基于渲染的模式、输入的类型、以及应用的类型。公开一种用于在远程显示器上渲染视频帧的处理，如图2中的示例所示。在210，移动设备可以接收远程显示器上的输入的指示。远程显示器可以是集成到车辆中的信息娱乐系统的组件。输入例如可以是远程显示器上的触摸输入。移动设备可以驱动远程显示器。例如，导航应用可以在移动设备上操作，以及除了移动设备的显示器之外或者代替移动设备的显示器，在远程显示器上显示。用户可能选择了远程显示器上的软按钮。可将触摸输入的位置发送给移动设备。应用可以确本文档来自技高网...

【技术保护点】
一种计算机实施的方法，包括：通过移动设备来接收在远程显示器上的触摸输入的指示，其中，所述远程显示器与所述移动设备分立，并且所述触摸输入与正在所述显示器上显示的应用的变化相关联；通过所述移动设备来确定用于所述应用的渲染速度；基于所述渲染速度，将至少一个伪帧发送给所述移动设备的编码器；渲染包括所述至少一个伪帧在内的多个帧，其中，所述渲染填充所述编码器的管道；将包括被填充的管道的所述多个帧发送给被联接到所述显示器的解码器。

【技术特征摘要】
【国外来华专利技术】2014.06.24 US 14/313,2871.一种计算机实施的方法，包括：通过移动设备来接收在远程显示器上的触摸输入的指示，其中，所述远程显示器与所述移动设备分立，并且所述触摸输入与正在所述显示器上显示的应用的变化相关联；通过所述移动设备来确定用于所述应用的渲染速度；基于所述渲染速度，将至少一个伪帧发送给所述移动设备的编码器；渲染包括所述至少一个伪帧在内的多个帧，其中，所述渲染填充所述编码器的管道；将包括被填充的管道的所述多个帧发送给被联接到所述显示器的解码器。2.根据权利要求1所述的方法，进一步包括：确定所述渲染速度低于阈值等级。3.根据权利要求1或2所述的方法，进一步包括：响应于所述触摸输入，来更新所述显示器的一部分。4.根据前述权利要求中的任一项所述的方法，其中，所述多个帧以及所述至少一个伪帧改变所述显示器的至少一部分。5.根据前述权利要求中的任一项所述的方法，其中，所述显示器是合并在机动车辆中的信息娱乐系统的组件。6.根据前述权利要求中的任一项所述的方法，其中，所述解码器被联接到所述显示器。7.一种系统，包括：被连接到移动设备的处理器，其中，所述处理器被配置为：接收在远程显示器上的触摸输入的指示，其中，所述远程显示器与所述移动设备分立，并且所述触摸输入与正在所述显示器上显示的...

【专利技术属性】
技术研发人员：朴昆勇，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US