用于有损无线链路的视频编解码器数据恢复技术制造技术

公开了用于实现有损无线链路的数据恢复技术的系统、装置和方法。发射器被配置为对视频流进行编码并将所编码的视频流无线传输到接收器，其中所述视频流表示虚拟现实(VR)呈现的环境。所述发射器基于频率将所述视频流划分为多个子流分量。仅计算所述视频流的最低频率子流分量的运动矢量参数，然后使用低MCS级别将所述运动矢量参数发送到所述接收器。当所述接收器接收到所述运动矢量参数，但所述接收器未接收到给定组块的最低频率分量时，所述接收器使用所述运动矢量参数通过从先前视频帧的对应组块外推来重建所述给定组块的所述最低频率分量。

【技术实现步骤摘要】
【国外来华专利技术】用于有损无线链路的视频编解码器数据恢复技术
技术介绍
相关技术描述无线通信链路可用于将视频流从计算机(或其他设备)发送到虚拟现实(VR)耳机(或头戴式显示器(HMD))。无线传输VR视频流消除了在计算机与佩戴HMD的用户之间建立电缆连接的需求，从而允许用户不受限制地移动。计算机与HMD之间的传统电缆连接通常包括一根或多根数据电缆和一根或多根电力电缆。允许用户在没有电缆系绳且不必意识到要避开电缆的情况下四处移动可以创建一个更加沉浸式的VR系统。无线发送VR视频流还允许VR系统在比以前更广泛范围的应用中使用。然而，VR应用是低延迟的应用，通常不缓存视频数据。例如，当用户移动其头部时，这由HMD或控制台检测到，然后随后呈现的视频帧被更新以反映用户的新的观察位置。此外，链路的不断变化的状况可能会影响视频质量。当链路恶化和视频数据丢失或损坏时，这可能会导致糟糕的用户体验。因此，用于无线流传输数据的改进的技术是期望的。附图说明通过结合附图参考以下具体实施方式，可更好地理解本文所述的方法和机制的优点，在附图中：图1为系统的一个实施方案的框图。图2为无线虚拟现实(VR)系统的一个实施方案的框图。图3为用于一系列视频帧的一组运动矢量的一个实施方案的框图。图4为从相邻部分外推视频帧的丢失部分的高分辨率版本的一个实施方案的框图。图5为用于从视频流的低频子流分量生成运动矢量分量的逻辑的一个实施方案的框图。图6为示出了用于计算和传输视频流的低频分量的运动矢量参数的方法的一个实施方案的一般化流程图。图7为示出了用于使用视频帧的低频子流分量的运动矢量参数来重建视频帧的丢失的组块的方法的一个实施方案的一般化流程图。图8为示出了用于将视频帧的低频子流分量的运动矢量参数嵌入波束形成或ACK事务中的方法的一个实施方案的一般化流程图。图9为示出了用于从相邻块重建视频帧的块的高频分量的方法的一个实施方案的一般化流程图。图10为示出了用于选择用于传输视频流的MCS级别的方法的一个实施方案的一般化流程图。具体实施方式在以下描述中，阐述了许多特定细节以提供对本文呈现的方法和机制的透彻理解。然而，本领域的一般技术人员应当认识到，可在没有这些特定细节的情况下实现各种实施方案。在某些情况下，并未详细示出众所周知的结构、分量、信号、计算机程序指令和技术，以避免混淆本文所述的方法。应当理解，为了使说明清楚简单，附图中所示的元素未必按比例绘制。例如，元素中的一些的尺寸可相对于其他元件被放大。本文公开了用于实现有损无线链路的数据恢复技术的各种系统、装置、方法和计算机可读介质。在一个实施方案中，无线通信系统包括通过无线链路进行通信的发射器和接收器(例如，头戴式显示器(HMD))。在一个实施方案中，发射器被配置为对视频流进行编码并且将编码的视频流无线传输到接收器。在一个实施方案中，视频流表示虚拟现实(VR)呈现的环境。在一个实施方案中，当无线传输视频数据时，发射器仅将低分辨率分量传输到接收器。低分辨率分量也可称为低频分量或DC分量。该低分辨率分量利用鲁棒的低的调制编码方案(MCS)级别来传输。因此，在具有挑战性的链路上接收到低分辨率分量的可能性较高。另外，仅计算DC分量的运动估计数据(例如，运动矢量参数)。这使得运动估计数据远小于针对整个原始视频帧计算的运动估计数据。在一个实施方案中，使用比用于低分辨率分量的MCS级别更低的MCS级别(例如，MCS级别0)将运动估计数据传送到接收器。每当使用MCS0与接收器进行通信时(诸如在波束形成期间)，DC分量的运动估计数据被嵌入信号中。当HMD接收到运动估计数据，但HMD未接收到DC分量时，HMD使用运动估计数据来从先前视频帧外推当前DC分量。这使得HMD能够重建丢失的数据组块，不是非常详细，而是粗略地重建，使得用户不会注意到丢失的组块。由于运动估计数据是从低分辨率分量生成的，这减小了运动估计数据的大小，因此可将该运动估计数据嵌入波束形成事务或确认(ACK)事务中。这些事务通常使用MCS0来传送，并且对链路状况具有鲁棒性。波束形成和ACK事务在MCS0发送，因为这使它们有最大的机会被HMD接收。并且，当将运动估计数据嵌入这些事务中时，运动估计数据被HMD接收的可能性很高。替代地，运动估计数据可通过其自己的MCS0事务发送。在一个实施方案中，如果运动估计数据足够小(即，小于阈值)，则将运动估计数据与其他事务一起发送。在一个实施方案中，如果运动估计数据丢失，则HMD可执行运动估计数据流外推。例如，如果HMD接收到前两个帧的运动估计数据，并且如果流在某个方向上移动，则HMD沿着检测到的方向外推以重新生成当前帧的丢失的运动估计数据。在该示例中，HMD预测到下一运动矢量将与先前的运动矢量在同一方向上。然后，HMD可从重新生成的运动估计数据中恢复低频分量。在另一实施方案中，如果一个无线分组丢失，则这通常对应于视频帧的一小部分。例如，如果为整个视频帧发送了1000个分组，则一个分组可占整个帧的0.1％。在重建帧的丢失的组块时，不一定始终以高分辨率重建该小部分。丢失的组块的低分辨率重建通常不会为用户带来明显的缺陷或伪影。但是，如果该组块丢失并使用黑框显示，则用户将注意到视频帧中的这个缺陷。在另一实施方案中，当视频帧的仅一小部分的高分辨率分量丢失时，可利用这些技术来缓解这种情况。如果接收到该小部分的低频分量，并且如果接收到围绕该小部分的高分辨率分量，则HMD可使用相邻的高分辨率分量以及丢失的组块的低分辨率分量进行外推，以重新生成丢失的高分辨率分量。现在参考图1，示出了系统100的一个实施方案的框图。系统100至少包括可操作为彼此无线通信的第一通信设备(例如，发射器105)和第二通信设备(例如，接收器110)。应注意，接收器110也可将数据和/或确认传输到发射器105。因此，发射器105和接收器110也可称为收发器。在一个实施方案中，发射器105和接收器110在非许可60千兆赫(GHz)频带上进行无线通信。例如，发射器105和接收器110可根据电气和电子工程师学会(IEEE)802.11ad标准(即，WiGig)进行通信。在其他实施方案中，发射器105和接收器110可在其他频带上和/或通过遵守其他无线通信标准进行无线通信。在诸如60GHz频带的极高频带(EHF)内操作的无线通信设备能够使用相对较小的天线来传输和接收信号。然而，与在较低频带上的传输相比，此类信号经受高的大气衰减。为了降低这种衰减的影响并提高通信范围，EHF设备通常采用波束形成技术。例如，IEEE802.11ad规范详细说明了波束形成训练过程(也称为扇区级扫描(SLS))，在该过程期间，无线站测试并与远程站协商最佳发射和/或接收天线组合。在各种实施方案中，发射器105和接收器110被配置为执行周期性波束形成训练过程，以确定用于无线数据传输的最佳发射和/或接收天线组合。发射器105和接收器110代表任何类型的通信设备和/或计算设备。例如，在各种实本文档来自技高网...

【技术保护点】
1.一种系统，其包括：/n发射器；和/n接收器；/n其中所述发射器被配置为：/n将视频流划分为与所述视频流的不同频率范围相对应的多个子流分量；/n计算所述视频流的最低频率子流分量的运动矢量参数；/n利用第一调制编码方案(MCS)级别将所述运动矢量参数发送到所述接收器，其中所述第一MCS级别小于第一阈值。/n

【技术特征摘要】
【国外来华专利技术】20171222 US 15/852,8331.一种系统，其包括：
发射器；和
接收器；
其中所述发射器被配置为：
将视频流划分为与所述视频流的不同频率范围相对应的多个子流分量；
计算所述视频流的最低频率子流分量的运动矢量参数；
利用第一调制编码方案(MCS)级别将所述运动矢量参数发送到所述接收器，其中所述第一MCS级别小于第一阈值。


2.如权利要求1所述的系统，其中响应于未接收到视频帧的给定组块的给定最低频率子流分量，所述接收器被配置为通过基于接收到的运动矢量参数从先前视频帧的对应组块的最低频率子流分量外推来重建所述给定组块的所述给定最低频率子流分量。


3.如权利要求1所述的系统，其中所述发射器还被配置为利用第二MCS级别发送所述最低频率子流分量，其中所述第一MCS级别低于所述第二MCS级别。


4.如权利要求1所述的系统，其中响应于未接收到一组给定运动矢量参数，所述接收器被配置为通过从一组或多组先前运动矢量参数外推来重新生成所述一组给定运动矢量参数。


5.如权利要求1所述的系统，其中所述发射器被配置为将所述运动矢量参数嵌入波束形成事务中。


6.如权利要求5所述的系统，其中所述发射器被配置为如果所述运动矢量参数的数据量小于第二阈值，则将所述运动矢量参数嵌入所述波束形成事务中。


7.如权利要求1所述的系统，其中所述系统被配置为将所述运动矢量嵌入确认事务中。


8.一种方法，其包括：
将视频流划分为与所述视频流的不同频率范围相对应的多个子流分量；
计算所述视频流的最低频率子流分量的运动矢量参数；
利用第一调制编码方案(MCS)级别将所述运动矢量参数发送到接收器，其中所述第一MCS级别小于第一阈值。


9.如权利要求8所述的方法，其中响应于未接收到视频帧的给定组块的给定最低频率子流分量，所述方法还包括通...

【专利技术属性】
技术研发人员：武玉荣，
申请(专利权)人：超威半导体公司，
类型：发明
国别省市：美国;US