用于可靠传输的视频压缩技术制造技术

提出了用于时间敏感数据的可靠传输的系统和方法。尤其是，各个实施例提供了压缩顺序数据的生成，其中序列的各个实例表示与该序列中的先前实例的差异。为了减少需要传输的数据量，可以使用先前的视频帧作为参考来提供数据实例(诸如各个视频帧)，仅发送像素值与参考帧不同的那些像素位置的数据。参考帧可以包括先前接收的且成功解码的帧，以便将丢弃的、不完整的或损坏的帧的影响最小化。为了进一步减少数据传输需求，可以选择被确定为对于当前帧是最佳的参考帧，例如其可以表示对于给定帧要传输的最少数据量。输的最少数据量。输的最少数据量。

【技术实现步骤摘要】
【国外来华专利技术】用于可靠传输的视频压缩技术
[0001]相关申请的交叉引用
[0002]本申请要求于2021年7月30日提交的、标题为“用于可靠传输的视频压缩技术(VIDEO COMPRESSION TECHNIQUES FOR RELIABLE TRANSMISSION)”的美国非临时专利申请序号17/365,669的优先权，该申请的全部内容并入本文并用于所有目的。

技术介绍

[0003]数据流式传输对于各种不同的行业和应用变得越来越重要。对于某些应用，例如在线游戏，游戏或视频数据的流式传输具有低延时可能很重要，以避免延时对游戏玩法产生负面影响。使用常规的视频压缩和流式传输技术，除了不依赖于序列中的其他帧的关键帧(例如，“i帧(i
‑
Frame)”)以外，该序列中的视频帧的数据可能都参考相对于该序列中的紧邻先前帧的变化。这种对先前帧的依赖可能会在丢弃帧时产生问题，例如，因为该序列中的后续帧将丢失解码正确帧所需的一些更改信息。虽然可以发送另一个关键帧来纠正此帧丢弃，但会存在生成新的关键帧时会经历的一些延时，以及传输另一个相对较大的关键帧所需的额外时间和带宽。
附图说明
[0004]将参照附图描述根据本公开的各个实施例，其中：
[0005]图1A、图1B和图1C示出了根据至少一个实施例的示例图像序列的图像数据；
[0006]图2A和图2B示出了第一视频序列中的帧流；
[0007]图3A、图3B、图3C和图3D示出了根据至少一个实施例的第二视频序列中的帧流；
[0008]图4示出了根据至少一个实施例的视频编码和传输管线；
[0009]图5A和图5B示出了根据至少一个实施例的用于动态确定参考帧以计算一个或更多个后续帧差异的过程；
[0010]图6示出了根据至少一个实施例的用于编码和传输图像数据的系统的组件；
[0011]图7A示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图7B示出了根据至少一个实施例的推理和/或训练逻辑；
[0013]图8示出了根据至少一个实施例的示例数据中心系统；
[0014]图9示出了根据至少一个实施例的计算机系统；
[0015]图10示出了根据至少一个实施例的计算机系统；
[0016]图11示出了根据一个或更多个实施例的图形处理器的至少部分；
[0017]图12示出了根据一个或更多个实施例的图形处理器的至少部分；
[0018]图13是根据至少一个实施例的高级计算管线的示例数据流图；
[0019]图14是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；以及
[0020]图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图，以及利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构。
具体实施方式
[0021]根据各个实施例的方法可以提供顺序数据或差异数据的生成、压缩和/或编码。尤其是，各个实施例提供压缩顺序数据的生成，其中序列的各个实例可以表示与该序列中的一个或更多个先前实例的差异(differential)。这可以包括例如但不限于视频序列中的帧。对于至少某些实例或应用，延时可能很重要，甚至很关键。为了减少针对这种应用需要传输的数据量，可以使用各种压缩技术中的任何一种来压缩数据。一种这样的技术是发送包括该帧的所有相关数据的初始视频帧(或其他数据实例)，例如该视频帧中每个像素位置的像素值。然后可以使用初始视频帧作为参考或参考帧来提供后续帧，仅发送像素值与参考帧不同的那些像素位置的数据。在各个实施例中，参考帧可以对应于被确认为先前已被接收且成功解码的帧，而不是序列中的紧接先前帧，以便最小化丢弃的、不完整的或损坏的帧的影响。为了进一步减少数据传输需求，可以针对可以高速缓存在例如本地设备上的多个先前验证或确认的帧之一来计算差异。在至少一个实施例中，可以计算或估计当前帧相对于多个潜在参考帧中的每一个的差异。然后可以选择被确定为对于当前帧“最优”的参考帧，例如可以表示要传输的最少量的差异数据或用于解码或渲染的最少处理量。可以在新帧被成功验证或确认时更新可能的参考帧集合，例如在从接收者设备接收到确认消息的情况下。
[0022]在至少一个实施例中，图像生成系统可以生成这样的图像序列或视频帧，其在按顺序播放时将呈现内容的场景，例如动画或游戏玩法的场景。在每个个体图像中，可能存在所表示的各种对象，例如可以包括可以是静态或动态的前景和背景对象。任何这些对象的位置、大小和取向都可能至少部分地基于虚拟相机的运动而改变，无论是静态的还是动态的，该虚拟相机用于确定图像的因素，诸如视点或缩放级别。在这样的图像或视频序列中，视图、位置、大小和取向的这些变化可以被视为用于表示这些对象的各个像素的一组变化。在至少一些实施例中，帧之间的这些变化可以被视为像素数据的差异。
[0023]对于在线或实时应用或用例，可以使用诸如视频流式传输之类的技术运送这些视频序列。在诸如电影的流视频之类的应用中，任何延迟或延时都可能对用户造成困扰，但可能不会实质上阻止该用户查看和欣赏该视频。然而，如前所述，对于其他类型的视频流式传输，任何显著的延时都可能会降低体验的乐趣，甚至会产生不可接受的体验。例如，直播体育赛事的流式传输可能至少在某种程度上是延时敏感的，因为观众可能不想例如由于视频馈送的问题而导致错过观看直播流中的某些事件或观看有延时。对于诸如视频会议之类的应用，明显的延迟可能会降低讨论的价值或影响。对于诸如在线游戏之类的应用，任何严重的延时问题都可能很严重，因为如果玩家在很长一段时间内无法有效地确定游戏中发生的事情，它可能会导致玩家失败或处于严重劣势。对于诸如机器人或自主驾驶之类的应用，其中可能至少部分地基于实况视频流做出物理确定，则任何导致采取错误动作或未采取期望动作的延时都可能产生可怕的后果。对于这些和其他此类应用或用例，仅缓存接收到的数据并通过等待帧赶上或使用可靠传输来处理帧丢失或损坏可能是不够的。此类方法导致的任何延时的增加都可能对应用产生负面影响，例如使在线游戏的交互性降低或自动化应用更慢且反应更慢。这些应用和用例中的至少一些会期望能够限制数据丢失的影响。
[0024]作为示例，考虑图1A的初始图像帧100，其可以对应于视频序列的帧。为了解释的简单起见，该初始帧在包括18
×
18像素阵列的低分辨率图像中显示了在纯白色背景前的纯
黑色对象102。为了传输这个初始图像，必须传输所有324个像素的像素数据(即在每个像素位置显示的颜色)。图1A还图示了该序列中的后续帧110，其示出了在稍微不同的位置处的同一黑色对象102。在没有图像压缩的情况下，为了正确渲染和显示该后续帧110，传输此后续帧中所有324个像素的像素数据将再次是必需的。
[0025]为了减少要传输的数据量，可以使用一种或更多种数据压缩技术，该技术仅包括相对于序列中紧接先前帧的变化。例如，考虑图1B的覆盖本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：向客户端设备发送要显示的视频帧序列中的第一视频帧的第一视频帧数据；向所述客户端设备发送所述序列中的第二视频帧的第二视频帧数据，所述第二视频帧数据包括像素数据相对于所述第一视频帧的变化，其中所述客户端设备能够生成所述第二视频帧，以使用所述第一视频帧数据和所述第二视频帧数据进行显示；确定已接收到指示所述客户端设备成功地接收到了所述第二视频帧数据的确认；以及向所述客户端设备发送所述序列中的第三视频帧的第三视频帧数据，其中所述第三视频帧数据包括所述像素数据相对于所述第一视频帧或所述第二视频帧的变化。2.根据权利要求1所述的计算机实现的方法，还包括：至少部分地基于一个或更多个优化参数来确定在所述第三视频帧数据中是否包括相对于所述第一视频帧或所述第二视频帧的变化。3.根据权利要求2所述的计算机实现的方法，其中所述优化参数与所述变化的数据大小、变化的数量、传输的新近度或网络性能状态中的至少一个相关。4.根据权利要求1所述的计算机实现的方法，还包括：将所述第一视频帧数据和所述第二视频帧数据存储在客户端参考缓冲区中，其中所述第一视频帧数据和所述第二视频帧数据均可用于由所述客户端设备用作用于确定所述第三视频帧数据的参考帧。5.根据权利要求1所述的计算机实现的方法，还包括：从所述客户端设备接收指示所述客户端设备成功地接收到了所述第三视频帧数据的确认；以及使所述第三视频帧与所述第一视频帧和所述第二视频帧一起可用，以用作所述序列中的一个或更多个后续视频帧的参考帧。6.根据权利要求1所述的计算机实现的方法，还包括：从所述客户端设备接收从所述客户端设备上的客户端参考缓冲区中移除所述第一视频帧的请求；以及向所述客户端设备发送对所述第一视频帧将被从考虑作为所述序列中的一个或更多个后续视频帧的参考帧中移除并且能够从所述客户端参考缓冲区中移除的确认。7.根据权利要求1所述的计算机实现的方法，还包括：至少部分地基于所述客户端参考缓冲区中数据的新近度或多样性来确定从所述客户端设备上的客户端参考缓冲区中移除所述第一视频帧数据、所述第二视频帧数据和所述第三视频帧数据中的至少一个。8.根据权利要求1所述的计算机实现的方法，还包括：在发送到所述客户端设备之前，对所述第一视频帧数据、所述第二视频帧数据和所述第三视频帧数据进行编码。9.一种视频流式传输系统，包括：流式传输服务器，用于将视频数据流传输到客户端设备；以及编码器，用于对要被包括在所述流中的视频帧数据序列进行编码，其中所述编码器至少部分地通过以下方式对所述序列进行编码：选择参考帧以用于所述视频流中的当前帧，所述参考帧对应于一个或更多个确认帧中...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：辉达公司，
类型：发明
国别省市：