网络自适应视频流的传输方法和装置制造方法及图纸

本发明专利技术公开了一种网络自适应视频流的传输方法和装置。其中，该方法包括：对待传输的目标视频流进行编码，得到目标帧序列；将目标帧序列中的部分帧确定为指定帧，其中，指定帧的参考帧为目标帧序列中位于指定帧前面的帧以及后面的帧，指定帧不作为目标帧序列中其他帧的参考帧；将目标帧序列通过目标网络传输给目标设备，其中，在目标网络出现拥塞的情况下，丢弃目标帧序列中的指定帧中的部分或全部帧。本发明专利技术解决了相关技术中在网络传输出现拥塞的情况下所采用的自适应方案在降低视频编码码率的同时降低了用户视频观看画质和交互体验的技术问题。

Transmission method and device of network adaptive video stream

【技术实现步骤摘要】
网络自适应视频流的传输方法和装置
本专利技术涉及计算机领域，具体而言，涉及一种网络自适应视频流的传输方法和装置。
技术介绍
现有主流视频编码算法(H.264/H.265/H.266/AV1/VP9)等，默认视频编码时GOP序列(I/P/B帧)都会对序列中其它类型帧提供参考，帧之间相互参考提高了编码压缩效率，一幅帧仅需保存自身与被参考帧的不同之处即可，但相互之间参考模式会导致错误延续传播，即x帧出错，参考它的y帧也会出错，那么参考y帧的z帧也会出错，以此类推，视频传输播放过程中如果有帧丢弃就会导致有参考丢弃帧的编码帧解码会失败，从而出现黑屏、块缺失、跳帧等异常情况。在视频CDN(ContentDeliveryNetwork，内容分发网络)分发过程中，对于差网络用户会有一些网络自适应方案如HLS(HTTPLiveStreaming)/DASH(DynamicAdaptiveStreamingoverHTTP)多码率自适应方案，但这些自适应方案都是基于网络传输层面降低视频编码码率解决方案，即在网络传输出现拥塞的情况下，都会强制降低视频编码码率，但现有技术中在降低视频编码码率的同时也降低了用户视频观看画质和交互体验。针对相关技术中的上述问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供一种网络自适应视频流的传输方法和装置，以至少解决相关技术中在网络传输出现拥塞的情况下所采用的自适应方案在降低视频编码码率的同时降低了用户视频观看画质和交互体验的技术问题。根据本专利技术实施例的一个方面，提供了一种网络自适应视频流的传输的方法，包括：对待传输的目标视频流进行编码，得到目标帧序列；将所述目标帧序列中的部分帧确定为指定帧，其中，所述指定帧的参考帧为所述目标帧序列中位于所述指定帧前面的帧以及后面的帧，所述指定帧不作为所述目标帧序列中其他帧的参考帧；将所述目标帧序列通过目标网络传输给目标设备，其中，在所述目标网络出现拥塞的情况下，丢弃所述目标帧序列中的所述指定帧中的部分或全部帧。根据本专利技术实施例的另一方面，还提供了一种网络自适应视频流的传输的装置，包括：编码模块，用于对待传输的目标视频流进行编码，得到目标帧序列；确定模块，用于将所述目标帧序列中的部分帧确定为指定帧，其中，所述指定帧的参考帧为所述目标帧序列中位于所述指定帧前面的帧以及后面的帧，所述指定帧不作为所述目标帧序列中其他帧的参考帧；传输模块，用于将所述目标帧序列通过目标网络传输给目标设备，其中，在所述目标网络出现拥塞的情况下，丢弃所述目标帧序列中的所述指定帧中的部分或全部帧。根据本专利技术实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法。根据本专利技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的方法。在本专利技术实施例中，将目标帧序列中的部分帧确定为指定帧，在目标网络出现拥塞的情况下，丢弃所述目标帧序列中的所述指定帧中的部分或全部帧，由于该指定帧的参考帧为所述目标帧序列中位于所述指定帧前面的帧以及后面的帧，以及指定帧不作为所述目标帧序列中其他帧的参考帧，因此，在丢弃目标帧序列中的所述指定帧中的部分或全部帧后，也不影响目标帧序列中其它帧解码，视频流的传输也可以正常的，从而解决了相关技术中在网络传输出现拥塞的情况下所采用的自适应方案在降低视频编码码率的同时降低了用户视频观看画质和交互体验的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种网络自适应视频流的传输方法的应用环境的示意图；图2是根据本专利技术实施例的一种可选的网络自适应视频流的传输的流程示意图；图3是根据本专利技术实施例的一种编码框架的结构示意图；图4是根据本专利技术实施例的一种CU/PU/TU的划分示意图；图5是根据本专利技术实施例的一种可选的GOP帧序列的示意图；图6是根据本专利技术实施例的一种网络自适应视频流的传输装置的结构示意图；图7是根据本专利技术实施例的一种可选的电子装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，还需要对本申请中出现的术语进行相应的说明；IDR帧：在视频编码算法(H.264/H.265/H.266/AV1等)，图像以序列为单位进行组织。一个序列的第一个图像叫做IDR图像(立即刷新图像)，IDR图像都是I帧图像。I帧：IDR会导致DPB(DecodedPictureBuffer参考帧列表)清空，而I不会。IDR图像一定是I图像，但I图像不一定是IDR图像。一个序列中可以有很多的I图像，I图像之后的图像可以引用I图像之间的图像做运动参考。一个序列中可以有很多的I图像，I图像之后的图象可以引用I图像之间的图像做运动参考。P帧：前向预测编码帧；其中，P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。B帧：双向预测内插编码帧；其中，B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，B帧可以作其它B帧的参考帧，也可以不作为其它B帧参考帧。宏块：编码的基本单位，一个编码图像首先要划分成多个块才能进行处理，显然宏块应该是整数个块组成。片(Slice)：一帧视频图像可编码成一个或者多个片，每片包含整数个宏块，即每片至少一个宏块，最多时包含整个图像的宏块。片的目的是为了限制误码的扩散和传输，使编码片相互间保持独立。GOP(GroupOfPictures)：两个I帧之间的间隔。FLV(FlashVideo)：FLV流媒体格式是随着FlashMX的推出发展而来的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频本文档来自技高网...

【技术保护点】
1.一种网络自适应视频流的传输的方法，其特征在于，包括：/n对待传输的目标视频流进行编码，得到目标帧序列；/n将所述目标帧序列中的部分帧确定为指定帧，其中，所述指定帧的参考帧为所述目标帧序列中位于所述指定帧前面的帧以及后面的帧，所述指定帧不作为所述目标帧序列中其他帧的参考帧；/n将所述目标帧序列通过目标网络传输给目标设备，其中，在所述目标网络出现拥塞的情况下，丢弃所述目标帧序列中的所述指定帧中的部分或全部帧。/n

【技术特征摘要】
1.一种网络自适应视频流的传输的方法，其特征在于，包括：
对待传输的目标视频流进行编码，得到目标帧序列；
将所述目标帧序列中的部分帧确定为指定帧，其中，所述指定帧的参考帧为所述目标帧序列中位于所述指定帧前面的帧以及后面的帧，所述指定帧不作为所述目标帧序列中其他帧的参考帧；
将所述目标帧序列通过目标网络传输给目标设备，其中，在所述目标网络出现拥塞的情况下，丢弃所述目标帧序列中的所述指定帧中的部分或全部帧。


2.根据权利要求1所述的方法，其特征在于，所述丢弃所述目标帧序列中的所述指定帧中的部分或全部帧，包括：
丢弃所述目标帧序列中所述指定帧中的第一组帧，其中，所述目标帧序列在丢弃所述第一组帧之后的帧率仍大于最小预定帧率。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在丢弃所述目标帧序列中所述指定帧中的第一组帧之后，所述目标网络还处于拥塞的情况下，继续丢弃所述目标帧序列中所述指定帧中的一组或多组帧；其中，所述目标帧序列在丢弃所述指定帧的一组或多组帧之后的帧率仍大于最小预定帧率。


4.根据权利要求1所述的方法，其特征在于，所述将所述目标帧序列通过目标网络传输给目标设备，包括：
通过第一传输通道将所述指定帧传输给所述目标设备，并通过第二传输通道将所述目标帧序列中除所述指定帧之外的其他帧传输给所述目标设备，其中，所述第一传输通道与所述第二传输通道不同。


5.根据权利要求1所述的方法，其特征在于，所述将所述目标帧序列通过目标网络传输给目标设备，包括：
接收目标设备发送的指示消息；
响应于所述指示消息通过第一传输通...

【专利技术属性】
技术研发人员：李志成，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44