一种抖动延时估算方法、装置、设备、存储介质及产品制造方法及图纸

本申请实施例提供了一种抖动延时估算方法、装置、设备、存储介质及产品。本申请实施例提供的技术方案通过确定图像帧的基础延迟时间，以及在图像帧为乱序帧或传输异常帧的情况下对应的额外延迟时间，并基于基础延迟时间和额外延迟时间确定目标延迟时间，其中基础延迟时间考虑了由帧尺寸变化和网络噪声引起的延迟，额外延迟时间考虑了由乱序帧引或传输异常帧引起的延迟，覆盖了帧尺寸变化、网络噪声、帧乱序到达和帧传输异常产生的抖动，更全面准确地估算抖动延时，提高对抖动延时的估算准确度。度。度。

【技术实现步骤摘要】
一种抖动延时估算方法、装置、设备、存储介质及产品


[0001]本申请实施例涉及通信
，尤其涉及一种抖动延时估算方法、装置、设备、存储介质及产品。

技术介绍

[0002]在视频直播场景中，为了能流程播放视频，一般会缓存部分视频帧来对抗网络抖动。例如通过设定的延迟时间长度来缓存视频帧，合理的延迟时间可有效提升视频播放流畅度。
[0003]延迟时间一般根据估算的抖动延时进行设定，估算出一个合理的缓存长度，是兼顾视频播放流畅性和实时性的一个关键因素。延迟时间对应的缓存过低时不能很好的对抗网络抖动，而延迟时间对应的缓存过高时会导致播放延迟增大。目前，对抖动延时的估算一般是简单地根据前后视频帧的入队时间差进行，抖动延时的估算准确度较差。

技术实现思路

[0004]本申请实施例提供一种抖动延时估算方法、装置、设备、存储介质及产品，以解决相关技术中抖动延时的估算准确度较差的技术问题，有效提高对抖动延时的估算准确度。
[0005]在第一方面，本申请实施例提供了一种抖动延时估算方法，包括：
[0006]确定图像帧对应的基础延迟时间，所述基础延迟时间包括由帧尺寸变化引起的第一延迟时间，以及由网络噪声引起的第二延迟时间；
[0007]在所述图像帧为乱序帧或传输异常帧的情况下，确定所述图像帧对应的额外延迟时间，所述额外延迟时间包括由乱序帧引起的第三延迟时间，或由传输异常帧引起的第四延迟时间；
[0008]基于所述基础延迟时间以及所述额外延迟时间确定目标延迟时间。
[0009]在第二方面，本申请实施例提供了一种抖动延时估算装置，包括基础延迟模块、额外延迟模块和延时估算模块，其中：
[0010]所述基础延迟模块，配置为确定图像帧对应的基础延迟时间，所述基础延迟时间包括由帧尺寸变化引起的第一延迟时间，以及由网络噪声引起的第二延迟时间；
[0011]所述额外延迟模块，配置为在所述图像帧为乱序帧或传输异常帧的情况下，确定所述图像帧对应的额外延迟时间，所述额外延迟时间包括由乱序帧引起的第三延迟时间，或由传输异常帧引起的第四延迟时间；
[0012]所述延时估算模块，配置为基于所述基础延迟时间以及所述额外延迟时间确定目标延迟时间。
[0013]在第三方面，本申请实施例提供了一种抖动延时估算设备，包括：存储器以及一个或多个处理器；
[0014]所述存储器，用于存储一个或多个程序；
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理
器实现如第一方面所述的抖动延时估算方法。
[0016]在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的抖动延时估算方法。
[0017]在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的抖动延时估算方法。
[0018]本申请实施例通过确定图像帧的基础延迟时间，以及在图像帧为乱序帧或传输异常帧的情况下对应的额外延迟时间，并基于基础延迟时间和额外延迟时间确定目标延迟时间，其中基础延迟时间考虑了由帧尺寸变化和网络噪声引起的延迟，额外延迟时间考虑了由乱序帧引或传输异常帧引起的延迟，覆盖了帧尺寸变化、网络噪声、帧乱序到达和帧传输异常产生的抖动，更全面准确地估算抖动延时，提高对抖动延时的估算准确度。
附图说明
[0019]图1是本申请实施例提供的一种抖动延时估算方法的流程图；
[0020]图2是本申请实施例提供的另一种抖动延时估算方法的流程图；
[0021]图3是本申请实施例提供的一种第一延迟时间确定流程示意图；
[0022]图4是本申请实施例提供的一种第二延迟时间确定流程示意图；
[0023]图5是本申请实施例提供的一种抖动延时估算装置的结构示意图；
[0024]图6是本申请实施例提供的一种抖动延时估算设备的结构示意图。
具体实施方式
[0025]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0026]本申请提供的抖动延时估算方法可应用于视频直播场景，例如多人视频房场景中的抖动延时估算，旨在通过根据图像帧的基础延迟时间以及在图像帧为乱序帧或传输异常帧的情况下对应的额外延迟时间确定目标延迟时间，有效覆盖帧尺寸变化、网络噪声、帧乱序到达和帧传输异常产生的抖动，更全面准确地估算抖动延时，提高对抖动延时的估算准确度。对于传统的抖动延时估算方案，一般是：1、根据当前帧相对于前一帧的帧延迟(FramePushTimeGap，例如根据入队时间差确定)和当前帧大小，更新抖动估算算法，并获取抖动延时估计值(JitterBufferEstimate)；2、根据帧延迟和抖动延时估计值更新峰值检测策略以获取额外的抖动延时，该额外抖动延时会叠加到抖动延时估计值上；3、根据配置的
参数对抖动延时估计值做线性放大，获取最终的抖动延时估计值。但是在网络的影响下，现有的抖动延时估算方案在网络较好时叠加了部分不必要的估算值，而在网络较差时叠加的估算值又显得不足，不能很好地适配网络状况，抖动延时的估算准确度较差。基于此，提供本申请实施例的一种抖动延时估算方法，以解决现有抖动延时估算方案抖动延时的估算准确度较差的技术问题。
[0027]图1给出了本申请实施例提供的一种抖动延时估算方法的流程图，本申请实施例提供的抖动延时估算方法可以由抖动延时估算装置来执行，该抖动延时估算装置可以通过硬件和/或软件的方式实现，并集成在抖动延时估算设备中。
[0028]下述以抖动延时估算装置执行抖动延时估算方法为例进行描述。参考图1，该抖动延时估算方法包括：
[0029]S110：确定图像帧对应的基础延迟时间，基础延迟时间包括由帧尺寸变化引起的第一延迟时间，以及由网络噪声引起的第二延迟时间。
[0030]本方案提供的图像帧可理解为抖动延时估算设备接收到的视频流图像帧，例如抖动延时估算设备在加入视频直播的多人视频房场景时，实时接收服务器下发的视频流，并根据视频流中的视频帧进行抖动延时估算。
[0031]示例性的，在接收到图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抖动延时估算方法，其特征在于，包括：确定图像帧对应的基础延迟时间，所述基础延迟时间包括由帧尺寸变化引起的第一延迟时间，以及由网络噪声引起的第二延迟时间；在所述图像帧为乱序帧或传输异常帧的情况下，确定所述图像帧对应的额外延迟时间，所述额外延迟时间包括由乱序帧引起的第三延迟时间，或由传输异常帧引起的第四延迟时间；基于所述基础延迟时间以及所述额外延迟时间确定目标延迟时间。2.根据权利要求1所述的抖动延时估算方法，其特征在于，所述确定图像帧对应的基础延迟时间，包括：根据图像帧的帧尺寸、前一图像帧关联的第一最大尺寸以及第一平均尺寸，确定所述图像帧对应的第一延迟时间；根据图像帧相对于前一图像帧的帧延迟以及第一帧尺寸差值、第一延迟时间计算参数、第二延迟时间计算参数以及更新系数，确定所述图像帧对应的第二延迟时间，所述第一延迟时间计算参数基于网络传输速率进行确定，所述第二延迟时间计算参数基于网络排队延迟进行确定；基于所述第一延迟时间和所述第二延迟时间确定所述图像帧对应的基础延迟时间。3.根据权利要求2所述的抖动延时估算方法，其特征在于，所述根据图像帧的帧尺寸、前一图像帧关联的第一最大尺寸以及第一平均尺寸，确定所述图像帧对应的第一延迟时间，包括：基于第一平滑系数从图像帧的帧尺寸以及前一图像帧关联的第一最大尺寸中确定所述图像帧对应的第二最大尺寸；基于第二平滑系数、第三平滑系数、所述图像帧的帧尺寸以及所述前一图像帧关联的第一平均尺寸，确定所述图像帧对应的第二平均尺寸；基于所述第二最大尺寸、所述第二平均尺寸以及第一延迟时间计算参数，确定所述图像帧对应的第一延迟时间。4.根据权利要求2所述的抖动延时估算方法，其特征在于，所述根据图像帧相对于前一图像帧的帧延迟以及第一帧尺寸差值、第一延迟时间计算参数、第二延迟时间计算参数以及更新系数，确定所述图像帧对应的第二延迟时间，包括：根据图像帧相对于前一图像帧的帧延迟以及第一帧尺寸差值、第一延迟时间计算参数以及第二延迟时间计算参数，确定所述图像帧的第一噪声偏差；基于更新系数、所述前一图像帧关联的第一平均网络噪声以及所述第一噪声偏差，确定所述图像帧的第二平均网络噪声；基于所述更新系数、所述前一图像帧关联的第一网络噪声方差、所述第二平均网络噪声以及所述第一噪声偏差，确定所述图像帧的第二网络噪声方差；基于所述第二网络噪声方差、第一比例系数以及调整系数确定所述图像帧对应的第二延迟时间。5.根据权利要求1所述的抖动延时估算方法，其特征在于，所述在所述图像帧为乱序帧或传输异常帧的情况下，确定所述图像帧对应的额外延迟时间之前，还包括：根据所述图像帧的帧序号确定所述图像帧是否为乱序帧；
在所述图像帧不为乱序帧的情况下，根据所述图像帧的第一噪声偏差、第二网络噪声方差以及第二比例系数确定所述图像帧是否为传输异常帧。6.根据权利要求1所述的抖动延时估算方法，其特征在于，所述在所述图像帧为乱序帧或传输异常帧的情况下，确定所述图像帧对应的额外延迟时间，包括：在所述图像帧为乱序帧的情况下，确定由乱序帧引起的第三延迟时间，并基于...

【专利技术属性】
技术研发人员：华崇辉，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：