一种基于WebRTC实时音视频黑屏检测方法技术

技术编号:32186799 阅读:27 留言:0更新日期:2022-02-08 15:50
本发明专利技术公开一种基于WebRTC实时音视频黑屏检测方法,应用于接收终端的第一浏览器与发送终端的第二浏览器之间,所述第一浏览器支持canvas。第一浏览器通过不同插值算法的压缩计算,可以得出兼容速度以及精度的检测结果,在支持canvas特性的第一浏览器中,通过该策略,可以降低第二浏览器的不稳定性,保证第一浏览器的画面帧是有效的,提高音视频的交付可靠性以及交互性;第一浏览器实时检测出黑屏,避免黑屏在第一浏览器中出现,提升用户的体验感。提升用户的体验感。提升用户的体验感。

【技术实现步骤摘要】
一种基于WebRTC实时音视频黑屏检测方法


[0001]本专利技术涉及实时音视频
,尤其涉及一种基于WebRTC实时音视频黑屏检测方法。

技术介绍

[0002]实时音视频(WebRTC)是指通过点对点的方式,在不借助中间媒介的情况下,实现浏览器之间的实时音视频通信(视频通话、实时交互),同时也不仅限于浏览器间点对点通信,任一浏览器可以跟任一视频源实时通信(双方支持WebRTC)。在目前的音视频通话中,由于网络抖动以及推送方性能制约,接收方不能够在第一时间接收到有效信息,往往看到都是黑屏画面,用户体验感非常差。对于不确定的推送源,推送方难以保证有效的快速地检测到无效画面,为了能够报证接收方的正常工作以及保持良好体验,亟需在接收方做黑屏检测处理。
[0003]因此,现有技术存在缺陷,需要改进。

技术实现思路

[0004]本专利技术要解决的技术问题是:提供一种基于WebRTC实时音视频黑屏检测方法,实时检测出黑屏,避免接收方出现黑屏的情况,提升接收方的体验感。
[0005]本专利技术的技术方案有两种,第一种技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于WebRTC实时音视频黑屏检测方法,其特征在于,应用于接收终端的第一浏览器与发送终端的第二浏览器之间,所述第一浏览器支持canvas,包括以下步骤:S1:启动第一浏览器、第二浏览器,开启第一浏览器、第二浏览器WebRTC服务后,使第一浏览器与第二浏览器建立连接;S2:第二浏览器给第一浏览器推送视频流,第一浏览器对视频流的画面帧进行采样,获得测试画面帧。S3:使用第一浏览器的Web Worker开启三个工作线程,对测试画面帧分别进行最近邻插值算法、双线性插值算法、双三次插值算法的计算,将得出不同算法的矩阵的灰度值数据,分别为U1、U2、U3;S4:根据最近邻插值算法、双线性插值算法、双三次插值算法的计算准确度,对矩阵的灰度值数据的计算结果进行加权计算;最近邻插值算法、双线性插值算法、双三次插值算法的权重值分别为M1、M2、M3,最近邻插值算法、双线性插值算法、双三次插值算法得到的矩阵的灰度值数据中矩阵的灰度值不等于0x0或0xff的像素数量分别为N1、N2、N3;加权计算的结果分别为:P1=U1*M1*N1、P2=U2*M2*N2、P3=U3*M3*N3;S5:若(P1+P2+P3)/3小于P1、P2、P3中的中位数,第一浏览器判定测试画面帧处于黑屏状态,进入步骤S6;若(P1+P2+P3)/3不小于P1、P2、P3中的中位数,第一浏览器判定测试画面帧为非黑屏状态,第一浏览器向用户展示有效的非黑屏的音视频画面;S6:第一浏览器再次对视频流的当前画面帧进行采样,获得测试画面帧;按照步骤S3的方法重新计算出U1、U2、U3;S7:扩大最近邻插值算法的权重值,缩小双三次插值算法的权重值,双线性插值算法的权重值不变,重新对矩阵的灰度值数据的计算结果进行加权计算,重新得到P1、P2、P3,进入步骤S5。2.根据权利要求1所述的一种基于WebRTC实时音视频黑屏检测方法,其特征在于,在步骤S7中,最近邻插值算法的权重值的每次增加量为初始权重值的0

10%,不包含0;双三次插值算法的权重值的每次缩小量为初始权重值的0

10%,不包含0。3.根据权利要求2所述的一种基于WebRTC实时音视频黑屏检测方法,其特征在于,在步骤S7中,最近邻插值算法的权重值的最大总增加量为初始权重值的50%,所述双三次插值算法的权重值的最大总缩小量为初始权重值的50%。4.根据权利要求1所述的一种基于WebRTC实时音视频黑屏检测方法,其特征在于,在步骤S5中,第一浏览器判定测试画面帧为非黑屏状态,第一浏览器关闭所有Web Worker线程计算,回收计算资源。5.一种基于WebRTC实时音视频黑屏检测方法,其特征在于,应用于接收终端的第一浏览器与发送终端的第二浏览器之间,所述第一浏览器支持canvas,包括以下步骤:SS1:启动第一浏览器、第二浏览器,开启第一浏览器、第二浏览器WebRTC服务后,使第一浏览器与第二浏...

【专利技术属性】
技术研发人员:黄志谋周双全邹琼
申请(专利权)人:深圳市瑞云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1