本申请公开了一种实时音视频处理方法和装置，属于音视频检测领域。所述实时音视频处理方法，应用于第一端，所述方法包括：从第三端拉取目标视频帧和目标音频；目标视频帧为第二端基于目标码率推送至第三端的，目标码率为第一端基于目标音视频流中目标视频帧之前的视频帧的内容所确定的；基于目标视频帧的内容，更新目标码率，更新后的目标码率用于推送目标视频帧之后的视频帧。本申请的实时音视频处理方法，通过目标视频帧的内容动态调整下一次所推送的视频帧的码率，可以实现码率的动态调节，在保证视频的质量的同时提高视频传输效率，提高实时质检效率，从而有助于提高用户的交互体验。交互体验。交互体验。
【技术实现步骤摘要】
实时音视频处理方法和装置
[0001]本申请属于音视频检测领域，尤其涉及一种实时音视频处理方法和装置。
技术介绍
[0002]在银行双录场景中，需对用户上传的音视频进行实时检测。相关技术中，主要由设备端采集音视频，对音视频进行编码，然后将编码后的音视频流推送至流媒体服务器，服务端从流媒体服务器拉取音视频流，解码为视频桢和音频片段以进行检测。然而设备端采集的音视频质量、大小以及录制环境等因素的改变，往往会对音视频流推送速率造成影响，从而影响音视频流的传输效率，影响音视频的实时质检效率。
技术实现思路
[0003]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种实时音视频处理方法和装置，可以实现码率的动态调节，在保证视频的质量的同时提高视频传输效率，提高实时质检效率，从而有助于提高用户的交互体验。
[0004]第一方面，本申请提供了一种实时音视频处理方法，应用于第一端，该方法包括：
[0005]从第三端拉取目标视频帧和目标音频；所述目标视频帧为第二端基于目标码率推送至所述第三端的，所述目标码率为所述第一端基于目标音视频流中所述目标视频帧之前的视频帧的内容所确定的；
[0006]基于所述目标视频帧的内容，更新所述目标码率，更新后的目标码率用于推送所述目标视频帧之后的视频帧。
[0007]根据本申请的实时音视频处理方法，通过目标视频帧的内容动态调整下一次所推送的视频帧的码率，可以实现码率的动态调节，以在固定宽带情况下基于所推送的视频帧的具体内容选择与该视频帧最佳的编码码率，在保证视频的质量的同时提高视频传输效率，提高实时质检效率，从而有助于提高用户的交互体验。
[0008]根据本申请的一个实施例，所述基于所述目标视频帧的内容，更新所述目标码率，包括：
[0009]在所述目标视频帧的内容与目标内容关联的情况下，将所述目标码率更新为第一码率；
[0010]在所述目标视频帧的内容与所述目标内容不关联的情况下，将所述目标码率更新为第二码率；其中，所述第二码率低于所述第一码率。
[0011]根据本申请的一个实施例，还包括：
[0012]在第一次检测到所接收的当前视频帧的内容与所述目标内容关联的情况下，将所述当前视频帧的内容中与所述目标内容关联的子区域确定为模板图像；
[0013]基于所述模板图像，检测后续所接收的视频帧的内容；
[0014]在所述后续所接收的视频帧的内容与所述模板图像相似的情况下，确定所述后续所接收的视频帧的内容与所述目标内容关联。
[0015]根据本申请的一个实施例，所述基于所述模板图像，检测后续所接收的视频帧的内容，包括：
[0016]从所述后续所接收的视频帧中截取多个目标大小的子图像块，所述目标大小为所述模板图像的大小；
[0017]对所述模板图像和各所述子图像块进行FFT快速计算，从各所述子图像块中检测与所述模板图像相似的子图像块。
[0018]根据本申请的一个实施例，在所述从第三端拉取目标视频帧和目标音频之后，所述方法还包括：
[0019]分别对所述目标视频帧和所述目标音频进行解码，获取第一视频帧和第一音频；
[0020]分别检测所述第一视频帧和所述第一音频，输出视频检测结果和音频检测结果。
[0021]第二方面，本申请提供了一种实时音视频处理方法，应用于第二端，该方法包括：
[0022]获取目标音视频流，所述目标音视频流包括多个视频帧；
[0023]基于目标码率向第三端推送所述多个视频帧中的目标视频帧；所述目标码率为第一端基于所述目标音视频流中所述目标视频帧之前的视频帧的内容所确定的；
[0024]接收更新后的目标码率；
[0025]基于所述更新后的目标码率，向所述第三端推送所述目标视频帧之后的视频帧。
[0026]根据本申请的实时音视频处理方法，通过目标视频帧的内容动态调整下一次所推送的视频帧的码率，可以实现码率的动态调节，以在固定宽带情况下基于所推送的视频帧的具体内容选择与该视频帧最佳的编码码率，在保证视频的质量的同时提高视频传输效率，提高实时质检效率，从而有助于提高用户的交互体验。
[0027]第三方面，本申请提供了一种实时音视频处理方法，应用于第三端，该方法包括：
[0028]基于目标码率接收第二端推送的目标视频帧；所述目标码率为第一端基于目标音视频流中所述目标视频帧之前的视频帧的内容所确定的；所述目标视频帧供所述第一端拉取以基于所述目标视频帧的内容，更新所述目标码率，更新后的目标码率用于推送所述目标视频帧之后的视频帧。
[0029]根据本申请的实时音视频处理方法，通过目标视频帧的内容动态调整下一次所推送的视频帧的码率，可以实现码率的动态调节，以在固定宽带情况下基于所推送的视频帧的具体内容选择与该视频帧最佳的编码码率，在保证视频的质量的同时提高视频传输效率，提高实时质检效率，从而有助于提高用户的交互体验。
[0030]第四方面，本申请提供了一种实时音视频处理装置，应用于第一端，该装置包括：
[0031]第一处理模块，用于从第三端拉取目标视频帧和目标音频；所述目标视频帧为第二端基于目标码率推送至所述第三端的，所述目标码率为所述第一端基于目标音视频流中所述目标视频帧之前的视频帧的内容所确定的；
[0032]第二处理模块，用于基于所述目标视频帧的内容，更新所述目标码率，更新后的目标码率用于推送所述目标视频帧之后的视频帧。
[0033]根据本申请的实时音视频处理装置，通过目标视频帧的内容动态调整下一次所推送的视频帧的码率，可以实现码率的动态调节，以在固定宽带情况下基于所推送的视频帧的具体内容选择与该视频帧最佳的编码码率，在保证视频的质量的同时提高视频传输效率，提高实时质检效率，从而有助于提高用户的交互体验。
[0034]第五方面，本申请提供了一种实时音视频处理装置，应用于第二端，该装置包括：
[0035]第三处理模块，用于获取目标音视频流，所述目标音视频流包括多个视频帧；
[0036]第四处理模块，用于基于目标码率向第三端推送所述多个视频帧中的目标视频帧；所述目标码率为第一端基于所述目标音视频流中所述目标视频帧之前的视频帧的内容所确定的；
[0037]第五处理模块，用于接收更新后的目标码率；
[0038]第六处理模块，用于基于所述更新后的目标码率，向所述第三端推送所述目标视频帧之后的视频帧。
[0039]根据本申请的实时音视频处理装置，通过目标视频帧的内容动态调整下一次所推送的视频帧的码率，可以实现码率的动态调节，以在固定宽带情况下基于所推送的视频帧的具体内容选择与该视频帧最佳的编码码率，在保证视频的质量的同时提高视频传输效率，提高实时质检效率，从而有助于提高用户的交互体验。
[0040]第六方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实时音视频处理方法，其特征在于，应用于第一端，所述方法包括：从第三端拉取目标视频帧和目标音频；所述目标视频帧为第二端基于目标码率推送至所述第三端的，所述目标码率为所述第一端基于目标音视频流中所述目标视频帧之前的视频帧的内容所确定的；基于所述目标视频帧的内容，更新所述目标码率，更新后的目标码率用于推送所述目标视频帧之后的视频帧。2.根据权利要求1所述的实时音视频处理方法，其特征在于，所述基于所述目标视频帧的内容，更新所述目标码率，包括：在所述目标视频帧的内容与目标内容关联的情况下，将所述目标码率更新为第一码率；在所述目标视频帧的内容与所述目标内容不关联的情况下，将所述目标码率更新为第二码率；其中，所述第二码率低于所述第一码率。3.根据权利要求2所述的实时音视频处理方法，其特征在于，还包括：在第一次检测到所接收的当前视频帧的内容与所述目标内容关联的情况下，将所述当前视频帧的内容中与所述目标内容关联的子区域确定为模板图像；基于所述模板图像，检测后续所接收的视频帧的内容；在所述后续所接收的视频帧的内容与所述模板图像相似的情况下，确定所述后续所接收的视频帧的内容与所述目标内容关联。4.根据权利要求3所述的实时音视频处理方法，其特征在于，所述基于所述模板图像，检测后续所接收的视频帧的内容，包括：从所述后续所接收的视频帧中截取多个目标大小的子图像块，所述目标大小为所述模板图像的大小；对所述模板图像和各所述子图像块进行FFT快速计算，从各所述子图像块中检测与所述模板图像相似的子图像块。5.根据权利要求1
‑
4任一项所述的实时音视频处理方法，其特征在于，在所述从第三端拉取目标视频帧和目标音频之后，所述方法还包括：分别对所述目标视频帧和所述目标音频进行解码，获取第一视频帧和第一音频；分别检测所述第一视频帧和所述第一音频，输出视频检测结果和音频检测结果。6.一种实时音视频处理方法，其特征在于，应用于第二端，所述方法包括：获取目标音视频流，所述目标音视频流包括多个视频帧；基于目标码率向第三端推...
【专利技术属性】
技术研发人员：陈良旭，金晓峰，王广林，蓝伟森，何胜，
申请(专利权)人：广州广电运通金融电子股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。