实时通信的传输方法和装置、实时通信的处理方法和装置制造方法及图纸

本申请提供了一种实时通信的传输方法和装置、实时通信的处理方法和装置，其中，该实时通信的传输方法包括：通过与第一客户端对应的目标采集设备进行音视频采集，得到待传输的第一音视频；对所述第一音视频进行编码，得到第一视频流，其中，所述第一音视频中的非关键帧仅参考同一图像组中的关键帧进行编码；通过所述第一客户端与第二客户端之间的实时通信连接，将所述第一视频流传输给所述第二客户端。通过本申请，解决了相关技术中的编解码方式存在由于解码时延过大导致的实时音视频通信时效性差的问题。

【技术实现步骤摘要】
实时通信的传输方法和装置、实时通信的处理方法和装置
本申请通信
，尤其涉及一种实时通信的传输方法和装置、实时通信的处理方法和装置。
技术介绍
在实时音视频通信（RTC）场景下，延迟是重要的技术指标。在优化延迟指标时，需要同时考虑控制成本以及不影响用户体验（即，视频主观质量）。相关技术中，RTC低延迟技术通过采用LDP编码配置来降低采集端的编码延迟。图1示出了LDP编码方式的帧类型、以及帧与帧之间的参考关系。如图1所示，箭头方向表示被参考，以POC=3的帧为例，它需要参考第0帧（长期参考帧）和第2帧（短期参考帧）进行编码，同时它会被第4帧所参考。已有的LDP编码方式在编码P帧时，一般会同时有长期参考帧和短期参考帧。然而，对于上述编码方式，由于编解码的参考帧之间存在依赖关系，在解码过程中，在解码一个图像帧时，需要先解码其前面所有的图像帧，造成最大会有一个GOP帧数的解码延迟。因此，相关技术中的编解码方式，存在由于解码时延过大导致的实时音视频通信时效性差的问题。
技术实现思路
本申请提供了一种实时通信的传输方法和装置本文档来自技高网...

【技术保护点】
1.一种实时通信的传输方法，其特征在于，包括：/n通过与第一客户端对应的目标采集设备进行音视频采集，得到待传输的第一音视频；/n对所述第一音视频进行编码，得到第一视频流，其中，所述第一音视频中的非关键帧仅参考同一图像组中的关键帧进行编码；/n通过所述第一客户端与第二客户端之间的实时通信连接，将所述第一视频流传输给所述第二客户端。/n

【技术特征摘要】
1.一种实时通信的传输方法，其特征在于，包括：
通过与第一客户端对应的目标采集设备进行音视频采集，得到待传输的第一音视频；
对所述第一音视频进行编码，得到第一视频流，其中，所述第一音视频中的非关键帧仅参考同一图像组中的关键帧进行编码；
通过所述第一客户端与第二客户端之间的实时通信连接，将所述第一视频流传输给所述第二客户端。


2.根据权利要求1所述的方法，其特征在于，所述对所述第一音视频进行编码，得到第一视频流包括：
对所述第一音视频中的第一图像组的第一关键帧进行帧内编码，得到第一子视频流；
将所述第一关键帧作为参考帧，对所述第一图像组的多个第一非关键帧进行并行编码，得到多个第二子视频流，其中，所述第一视频流包含所述第一子视频流和多个所述第二子视频流，多个所述第一非关键帧和多个所述第二子视频流一一对应。


3.根据权利要求1所述的方法，其特征在于，所述对所述第一音视频进行编码，得到第一视频流包括：
确定与候选编码模式对应的目标码率，其中，所述目标码率为在所述候选编码模式下与第二非关键帧对应的码率，所述第二非关键帧为所述第一音视频中的一个非关键帧；
确定与所述候选编码模式对应的目标失真，其中，所述目标失真为在所述候选编码模式下与所述第二非关键帧对应的失真；
根据所述目标码率和所述目标失真，从多个所述候选编码模式中选取出目标编码模式；
以与所述第二非关键帧对应的第二关键帧作为参考帧，使用所述目标编码模式对所述第二非关键帧进行编码，得到目标子视频码流，所述第一视频流包括所述目标子视频码流。


4.根据权利要求3所述的方法，其特征在于，所述根据所述目标码率和所述目标失真，从多个所述候选编码模式中选取出目标编码模式包括：
将所述目标码率和所述目标失真的加权和，确定为与所述候选编码模式对应的模型选取参数值；
从多个所述候选编码模式中选取出与最小模型选取参数值对应的所述目标编码模式。


5.根据权利要求4所述的方法，其特征在于，在所述将所述目标码率和所述目标失真的加权和，确定为与所述候选编码模式对应的模型选取参数值之前，所述方法还包括：
确定与所述第二非关键帧对应的目标拉格朗日系数，其中，所述目标拉格朗日系数与所述第二非关键帧和所述第二关键帧之间的目标距离正相关，所述目标失真的权重为固定值，所述目标码率的权重为所述目标拉格朗日系数。


6.根据权利要求5所述的方法，其特征在于，所述确定与所述第二非关键帧对应的目标拉格朗日系数包括：
确定与所述第二非关键帧对应的初始拉格朗日系数；
根据所述初始拉格朗日系数、所述第二非关键帧所在的第二图像组的目标长度、以及所述目标距离，确定所述目标拉格朗日系数，其中，所述目标拉格朗日系数与所述初始拉格朗日系数和所述目标距离正相关，与所述目标长度负相关。


7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述通过与第一客户端对应的目标采集设备进行音视频采集之前，所述方法还包括：
检测到对所述第一客户端执行的加入操作，其中，所述加入操作用于加入多个所述第二客户端之间的实时通信；
响应所述加入操作，接收多个所述第二客户端中的目标客户端传输的第二视频流，其中，所述第二视频流为与所述目标客户端对应的视频流中从当前时刻开始的视频流；
对所述第二视频流进行解码，得到第二音视频，其中，所述第二视频流中的非关键帧仅参考同一图像组中的关键帧进行解码；
在所述第一客户端上的实时通信界面的目标区域内播放所述第二音视频。


8.根据权利要求7所述的方法，其特征在于，在所述对所述第二视频流进行解码，得到...

【专利技术属性】
技术研发人员：张文杰，豆修鑫，徐琴琴，宋嘉文，樊鸿飞，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11