音视频传输前向纠错方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及音视频传输前向纠错方法、装置、计算机设备及存储介质，该方法包括获取来自猫眼设备的原始音视频数据；将原始音视频数据采用实时传输协议进行打包，形成原始音视频数据包；将原始音视频数据包发送至终端；对原始音视频数据引入冗余校验信息，以形成冗余包；将冗余包进行处理，以形成数据包；将数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包。本发明专利技术通过在猫眼设备内对采集的原始音视频数据加入冗余校验信息，以形成冗余包，并将该冗余包打包后发送到终端，以达到音视频网络传输的前向纠错编码，实现具备抗丢包、抗乱序的增强型UDP地传输音视频数据，进而提升实时音视频传输效果。

Forward Error Correction Method, Device, Computer Equipment and Storage Media for Audio and Video Transmission

The invention relates to a forward error correction method, device, computer equipment and storage medium for audio and video transmission, which includes acquiring raw audio and video data from cat's eye device, packaging original audio and video data using real-time transmission protocol to form original audio and video data package, sending original audio and video data package to terminal, and introducing redundancy check information to original audio and video data. To form redundant packets; to process the redundant packets to form data packets; to cache the data packets to the terminal so that the terminal can decode the data packets and recover the lost original audio and video data packets. The invention adds redundancy check information to the collected original audio and video data in the cat's eye device to form redundant packets, and packages the redundant packets and sends them to the terminal to achieve forward error correction coding for audio and video network transmission, and realizes enhanced UDP transmission of audio and video data with anti-loss and anti-disorder sequence, thereby improving the real-time audio and video transmission effect.

【技术实现步骤摘要】
音视频传输前向纠错方法、装置、计算机设备及存储介质
本专利技术涉及音视频传输处理方法，更具体地说是指猫眼设备中的音视频传输前向纠错方法、装置、计算机设备及存储介质。
技术介绍
随着网络技术和多媒体技术的高速发展，基于IP(互联网协议，InternetProtocol)网络的多媒体通信MoIP(多媒体互联网协议，MultimediaoverIP)业务逐渐在互联网应用中占据主导地位。多媒体业务比如语音、视频传输对通信质量要求比较高，但是由于IP网络在传送分组时具有尽力而为的特点，流媒体传输时丢包现象非常普遍，视频会议作为MoIP业务的一个典型应用，对丢包现象比较敏感。因此IP网络丢包成为影响视频会议服务质量的瓶颈所在。视频码流的少量丢失都会导致解码后的视频出现花屏的现象。H264、HEVC等高压缩率视频压缩标准使得压缩的冗余度非常低，码流的丢失除了影响本帧的解码外，还将影响以此为参考的视频帧解码，导致花屏的累积扩散，直至下一个关键帧的到来视频画面方能恢复。虽然解码器内部会做一定的错误掩盖处理，但效果并不理想，特别是采用ffmpegFFmpeg这种可以用来记录、转换数字音频、视频，并能将其转化为流的开源的解码器，其错误掩盖算法做得比较简单。为此，在很多产品中不得不采用较小的GOP(较小的I帧间隔，GroupofPictures)，以期在出现丢包花屏后能尽快的用I帧码流刷新画面。这种方法副作用较大，而且某些场合下甚至会适得其反。因为I帧压缩效率远不如P帧、B帧，I帧往往比P帧、B帧大很多，频繁的I帧将给传输信道带来持续的波动压力，造成更严重的丢包、乱序。另外，因为编码器码率控制的缘故，I帧占用较多的码流后，紧接着的P、B帧将不得不采用较大的量化参数QP以保证码率的局部可控，这样带来的直观感受是图像随着I帧间隔周期性的发虚、马赛克。乱序的UDP包不经过顺序恢复直接送解码器同样会导致解码花屏，因为解码器内部会将迟到的数据包丢弃。因此，有必要设计一种的方法，实现通过抗丢包、抗乱序的增强型UDP(用户数据报协议，UserDatagramProtocol)传输数据，进而提升实时音视频传输效果。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供音视频传输前向纠错方法、装置、计算机设备及存储介质。为实现上述目的，本专利技术采用以下技术方案：音视频传输前向纠错方法，包括：获取来自猫眼设备的原始音视频数据；将所述原始音视频数据采用实时传输协议进行打包，形成原始音视频数据包；将原始音视频数据包发送至终端；对原始音视频数据引入冗余校验信息，以形成冗余包；将冗余包进行处理，以形成数据包；将所述数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包。其进一步技术方案为：所述对原始音视频数据引入冗余校验信息，以形成冗余包，包括：将所述原始音视频数据存放至内部缓存列队；判断所有原始音视频数据是否都存放完毕；若是，则对内部缓存列队内的所述原始音视频数据按照设定的信息位长度进行分组，形成音视频数据组；对音视频数据组加入设定校验位长度的冗余校验信息，以形成冗余包。其进一步技术方案为：所述将冗余包进行处理，以形成数据包，包括：对所述冗余包采用实时传输协议进行打包，形成数据包。其进一步技术方案为：所述将所述数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包，包括：在终端内缓存所述数据包以及所述原始音视频数据包；判断是否有原始音视频数据包丢失；若有原始音视频数据包丢失，则判断丢失的原始音频数据包的数量是否超过设定的恢复阈值；若否，则根据丢失的原始音视频数据包读取终端内的缓存中的数据包；解码所述数据包，以恢复丢失的原始音视频数据包。其进一步技术方案为：所述将所述数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包之后，还包括：在终端显示界面上显示已恢复的丢失的原始音视频数据。其进一步技术方案为：所述判断丢失的原始音频数据包的数量是否超过设定的恢复阈值之后，还包括：若是，则输出恢复丢失的原始音频数据包失败的通知及丢包率统计值。其进一步技术方案为：所述输出恢复丢失的原始音频数据包失败的通知及丢包率统计值之后，还包括：对终端缓存内的数据包以及原始音视频数据包进行丢弃处理。本专利技术还提供了音视频传输前向纠错装置，包括：原始数据获取单元，用于获取来自猫眼设备的原始音视频数据；原始数据包获取单元，用于将所述原始音视频数据采用实时传输协议进行打包，形成原始音视频数据包；原始数据包发送单元，用于将原始音视频数据包发送至终端；冗余包制作单元，用于对原始音视频数据引入冗余校验信息，以形成冗余包；冗余包处理单元，用于将冗余包进行处理，以形成数据包；数据包缓存单元，用于将所述数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包。本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。本专利技术还提供了存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。本专利技术与现有技术相比的有益效果是：本专利技术通过在猫眼设备内对采集的原始音视频数据加入冗余校验信息，以形成冗余包，并将该冗余包打包后发送到终端，以达到音视频网络传输的前向纠错编码，在原始音视频数据包发送到终端的过程中出现丢包或者乱序的现象时，通过该数据包解码后恢复已丢失的原始音频数据，实现具备抗丢包、抗乱序的增强型UDP地传输音视频数据，进而提升实时音视频传输效果。下面结合附图和具体实施例对本专利技术作进一步描述。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的音视频传输前向纠错方法的应用场景示意图；图2为本专利技术实施例提供的音视频传输前向纠错方法的流程示意图；图3为本专利技术实施例提供的音视频传输前向纠错方法的子流程示意图；图4为本专利技术实施例提供的音视频传输前向纠错方法的子流程示意图；图5为本专利技术实施例提供的音视频传输前向纠错方法的香农限示意图；图6为本专利技术实施例提供的音视频传输前向纠错方法的猫眼设备流程示意图；图7为本专利技术实施例提供的音视频传输前向纠错方法的终端流程示意图；图8为本专利技术另一实施例提供的音视频传输前向纠错方法的流程示意图；图9为本专利技术实施例提供的音视频传输前向纠错装置的示意性框图；图10为本专利技术实施例提供的音视频传输前向纠错装置的冗余包制作单元的示意性框图；图11为本专利技术实施例提供的音视频传输前向纠错装置的数据包发送单元的示意性框图；图12为本专利技术另一实施例提供的音视频传输前向纠错装置的示意性框图；图13为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说本文档来自技高网...

【技术保护点】
1.音视频传输前向纠错方法，其特征在于，包括：获取来自猫眼设备的原始音视频数据；将所述原始音视频数据采用实时传输协议进行打包，形成原始音视频数据包；将原始音视频数据包发送至终端；对原始音视频数据引入冗余校验信息，以形成冗余包；将冗余包进行处理，以形成数据包；将所述数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包。

【技术特征摘要】
1.音视频传输前向纠错方法，其特征在于，包括：获取来自猫眼设备的原始音视频数据；将所述原始音视频数据采用实时传输协议进行打包，形成原始音视频数据包；将原始音视频数据包发送至终端；对原始音视频数据引入冗余校验信息，以形成冗余包；将冗余包进行处理，以形成数据包；将所述数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包。2.根据权利要求1所述的音视频传输前向纠错方法，其特征在于，所述对原始音视频数据引入冗余校验信息，以形成冗余包，包括：将所述原始音视频数据存放至内部缓存列队；判断所有原始音视频数据是否都存放完毕；若是，则对内部缓存列队内的所述原始音视频数据按照设定的信息位长度进行分组，形成音视频数据组；对音视频数据组加入设定校验位长度的冗余校验信息，以形成冗余包。3.根据权利要求2所述的音视频传输前向纠错方法，其特征在于，所述将冗余包进行处理，以形成数据包，包括：对所述冗余包采用实时传输协议进行打包，形成数据包。4.根据权利要求1所述的音视频传输前向纠错方法，其特征在于，所述将所述数据包缓存至终端，以使终端对数据包进行解码并恢复丢失的原始音视频数据包，包括：在终端内缓存所述数据包以及所述原始音视频数据包；判断是否有原始音视频数据包丢失；若有原始音视频数据包丢失，则判断丢失的原始音频数据包的数量是否超过设定的恢复阈值；若否，则根据丢失的原始音视频数据包读取终端内的缓存中的数据包；解码所述数据包，以恢复丢失的原始音视频数据包。5.根据权利要求4所述的音视频传输前向纠错方...

【专利技术属性】
技术研发人员：饶思勇，蔡汝凡，
申请(专利权)人：深圳市凯迪仕智能科技有限公司，
类型：发明
国别省市：广东,44