媒体数据的编码、解码方法及电子设备技术

本发明专利技术涉及音视频会议技术领域，具体涉及媒体数据的编码。解码方法及电子设备。编码方法包括获取待处理媒体数据；待处理媒体数据包括多个待处理媒体数据帧；对当前待处理媒体数据帧进行编码，以得到媒体码流帧；当确定平滑发送媒体码流帧时，基于媒体码流帧的大小确定出待丢弃帧数；按照待丢弃帧数丢弃待处理媒体数据帧，并提取下一个待处理媒体数据帧；在下一个待处理媒体数据帧中添加跳帧标记，并对下一个待处理媒体数据帧进行编码。通过丢弃待处理数据帧，减少需要编码的待处理数据帧；通过丢弃待处理数据帧并利用跳帧标记的方式减少后续在播放媒体数据帧时由于平滑发送媒体码流帧带来的延时。

Coding and decoding methods of media data and electronic equipment

【技术实现步骤摘要】
媒体数据的编码、解码方法及电子设备
本专利技术涉及音视频会议
，具体涉及媒体数据的编码、解码方法及电子设备。
技术介绍
在音视频会议过程中，包含了视频图像或音频数据(以下称之为媒体数据)从实时采集一直到播放端，需要经过采集、编码、网络传输以及解码播放等环节。其中，由于在会议过程中所产生的媒体数据均是不可预测的，是实时变化的过程。可能会存在某一时刻终端所产生的媒体数据过大，导致网络数据的瞬间过冲。同时由于网络带宽有限，网络数据的瞬间过程将会导致数据丢失；且当大量设备同时出现大量数据时，将导致网络拥塞，甚至网络瘫痪。那么，此时就需要对媒体数据进行平滑处理，所谓的平滑处理的目的是使得编码后的媒体数据在传输网络中平滑发送。对于平滑发送而言，现有技术中存在多种方式，例如，通过设置两级缓存的方式，或通过调整发送码率的方式等等。然而，专利技术人在对平滑发送进行研究的过程中发现，当媒体数据过大且发送带宽有限时，对于该媒体数据的平滑发送将会存在一定的视频延时。
技术实现思路
有鉴于此，本专利技术实施例提供了一种媒体数据的编码、解码方法及电子设备，以解决平滑发送所导致的延时问题。根据第一方面，本专利技术实施例提供了一种媒体数据的编码方法，包括：获取待处理媒体数据；其中，所述待处理媒体数据包括多个待处理媒体数据帧；对当前待处理媒体数据帧进行编码，以得到媒体码流帧；当确定平滑发送所述媒体码流帧时，基于所述媒体码流帧的大小确定出待丢弃帧数；其中，所述媒体码流帧越大，所述待丢弃帧数越多；按照所述待丢弃帧数丢弃所述待处理媒体数据帧，并提取下一个待处理媒体数据帧；其中，所述下一个待处理媒体数据帧为与所述当前待处理媒体数据帧相邻所述待丢弃帧数的待处理媒体数据帧；在所述下一个待处理媒体数据帧中添加跳帧标记，并对所述下一个待处理媒体数据帧进行编码；其中，所述跳帧标记用于表示所述下一个待处理媒体数据帧为跳帧后的待处理媒体数据帧。本专利技术实施例提供的媒体数据的编码方法，在确定媒体码流帧需要进行平滑发送时，基于媒体码流帧的大小计算出待丢弃帧数，通过丢弃待处理数据帧，减少需要编码的待处理数据帧；即通过丢弃待处理数据帧并利用跳帧标记的方式减少后续在播放媒体数据帧时由于平滑发送媒体码流帧带来的延时。结合第一方面，在第一方面第一实施方式中，所述基于所述媒体码流帧的大小，计算待丢弃帧数，包括：获取发送带宽；利用所述媒体码流帧的大小以及所述发送带宽，确定所述媒体码流帧的网络发送时间；利用所述网络发送时间以及编码帧率，计算所述待丢弃帧数。本专利技术实施例提供的媒体数据的编码方法，通过获取发送带宽，并基于该发送带宽确定该媒体码流帧的网络发送时间，该时间就是网络平滑发送所产生的视频延时；利用该时间所确定出的待丢弃帧数，具有较高的准确性，能够极大地减少后续在播放媒体数据帧时的延时；同时，由于发送带宽是实时获取到的，能够使得计算出的网络发送时间与实时的发送带宽结合，以保证确定出的网络发送时间的准确性。结合第一方面第一实施方式，在第一方面第二实施方式中，采用如下公式计算所述待丢弃帧数：Nm＝ceil(tm×编码帧率)；式中，tm＝Sm/发送带宽；其中，m表示所述当前待处理媒体数据帧为所述待处理媒体数据的第m帧；Nm表示对应于所述当前待处理媒体数据帧的待丢弃帧数；tm表示所述当前待处理媒体数据帧的网络发送时间；Sm表示所述媒体码流帧的大小；ceil()表示向上取整函数。结合第一方面，在第一方面第三实施方式中，所述当确定平滑发送所述媒体码流帧时，根据所述媒体码流帧的大小，计算待丢弃帧数的步骤之前，包括：基于所述媒体码流帧的大小，确定所述媒体码流帧的网络发送时间；判断所述网络发送时间是否大于预设值；当所述网络发送时间大于所述预设值时，确定平滑发送所述媒体码流帧。本专利技术实施例提供的媒体数据的编码方法，由于网络发送时间是与发送带宽相关联的，在媒体码流帧的大小不变的情况下，发送带宽变化所带来的网络发送时间的变化也可以被考虑到。因此，利用网络发送时间确定是否需要平滑发送该媒体码流帧，具有较高的准确性，从而可以进一步减少后续视频播放的延时。结合第一方面，或第一方面第一实施方式至第三实施方式中任一项，在第一方面第四实施方式中，还包括发送所述媒体码流帧的步骤；其中，所述发送所述媒体码流帧，包括：对所述媒体码流帧加上时间戳；所述时间戳用于表示相邻媒体数据帧的播放间隔；对加上时间戳的媒体码流帧进行封装，以得到待发送数据包；将所述待发送数据包发送到网络中。本专利技术实施例提供的媒体数据的编码方法，通过在媒体码流帧上加上时间戳，用以表示相邻媒体数据帧的播放间隔，便于后续进行媒体数据帧的播放。根据第二方面，本专利技术实施例还提供了一种媒体数据的解码方法，包括：接收待处理数据包；其中，所述待处理数据包包括多个媒体码流帧；对所述媒体码流帧进行解码，以得到媒体数据帧；判断所述媒体数据帧是否携带有跳帧标记；其中，所述跳帧标记用于表示所述媒体数据帧为跳帧后的媒体数据帧；当所述媒体数据帧携带有所述跳帧标记时，立即播放所述媒体数据帧。本专利技术实施例提供的媒体数据的解码方法，通过对媒体数据帧中是否携带有跳帧标记，确定出该媒体数据帧是否为跳帧后的媒体数据帧。当该媒体数据帧为跳帧后的媒体数据帧时，表示该媒体数据帧的前一帧为平滑发送的，因此，通过立即播放该媒体数据帧能够减少由于平滑发送所带来的延时。结合第二方面，在第二方面第一实施方式中，所述媒体码流帧还携带有时间戳，所述时间戳用于表示相邻媒体数据帧之间的播放间隔；所述方法还包括：当所述媒体数据帧未携带有所述跳帧标记时，基于所述时间戳播放所述媒体数据帧。结合第二方面第一实施方式，在第二方面第二实施方式中，所述判断所述媒体码流帧是否携带有跳帧标记的步骤之前，包括：利用所述时间戳判断所述媒体数据帧是否为第一帧；当所述媒体数据帧为第一帧时，立即播放所述媒体数据帧；当所述媒体码数据不是第一帧时，执行判断所述媒体数据帧是否携带有跳帧标记的步骤。根据第三方面，本专利技术实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本专利技术第一方面，或第一方面任一项实施方式中所述的媒体数据的编码方法，或执行本专利技术第二方面，或第二方面任一项实施方式中所述的媒体数据的解码方法。根据第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本专利技术第一方面，或第一方面任一项实施方式中所述的媒体数据的编码方法，或执行本专利技术第二方面，或第二方面任一项实施方式中所述的媒体数据的解码方法。附图说明为了更清楚地说明本专利技术具体实施方式或现有技本文档来自技高网...

【技术保护点】
1.一种媒体数据的编码方法，其特征在于，包括：/n获取待处理媒体数据；其中，所述待处理媒体数据包括多个待处理媒体数据帧；/n对当前待处理媒体数据帧进行编码，以得到媒体码流帧；/n当确定平滑发送所述媒体码流帧时，基于所述媒体码流帧的大小确定出待丢弃帧数；其中，所述媒体码流帧越大，所述待丢弃帧数越多；/n按照所述待丢弃帧数丢弃所述待处理媒体数据帧，并提取下一个待处理媒体数据帧；其中，所述下一个待处理媒体数据帧为与所述当前待处理媒体数据帧相邻所述待丢弃帧数的待处理媒体数据帧；/n在所述下一个待处理媒体数据帧中添加跳帧标记，并对所述下一个待处理媒体数据帧进行编码；其中，所述跳帧标记用于表示所述下一个待处理媒体数据帧为跳帧后的待处理媒体数据帧。/n

【技术特征摘要】
1.一种媒体数据的编码方法，其特征在于，包括：
获取待处理媒体数据；其中，所述待处理媒体数据包括多个待处理媒体数据帧；
对当前待处理媒体数据帧进行编码，以得到媒体码流帧；
当确定平滑发送所述媒体码流帧时，基于所述媒体码流帧的大小确定出待丢弃帧数；其中，所述媒体码流帧越大，所述待丢弃帧数越多；
按照所述待丢弃帧数丢弃所述待处理媒体数据帧，并提取下一个待处理媒体数据帧；其中，所述下一个待处理媒体数据帧为与所述当前待处理媒体数据帧相邻所述待丢弃帧数的待处理媒体数据帧；
在所述下一个待处理媒体数据帧中添加跳帧标记，并对所述下一个待处理媒体数据帧进行编码；其中，所述跳帧标记用于表示所述下一个待处理媒体数据帧为跳帧后的待处理媒体数据帧。


2.根据权利要求1所述的方法，其特征在于，所述基于所述媒体码流帧的大小，计算待丢弃帧数，包括：
获取发送带宽；
利用所述媒体码流帧的大小以及所述发送带宽，确定所述媒体码流帧的网络发送时间；
利用所述网络发送时间以及编码帧率，计算所述待丢弃帧数。


3.根据权利要求2所述的方法，其特征在于，采用如下公式计算所述待丢弃帧数：
Nm＝ceil(tm×编码帧率)；式中，tm＝Sm/发送带宽；
其中，m表示所述当前待处理媒体数据帧为所述待处理媒体数据的第m帧；Nm表示对应于所述当前待处理媒体数据帧的待丢弃帧数；tm表示所述当前待处理媒体数据帧的网络发送时间；Sm表示所述媒体码流帧的大小；ceil()表示向上取整函数。


4.根据权利要求1所述的方法，其特征在于，所述当确定平滑发送所述媒体码流帧时，根据所述媒体码流帧的大小，计算待丢弃帧数的步骤之前，包括：
基于所述媒体码流帧的大小，确定所述媒体码流帧的网络发送时间；
判断所述网络发送时间是否大于预设值；
当所述网络发送时间大于所述预设值时，确定平滑发送所述媒体码流帧。


5.根据权利要求1-4中任一项...

【专利技术属性】
技术研发人员：王艺超，王展，胡小鹏，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32