音视频的处理方法、装置及存储介质制造方法及图纸

本申请涉及本申请涉及多媒体技术领域，尤其涉及一种音视频的处理方法、装置及存储介质。该方法用于终端设备中，该方法包括：接收播放指令，播放指令用于指示开始播放目标音视频；根据播放指令，向服务器发送携带有网络质量信息的音视频播放请求，网络质量信息用于指示终端设备当前的接入网络的网络质量情况，音视频播放请求用于指示服务器返回目标音视频的音视频数据；下载并播放目标音视频的音视频数据。本申请实施例通过在终端设备向服务器发送音视频播放请求时，主动上报终端设备当前的接入网络的网络质量信息，避免了相关技术中服务器与终端设备之间多次交互进行网络带宽探测的情况，从而缩短了音视频的起播时延，保证了音视频的播放效果。了音视频的播放效果。了音视频的播放效果。

【技术实现步骤摘要】
音视频的处理方法、装置及存储介质


[0001]本申请涉及多媒体
，尤其涉及一种音视频的处理方法、装置及存储介质。

技术介绍

[0002]目前，音视频播放一般采用基于音视频分片的下载模式。例如，通过互联网向终端设备提供音视频的下载方式中，服务器将同一个音视频的不同码率的版本切分为预设长度的分片，对每个分片进行封装。
[0003]在终端设备需要对音视频进行播放时，向服务器发送连接请求，服务器在接收到连接请求后，通过与终端设备的多次交互进行带宽探测，从而确定合适的网络通信初始窗口大小。服务器在接收到终端设备发送的音视频播放请求后，根据确定出的网络通信初始窗口大小传输音视频的初始分片。
[0004]但是在上述方法中，服务器在客户端发送连接请求后，需要经过多个网络通信往返时延(Round trip time，RTT)进行带宽探测，导致音视频的起播时延较长，音视频播放效果不佳。

技术实现思路

[0005]有鉴于此，提出了一种音视频的处理方法、装置及存储介质，在终端设备向服务器发送音视频播放请求时，主动上报用于指示终端设备当前的接入网络的网络质量情况的网络质量信息，避免了相关技术中服务器与终端设备之间多次交互进行网络带宽探测的情况，从而缩短了音视频的起播时延，保证了音视频的播放效果。
[0006]第一方面，本申请的实施例提供了一种音视频的处理方法，用于终端设备中，该方法包括：
[0007]接收播放指令，播放指令用于指示开始播放目标音视频；
[0008]根据播放指令，向服务器发送携带有网络质量信息的音视频播放请求，网络质量信息用于指示终端设备当前的接入网络的网络质量情况，音视频播放请求用于指示服务器返回目标音视频的音视频数据；
[0009]下载并播放目标音视频的音视频数据。
[0010]在该实现方式中，终端设备接收到目标音视频的播放指令后，向服务器发送携带有网络质量信息的音视频播放请求，音视频播放请求用于指示服务器返回目标音视频的音视频数据；终端设备下载并播放服务器返回的目标音视频的音视频数据；即在终端设备向服务器发送音视频播放请求时，主动上报终端设备当前的接入网络的网络质量信息，避免了相关技术中服务器与终端设备之间多次交互进行网络带宽探测的情况，从而缩短了音视频的起播时延，保证了音视频的播放效果。
[0011]在一种可能的实现方式中，网络质量信息包括终端设备当前的接入网络的网络带宽。
[0012]在该实现方式中，终端设备主动上报终端设备当前的接入网络的网络带宽，避免
了相关技术中网络带宽需要服务器经过多个RTT探测才能获取的情况。
[0013]在另一种可能的实现方式中，音视频数据包括至少一个音视频分片，该方法还包括：
[0014]在接收到音视频分片后，向服务器发送多个确认应答(Acknowledge，ACK)消息，ACK消息用于指示终端设备已成功接收到音视频分片。
[0015]在该实现方式中，为了防止ACK消息丢包，终端设备在收到音视频分片后，通过发送多个ACK消息，来避免服务器由于未收到ACK消息而进行降速的情况，只有在多个ACK消息同时丢包的情况下，服务器才会主动下降播放码率，这种方法极大地降低了音视频播放过程发生卡顿的情况。
[0016]在另一种可能的实现方式中，在接收到音视频分片后，向服务器发送多个ACK消息，包括：
[0017]在接收到音视频分片后，当接入网络当前的信号强度和/或网络时延满足预设条件时，向服务器发送多个ACK消息；
[0018]其中，预设条件包括信号强度小于预设强度阈值，和/或网络时延大于预设时延阈值。
[0019]在该实现方式中，当接入网络当前的信号强度小于预设强度阈值，和/或网络时延大于预设时延阈值时，终端设备向服务器发送多个ACK消息，即终端设备能够根据当前的网络质量情况灵活地控制ACK消息的发送方式，在终端设备当前的接入网络的网络质量较差的情况下才会发送多个ACK消息，进一步提高了终端设备的智能性和灵活性。
[0020]在另一种可能的实现方式中，ACK消息的发送个数与接入网络的信号强度呈负相关关系。
[0021]在该实现方式中，ACK消息的发送个数与接入网络的信号强度呈负相关关系，即接入网络的信号强度越高，ACK消息的冗余量越少。
[0022]第二方面，本申请的实施例提供了一种音视频的处理方法，用于服务器中，该方法包括：
[0023]接收终端设备发送的携带有网络质量信息的音视频播放请求，网络质量信息用于指示终端设备当前的接入网络的网络质量情况；
[0024]根据音视频播放请求，向终端设备返回目标音视频的音视频数据。
[0025]在一种可能的实现方式中，网络质量信息包括接入网络的网络带宽，根据音视频播放请求，向终端设备返回目标音视频的音视频数据，包括：
[0026]根据接入网络的网络带宽和服务器的网络带宽，确定通信窗口大小和播放码率；
[0027]根据通信窗口大小和播放码率，向终端设备返回目标音视频的音视频数据。
[0028]在该实现方式中，服务器根据终端设备主动上报的网络质量信息确定通信窗口大小和播放码率，根据通信窗口大小和播放码率返回目标音视频的音视频数据，尽量保障目标音视频的第一个音视频分片尽快发送至终端设备，跳过了相关技术中的TCP协议的慢启动过程，实现了音视频播放的快速启动。
[0029]在另一种可能的实现方式中，音视频数据包括至少一个音视频分片，该方法还包括：
[0030]接收终端设备发送的音视频分片对应的多个ACK消息，ACK消息用于指示终端设备
已成功接收到音视频分片。
[0031]在另一种可能的实现方式中，该方法还包括：
[0032]在接收到同一个音视频分片对应的多个ACK消息的情况下，去除重复的ACK消息。
[0033]在该实现方式中，服务器在接收到同一个音视频分片对应的多个ACK消息的情况下，去除重复的ACK消息，实现了ACK消息的去冗余处理。
[0034]第三方面，本申请的实施例提供了一种音视频的处理装置，该装置包括至少一个单元，至少一个单元用于实现上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法。
[0035]第四方面，本申请的实施例提供了一种音视频的处理装置，该装置包括至少一个单元，至少一个单元用于实现上述第二方面或第二方面中的任意一种可能的实现方式所提供的方法。
[0036]第五方面，本申请的实施例提供了一种音视频的处理装置，装置包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法。
[0037]第六方面，本申请的实施例提供了一种音视频的处理装置，装置包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述第二方面或第二方面中的任意一种可能的实现方式所提供的方法。...

【技术保护点】

【技术特征摘要】
1.一种音视频的处理方法，其特征在于，用于终端设备中，所述方法包括：接收播放指令，所述播放指令用于指示开始播放目标音视频；根据所述播放指令，向服务器发送携带有网络质量信息的音视频播放请求，所述网络质量信息用于指示所述终端设备当前的接入网络的网络质量情况，所述音视频播放请求用于指示所述服务器返回所述目标音视频的音视频数据；下载并播放所述目标音视频的音视频数据。2.根据权利要求1所述的方法，其特征在于，所述网络质量信息包括所述终端设备当前的所述接入网络的网络带宽。3.根据权利要求1所述的方法，其特征在于，所述音视频数据包括至少一个音视频分片，所述方法还包括：在接收到所述音视频分片后，向所述服务器发送多个确认应答ACK消息，所述ACK消息用于指示所述终端设备已成功接收到所述音视频分片。4.根据权利要求3所述的方法，其特征在于，所述在接收到所述音视频分片后，向所述服务器发送多个确认应答ACK消息，包括：在接收到所述音视频分片后，当所述接入网络当前的信号强度和/或网络时延满足预设条件时，向所述服务器发送多个所述ACK消息；其中，所述预设条件包括所述信号强度小于预设强度阈值，和/或所述网络时延大于预设时延阈值。5.根据权利要求3或4所述的方法，其特征在于，所述ACK消息的发送个数与所述接入网络的信号强度呈负相关关系。6.一种音视频的处理方法，其特征在于，用于服务器中，所述方法包括：接收终端设备发送的携带有网络质量信息的音视频播放请求，所述网络质量信息用于指示所述终端设备当前的接入网络的网络质量情...

【专利技术属性】
技术研发人员：施小龙，曹振，
申请(专利权)人：花瓣云科技有限公司，
类型：发明
国别省市：