音视频播放设备分离的控制方法、系统、车辆及存储介质技术方案

本发明专利技术涉及一种音视频播放设备分离的控制方法、系统、车辆及存储介质，包括：将音视频数据分离为音频数据和视频数据并解码，记录音频解码时间戳和视频解码时间戳，将音频数据发送至音频播放设备；将接收到的音频数据存到缓存队列中，根据缓存的音频数据计算当前缓存音频延迟时间并反馈给视频播放设备；根据当前缓存音频延迟时间控制视频播放设备发送音频数据的速率，以及根据最新解码音频数据的音频解码时间戳和当前缓存音频延迟时间推算出即将输出音频数据的时间戳；并与即将播放视频数据的视频解码时间戳进行比较，并在两者的差值小于等于预设差值内时，播放该视频解码时间戳的视频数据。本发明专利技术运用在音视频设备分离场景下，确保了音视频同步。确保了音视频同步。确保了音视频同步。

【技术实现步骤摘要】
音视频播放设备分离的控制方法、系统、车辆及存储介质


[0001]本专利技术属于汽车音视频控制
，具体涉及一种音视频播放设备分离的控制方法、系统、车辆及存储介质。

技术介绍

[0002]随着汽车的车载多屏多音区的发展趋势，座舱内集成的娱乐系统会越来越复杂，多则有十几块屏幕，通常会存在多SOC硬件，车内功放需要共享给仪表、中控系统、副驾系统、后排娱乐系统等共同使用，配合多音区功放硬件支持，功放硬件和中控系统直接连接，而仪表，副驾系统，后排娱乐等系统通过软总线方式与中控系统连接。显示则直接与各个娱乐系统相连，从而需要将各娱乐系统的音频通过软总线(网络/共享内存)传输到中控系统中，这种方式(由功放硬件和中控系统组成音频播放设备，仪表，或副驾系统，或后排娱乐系统充当视频播放设备，且音频播放设备和视频播放设备通过软总线连接，即将音频播放设备的功放硬件共享给视频播放设备)会因音频链路太长，传输数据延迟抖动，导致音视频卡顿，音视频不同步，严重影响了用户体验。
[0003]如专利文献CN113286184A公开的一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，包括使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。该方法需要对每一包音视频数据添加时间戳信息，将音频携带的时间戳和网络传输延时再传输给视频输出设备做视频同步。该方法是用于视频会议场景，虽可以实现音视频的同步，但在发送数据的时候需要对音视频进行封包处理，在音视频输出端又需要做解包处理，并依赖协议封装，音视频输出设备也需要对应的解析协议，否则输出设备无法识别输出。由于整个环节还需要对数据进行封包和解包，从而增加了数据的处理复杂程度和处理时间，且增加延时时间。另外，该方法未对音视频发送端进行速率控制，故此方法不能用于视频播放场景，若用于视频播放场景，音视频播放源头会存在快进的现象。
[0004]又如专利文献CN113038224A公开的一种音画同步方法及装置，该方法中的音频数据是以报文包进行发送，包括音频帧和对应时间，然后根据网络传输抖动延时来确定需要调整的音频数据总量，根据待调整音频数据总量和预设的调整策略，对接收到的音频数据增加音频采样点再播放或删除音频采样点再播放，从而实现音视频同步。但该方法最大对10s左右时间做预处理，延时巨大，同时对音频数据增加或减少均会产生卡顿风险。另外，本方法仅仅是介绍音视频同步，当通过wifi传输音频数据的时候，并未对发送端做发送速率控制，由于wifi传输是非阻塞的，必然有出现播放界面快进或卡顿的效果；当通过蓝牙方案传输时，蓝牙设备是通过SBC或者AAC等编码器编码，然后通过串口设备发送到蓝牙设备，蓝牙音箱收到数据要做解码再播放，整体通路延时根据不同编码延时不同，蓝牙空中传输延时也不确定，蓝牙传输延时可以超过700ms。
[0005]因此，有必要开发一种新的音视频播放设备分离的控制方法、系统、车辆及存储介
质。

技术实现思路

[0006]本专利技术的目的在于提供一种音视频播放设备分离的控制方法、系统、车辆及存储介质，将本方法运用在音视频播放设备分离的场景下，不仅能确保音视频同步的问题，还能实现音频硬件的共享。
[0007]第一方面，本专利技术所述的音视频播放设备分离的控制方法，包括以下步骤：
[0008]所述视频播放设备将音视频数据分离为音频数据和视频数据，对音频数据和视频数据分别进行解码，记录音频解码时间戳和视频解码时间戳，并将解码后的音频数据发送至音频播放设备；
[0009]所述音频播放设备将接收到的音频数据存到缓存队列中，根据缓存队列中缓存的音频数据计算出当前缓存音频延迟时间并反馈给视频播放设备，其中，缓存队列配置在音频播放设备中；
[0010]所述视频播放设备根据当前缓存音频延迟时间控制视频播放设备发送音频数据的速率，以使音频播放设备的缓存队列数据在预设范围内；并获取最新解码音频数据的音频解码时间戳，根据最新解码音频数据的音频解码时间戳和当前缓存音频延迟时间推算出音频播放设备即将输出音频数据的时间戳；
[0011]所述视频播放设备根据即将输出音频数据的时间戳与即将播放视频数据的视频解码时间戳进行比较，并在两者的差值小于等于预设差值内时，播放该视频解码时间戳的视频数据。
[0012]可选地，根据当前缓存音频延迟时间控制视频播放设备发送音频数据的速率，具体为：
[0013]若当前缓存音频延迟时间在标准缓存音频延迟时间范围内时，则按照预设标准速率发送音频数据；
[0014]若当前缓存音频延迟时间小于标准缓存音频延迟时间范围的下限值时，则控制发送音频数据的速率变快；
[0015]若当前缓存音频延迟时间大于等于标准缓存音频延迟时间范围的上限值时，则控制发送音频数据的速率变慢，从而解决播放器出现快进卡顿问题。
[0016]可选地，根据当前缓存音频延迟时间控制视频播放设备发送音频数据的速率，具体为：
[0017]根据当前缓存音频延迟时间查预设的缓存音频延迟时间与速率控制Delay的对应关系表，得到当前缓存音频延迟时间对应的速率控制Delay；
[0018]根据速率控制Delay信息控制视频播放设备发送音频数据的速率；
[0019]其中，所述速率控制Delay表示本次发送数据与上一次发送数据的时间间隔；
[0020]所述缓存音频延迟时间与速率控制Delay的对应关系表通过标定得到，具体为将缓存音频延迟时间从小到大依次划分为k个时间段，分别为[a1,a2)、[a2,a3)、
……
、[ak,ak+1)，其中，时间段[a1,a2)的速率控制Delay为b1、时间段[a2,a3)的速率控制Delay为b2、
……
、时间段[ak,ak+1)的速率控制Delay为bk，其中b1＜b2＜
……
＜bk。
[0021]可选地，根据缓存队列中缓存的音频数据计算出当前缓存音频延迟时间，具体为：
[0022]音频播放设备将接收的音频数据存到缓存队列中，并记录当前缓存数据的最新索引；
[0023]当缓存数据达到预设值时，从缓存队列中依次取出音频数据，并记录当前播放音频数据的最新索引；
[0024]根据当前缓存数据的最新索引、当前播放音频数据的最新索引和每一组缓冲器的大小计算出当前缓存音频延迟时间。
[0025]可选地，根据当前缓存数据的最新索引、当前播放音频数据的最新索引和每一组缓冲器的大小计算出当前缓存音频延迟时间，具体为：
[0026]当前缓存音频延迟时间＝(当前缓存数据的最新索引
‑
当前播放数据的最新索引)*每一组缓冲器的大小*1000/采样率。
[0027]可选地，根据最新解码音频数据的音频解码时间戳和当前缓存音频延迟时间推算出音频播放设备即将输出音本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频播放设备分离的控制方法，其特征在于：包括以下步骤：视频播放设备将音视频数据分离为音频数据和视频数据，对音频数据和视频数据分别进行解码，记录音频解码时间戳和视频解码时间戳，并将解码后的音频数据发送至音频播放设备；音频播放设备将接收到的音频数据存到缓存队列中，根据缓存队列中缓存的音频数据计算出当前缓存音频延迟时间并反馈给视频播放设备，其中，缓存队列配置在音频播放设备中；视频播放设备根据当前缓存音频延迟时间控制视频播放设备发送音频数据的速率，以使音频播放设备的缓存队列数据在预设范围内；并获取最新解码音频数据的音频解码时间戳，根据最新解码音频数据的音频解码时间戳和当前缓存音频延迟时间推算出音频播放设备即将输出音频数据的时间戳；视频播放设备根据即将输出音频数据的时间戳与即将播放视频数据的视频解码时间戳进行比较，并在两者的差值小于等于预设差值内时，播放该视频解码时间戳的视频数据。2.根据权利要求1所述的音视频播放设备分离的控制方法，其特征在于：根据当前缓存音频延迟时间控制视频播放设备发送音频数据的速率，具体为：若当前缓存音频延迟时间在标准缓存音频延迟时间范围内时，则按照预设标准速率发送音频数据；若当前缓存音频延迟时间小于标准缓存音频延迟时间范围的下限值时，则控制发送音频数据的速率变快；若当前缓存音频延迟时间大于等于标准缓存音频延迟时间范围的上限值时，则控制发送音频数据的速率变慢。3.根据权利要求2所述的音视频播放设备分离的控制方法，其特征在于：根据当前缓存音频延迟时间控制视频播放设备发送音频数据的速率，具体为：根据当前缓存音频延迟时间查预设的缓存音频延迟时间与速率控制Delay的对应关系表，得到当前缓存音频延迟时间对应的速率控制Delay；根据速率控制Delay信息控制视频播放设备发送音频数据的速率；其中，所述速率控制Delay表示本次发送数据与上一次发送数据的时间间隔；所述缓存音频延迟时间与速率控制Delay的对应关系表通过标定得到，具体为将缓存音频延迟时间从小到大依次划分为k个时间段，分别为[a1,a2)、[a2,a3)、
……
、[ak,ak+1)，其中，时间段[a1,a2)的速率控制Delay为b1、时间段[a2,a3)的速率控制Delay为b2、
……
、时间段[ak,ak+1) 的速率控制Delay为bk，其中b1＜b2 ＜
……
＜bk。4.根据权利要求1所述的音视频播放设备分离的控制方法，其特征在于：根据缓存队列中缓存的音频数据计算出当前缓存音频延迟时间，具体为：音频播放设备将接收的音频数据存到缓存队列中，并记录当前缓存数据的最新索引；当缓存数据达到预设值时，从缓存队列中依次取出音频数据，并记录当前播放音频数据的最新索引；根据当前缓存数据的最新索引、当前播放音频数据的最新索引和每一组缓冲器的大小计算出当前缓存音频延迟时间。5.根据权利要求4所述的音视频播放设备分离的控制方法，其特征在于：根据当前缓存
数据的最新索引、当前播放音频数据的最新索引和每一组缓冲器的大小计算出当前缓存音频延迟时间，具体为：当前缓存音频延迟时间= （当前缓存数据的最新索引
‑
当前播放数据的最新索引）*每一组缓冲器的大小*1000/采样率。6.根据权利要求1所述的音视频播放设备分离的控制方法，其特征在于：根据最新解码音频数据的音频解码时间戳和当前缓存音频延迟时间推算出音频播放设备即将输出音频数据的时间戳，具体为：即将输出音频数据的时间戳=最新解码音频数据的音频解码时间戳
‑
当前缓存音频延迟时间。7.根据权利要求1所述的音视频播放设备分离的控制方法，其特征在于：所述音频播放设备和视频播放设备均配置有设备自发现服务，在音频播放设备和视频播放设备启动时，音频播放设备和视频播放设备的设备自发现服务均发起广播请求；当音频播放设备的设备自发现服务收到广播请求后，根据广播...

【专利技术属性】
技术研发人员：曾永刚，汪洪波，刁楷，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：