一种多路音视频的录像回放方法、装置、存储介质和电子设备制造方法及图纸

本申请公开了一种多路音视频的录像方法，包括：获取进行多路音视频通信的多个设备的音频流和视频流；将每个设备的音频流进行混音得到混音流，保存混音流，并保留时间戳信息；将多个设备的视频流分别进行保存，并保留各自的时间戳信息。本申请还提供一种多路音视频的回放方法，包括：获取分别保存的进行多路音视频通信的多个设备的视频流及各自的时间戳信息；获取保存的混音流及其时间戳信息；根据每个视频流的时间戳信息和所述混音流的时间戳信息，同步播放所述每个视频流和所述混音流。应用本申请，能够简化录像和回放设备的处理。能够简化录像和回放设备的处理。能够简化录像和回放设备的处理。

【技术实现步骤摘要】
一种多路音视频的录像回放方法、装置、存储介质和电子设备


[0001]本申请涉及视频回放技术，特别涉及一种多路音视频的录像回放方法、装置、存储介质和电子设备。

技术介绍

[0002]现有的双路音视频录像回放，通常采用的方案包括：
[0003]1、将双路音频的录像文件保存在网络录像服务器中，在进行录像回放时，通过多个网络录像服务器传输数据到回放设备进行录像回放。但是这种处理方式下，由于网络传输的影响使得回放的音视频数据不稳定，尤其是各路音频在同步时可能发生跳变，而对于声音的突然变化会很容易被人感知到异常播放，用户体验感差。
[0004]2、将双路独立视频流分别进行视频解码，对所有解码输出的YUV影像按照一定比例进行画面排列合成一路YUV图像，再将合成后的图像转编码压缩成一路视频流，这一处理称为转编码，将转编码后的一路视频流保存，在回放时对保存的一路视频流进行解码播放。这种处理方式下，由于保存的视频流是双路图像合成一路后的结果，因此新生成的视频流无法在还原回原来各路视频画质和细节的效果。

技术实现思路

[0005]本申请提供一种多路音视频的录像回放方法、装置、存储介质和电子设备，能够简化录像和回放设备的处理。
[0006]为实现上述目的，本申请采用如下技术方案：
[0007]一种多路音视频的录像方法，包括：
[0008]获取进行多路音视频通信的多个设备的音频流和视频流；
[0009]将每个设备的音频流进行混音得到混音流，保存所述混音流，并保留时间戳信息；/>[0010]将所述多个设备的视频流分别进行保存，并保留各自的时间戳信息。
[0011]较佳地，当保存所述混音流和所述视频流的设备为所述多个设备中的指定设备时，所述获取进行多路音视频通信的多个设备的音频流和视频流包括：
[0012]所述指定设备接收所述多个设备中除指定设备之外的其他设备发来的相应设备的音视频流，对所述音视频流解包后提取相应设备的视频流和音频流；所述第二设备采集并生成本地视频流和音频流。
[0013]较佳地，所述保存所述混音流包括：将所述混音流编码并打包后进行保存；
[0014]所述将所述多个设备的视频流分别进行保存包括：将所述其他设备的视频流打包后保存，将所述本地视频流编码并打包后进行保存。
[0015]较佳地，将所述混音流和所述每个设备的视频流打包保存到与每个设备对应的录像文件中。
[0016]较佳地，所述多路音视频通信为双路音视频通信，所述多路设备分别为第一设备和第二设备，所述混音流和所述多个设备的视频流均保存在所述第二设备中；
[0017]所述获取进行多路音视频通信的多个设备的音频流和视频流包括：
[0018]所述第二设备接收第一设备发来的第一设备的音视频流，对所述音频流进行解包后提取所述第一设备的音频流和视频流；所述第二设备采集并生成本地音频流和视频流；
[0019]所述将每个设备的音频流进行混音得到混音流包括：
[0020]将所述第一设备的音频流进行解码后与所述本地音频流进行混音处理，得到所述混音流；
[0021]保存所述混音流和多个设备的视频流的方式包括：
[0022]将所述混音流进行编码；
[0023]将编码后的混音流与所述第一设备的视频流打包保存到与第一设备对应的第一录像文件中，将所述本地视频流进行编码后与所述编码后的混音流打包保存到与第二设备对应的第二录像文件中。
[0024]一种多路音视频的回放方法，包括：
[0025]获取分别保存的进行多路音视频通信的多个设备的视频流及各自的时间戳信息；
[0026]获取保存的混音流及其时间戳信息；其中，所述混音流为所述多个设备的音频流进行混音后得到的音频流；
[0027]根据每个视频流的时间戳信息和所述混音流的时间戳信息，同步播放所述每个视频流和所述混音流。
[0028]较佳地，在同步播放所述每个视频流和所述混音流时，以所述混音流的播放进度为基准，所述每个视频流参照所述混音流的播放进度进行同步播放。
[0029]较佳地，任一路视频流参照所述混音流的播放进度进行同步播放的方式包括：
[0030]将V2
‑
A2
‑
(V0
‑
A0)与SyncT进行比较，若V2
‑
A2
‑
(V0
‑
A0)<
‑
SyncT，则确定所述任一路视频流的当前帧相对于上一帧的第一延时时间为V2
‑
V1
‑
λ1；若
‑
SyncT≤V2
‑
A2
‑
(V0
‑
A0)≤SyncT，则确定所述任一路视频流的当前帧相对于上一帧的第一延时时间为V2
‑
V1；若V2
‑
A2
‑
(V0
‑
A0)>SyncT，则确定所述任一路视频流的当前帧相对于上一帧的第一延时时间为V2
‑
V1+λ2；
[0031]将所述第一延时时间减去播放前处理的耗时时间作为延时同步时间，按照所述延时同步时间进行所述任一路视频流当前帧的播放；
[0032]其中，V2和A2分别为所述任一路视频流当前帧和所述混音流当前帧的时间戳，V0和A0分别为所述任一路视频流和所述混音流的起始时间戳，V1为所述任一路视频流上一帧的时间戳，SyncT为预设的音视频同步阈值与V2
‑
V1之间的最大值，λ1和λ2分别为预设的第一步长和第二步长。
[0033]较佳地，在将V2
‑
A2
‑
(V0
‑
A0)与SyncT进行比较之前，该方法进一步包括：
[0034]判断|V2
‑
A2
‑
(V0
‑
A0)|是否大于或等于预设的允许同步阈值，若是，则执行所述将V2
‑
A2
‑
(V0
‑
A0)与SyncT进行比较的操作；
[0035]否则，在V2
‑
A2
‑
(V0
‑
A0)>0时，在设定时间内暂停所述任一路视频流的播放处理，暂停时间到后，重新执行所述判断|V2
‑
A2
‑
(V0
‑
A0)|是否大于或等于预设的允许同步阈值的操作；在V2
‑
A2
‑
(V0
‑
A0)<0时，不做延时处理，直接播放所述任一路视频流的当前帧。
[0036]较佳地，当回放所述混音流和视频流的设备为所述多个设备中的指定设备时，对于所述指定设备的视频流播放，在判断V2
‑
A2
...

【技术保护点】

【技术特征摘要】
1.一种多路音视频的录像方法，其特征在于，包括：获取进行多路音视频通信的多个设备的音频流和视频流；将每个设备的音频流进行混音得到混音流，保存所述混音流，并保留时间戳信息；将所述多个设备的视频流分别进行保存，并保留各自的时间戳信息。2.根据权利要求1所述的录像方法，其特征在于，当保存所述混音流和所述视频流的设备为所述多个设备中的指定设备时，所述获取进行多路音视频通信的多个设备的音频流和视频流包括：所述指定设备接收所述多个设备中除指定设备之外的其他设备发来的相应设备的音视频流，对所述音视频流解包后提取相应设备的视频流和音频流；所述第二设备采集并生成本地视频流和音频流。3.根据权利要求2所述的录像方法，其特征在于，所述保存所述混音流包括：将所述混音流编码并打包后进行保存；所述将所述多个设备的视频流分别进行保存包括：将所述其他设备的视频流打包后保存，将所述本地视频流编码并打包后进行保存。4.根据权利要求1所述的录像方法，其特征在于，将所述混音流和所述每个设备的视频流打包保存到与每个设备对应的录像文件中。5.根据权利要求1所述的录像方法，其特征在于，所述多路音视频通信为双路音视频通信，所述多路设备分别为第一设备和第二设备，所述混音流和所述多个设备的视频流均保存在所述第二设备中；所述获取进行多路音视频通信的多个设备的音频流和视频流包括：所述第二设备接收第一设备发来的第一设备的音视频流，对所述音频流进行解包后提取所述第一设备的音频流和视频流；所述第二设备采集并生成本地音频流和视频流；所述将每个设备的音频流进行混音得到混音流包括：将所述第一设备的音频流进行解码后与所述本地音频流进行混音处理，得到所述混音流；保存所述混音流和多个设备的视频流的方式包括：将所述混音流进行编码；将编码后的混音流与所述第一设备的视频流打包保存到与第一设备对应的第一录像文件中，将所述本地视频流进行编码后与所述编码后的混音流打包保存到与第二设备对应的第二录像文件中。6.一种多路音视频的回放方法，其特征在于，包括：获取分别保存的进行多路音视频通信的多个设备的视频流及各自的时间戳信息；获取保存的混音流及其时间戳信息；其中，所述混音流为所述多个设备的音频流进行混音后得到的音频流；根据每个视频流的时间戳信息和所述混音流的时间戳信息，同步播放所述每个视频流和所述混音流。7.根据权利要求6所述的回放方法，其特征在于，在同步播放所述每个视频流和所述混音流时，以所述混音流的播放进度为基准，所述每个视频流参照所述混音流的播放进度进行同步播放。
8.根据权利要求7所述的回放方法，其特征在于，任一路视频流参照所述混音流的播放进度进行同步播放的方式包括：将V2
‑
A2
‑
(V0
‑
A0)与SyncT进行比较，若V2
‑
A2
‑
(V0
‑
A0)<
‑
SyncT，则确定所述任一路视频流的当前帧相对于上一帧的第一延时时间为V2
‑
V1
‑
λ1；若
‑
SyncT≤V2
‑
A2
‑
(V0
‑
A0)≤SyncT，则确定所述任一路视频流的当前帧相对于上一帧的第一延时时间为V2
‑
V1；若V2
‑
A2
‑
(V0
‑
A0)>SyncT，则确定所述任一路视频流的当前帧相对于上一帧的第一延时时间为V2
‑
V1+λ2；将所述第一延时时间减去播放前处理的耗时时间作为延时同步时间，按照所述延时同步时间进行所述任一路视频流当前帧的播放；其中，V2和A2分别为所述任一路视频流...

【专利技术属性】
技术研发人员：金宏宇，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：