音视频同步的方法技术

本发明专利技术涉及音视频同步技术领域，尤其涉及音视频同步的方法

【技术实现步骤摘要】
音视频同步的方法、装置、电子设备及存储介质


[0001]本专利技术涉及音视频同步
，尤其涉及音视频同步的方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着安防事业的蓬勃发展，监控行业已经遍布教育
、
公安以及银行等领域并发挥着重大的作用，与此同时，音视频压缩技术也日益成熟，高性能的音视频压缩算法使网络监控的出现成为可能，由于网络监控视频具有组网灵活
、
维护方便以及使用便捷的优势，正引领着未来监控市场的发展趋势，在网络监控系统中，音视频同步是一个关键的问题
。
[0003]现有的网络监控系统中，受网络延时，拥塞等影响在客户端接收的音视频信息往往会出现纯音不同步现象，这将大大降低用户的体验度，当前，音视频同步算法多样
、
复杂且效率低，很难应用于资源有限的网络监控系统中，目前市场上已有的一些音视频同步系统，但他们普遍存在多路音频同步效果不好
、
抖动以及时序问题较多的缺点，难以满足高品质音视频同步的需求
。

技术实现思路

[0004]本专利技术的目的是为了解决
技术介绍
中的问题，而提出的音视频同步的方法
、
装置
、
电子设备及存储介质
。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]音视频同步的方法
、
装置
、
电子设备及存储介质，包括，媒体捕获模块
、
音视频编码模块
、
数据传输模块
、
数据接收模块
、
同步播放模块以及共享内存模块；媒体捕获模块：通过系统连接的麦克风与摄像头设备分别获取音视频数据；音视频编码模块：将获取到的原始音视频数据进行压缩和编码；数据传输模块：采集音视频压缩包在传输时的性能信息，性能信息包括传输过程中的异常系数，对异常系数进行计算；数据接收模块：设置二级缓存，消除音视频数据因延时导致的抖动现象；同步播放模块：监测到音视频数据在同步播放时产生时间差后，进行同步调整，使音视频数据同时播放
。
[0007]共享内存模块：创建一个用于共享的内存区域，将共享内存区域映射到每个参与进程的地址空间中
。
[0008]在上述的音视频同步的方法
、
装置
、
电子设备及存储介质中，所述媒体捕获模块首先确定要使用的音视频捕获设备，包括系统连接的麦克风与摄像头设备，捕获设备配置完成后，生成一个捕获指令，媒体捕获模块接收到捕获指令后，打开所指定的捕获设备，分别获取音视频数据，将获取到的音视频数据进行压缩，将压缩后的音视频数据写入至共享内存中
。
[0009]在上述的音视频同步的方法
、
装置
、
电子设备及存储介质中，所述音视频编码模块
负责将获取到的原始音视频数据进行压缩和编码，具体操作步骤如下：
[0010]S1、
从媒体捕获模块获取原始的音视频数据；
S2、
对音视频数据进行降噪
、
去除冗余信息以及调整分辨率的预处理操作；
S3、
通过视频编码标准，对视频数据进行编码，将获取的原始视频数据分成若干个大小相等的块，对每个块进行色彩空间的转换及预测滤波，对每个块进行的变换，进行量化得到频域系数，具体计算方式如下：，其中，
round
表示四舍五入，
coe
表示变换后的系数，
Qs
表示量化步长，
Sc
表示量化矩阵值，利用当前块周围已编码的块的信息进行预测，得到预测残差，帧内预测的具体计算公式如下：，其中，
u
和
v
表示预测模式，
Y
表示预测值，
P
为参考像素，为权值，预测残差的具体计算方式如下：，其中，
R
表示当前块的像素值，利用之前编码的相邻帧的信息运动估计，得到运动矢量，使用运动矢量对当前块进行运动补偿，运动补偿的具体计算方式如下：，其中，
SAD
表示块差异度函数，
p
表示当前块，
q
表示参考块，将当前帧与其他已编码的帧进行比较，得到预测残差，帧间预测的具体计算公式如下：，其中，
MV
为运动矢量，
interp
表示插值函数，对得到的预测残差进行熵编码，解压器将压缩后的数据进行反量化和反变换，得到重构的频域系数，将重构的频域系数进行逆变换，得到最终的重构图像；
S4、
将音视频数据进行压缩，首先打开音视频设备节点，初始化音视频设备，获取一帧图像，获取图像成功则进行数据压缩，否则重新获取数据，将压缩后的数据打上时间戳，将压缩后的数据写入共享内存中
。
[0011]在上述的音视频同步的方法
、
装置
、
电子设备及存储介质中，所述数据传输模块采集音视频压缩包在传输时的性能信息，性能信息包括传输过程中的异常系数，将传输过程中的异常系数设定为
NM
，具体获取步骤如下：
[0012]S1、
获取音视频在传输过程中的最佳传输时间范围，将最佳传输时间范围标定为，其中与分别代表音视频传输过程中的最大传输时间与最小传输时间；
S2、
获取数据传输模块在不同时间内，不同时刻的实际传输速度，将实际读取速度标记为，
x
表示不同时间内不同时刻的实际传输速度的编号，
x=1、2、3......n
，
n
为正整数；
S3、
将小于最佳传输范围的实际速度标定为，
j
表示小于最佳传输范围的实际传输速度的编号，
j=1、2、3......m
，
m
为正整数；
S4、
计算传输过程中的异常系数，具体计算公式如下：
，
S5、
消除音视频传输过程中产生的异步，当音视频缓存占了的音频数据，视频缓存占了的视频数据，音频压缩产生时延，视频压缩产生时延，具体计算方式如下：，通过缓存减少时间异步
。
[0013]在上述的音视频同步的方法
、
装置
、
电子设备及存储介质中，所述数据接收模块，设置二级缓存，一级缓存用来消除数据流的乱序，二级缓存用来消除音视频的数据因延时产生的抖动现象，二级缓存根据接收到的
RTP 包的数据特点，包含时间戳
、
序列号
、
数据大小信息，
PT 值类型，接收缓存设计成一个链表，它由若干个节点组成，每个节点保存着音视频数据的长度
、
时间戳
、
序列号信息，初始化缓存可以指定其最大长度和当前占用的长度，缓存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
音视频同步的装置，包括：媒体捕获模块：通过系统连接的麦克风与摄像头设备分别获取音视频数据；音视频编码模块：将获取到的原始音视频数据进行压缩和编码，音视频编码模块的具体操作步骤如下：
S1、
从媒体捕获模块获取原始的音视频数据；
S2、
对音视频数据进行降噪
、
去除冗余信息以及调整分辨率的预处理操作；
S3、
通过视频编码标准，对视频数据进行编码，将获取的原始视频数据分成若干个大小相等的块，对每个块进行色彩空间的转换及预测滤波，对每个块进行的变换，进行量化得到频域系数，具体计算方式如下：，其中，
round
表示四舍五入，
coe
表示变换后的系数，
Qs
表示量化步长，
Sc
表示量化矩阵值，利用当前块周围已编码的块的信息进行预测，得到预测残差，帧内预测的具体计算公式如下：，其中，
u
和
v
表示预测模式，
x
表示参考块的像素值的变量，
y
表示当前块中的像素值，
Y
表示预测值，是确定参考像素位置的参数，
P
为参考像素，为权值，权重系数用于修正预测误差，预测残差的具体计算方式如下：，其中，
R
表示当前块的像素值，利用之前编码的相邻帧的信息运动估计，得到运动矢量，使用运动矢量对当前块进行运动补偿，运动补偿的具体计算方式如下：，其中，
SAD
表示块差异度函数，
p
表示当前块，
q
表示参考块，将当前帧与其他已编码的帧进行比较，得到预测残差，帧间预测的具体计算公式如下：，其中，
MV
为运动矢量，
interp
表示插值函数，对得到的预测残差进行熵编码，解压器将压缩后的数据进行反量化和反变换，得到重构的频域系数，将重构的频域系数进行逆变换，得到最终的重构图像；
S4、
将音视频数据进行压缩，首先打开音视频设备节点，初始化音视频设备，获取一帧图像，获取图像成功则进行数据压缩，否则重新获取数据，将压缩后的数据打上时间戳，将压缩后的数据写入共享内存中；数据传输模块：采集音视频压缩包在传输时的性能信息，性能信息包括传输过程中的异常系数，对异常系数进行计算；数据接收模块：设置二级缓存，消除音视频数据因延时导致的抖动现象；同步播放模块：监测到音视频数据在同步播放时产生时间差后，进行同步调整，使音视频数据同时播放
。2.
根据权利要求1所述的音视频同步的装置，其特征在于：所述媒体捕获模块首先确定要使用的音视频捕获设备，捕获设备配置完成后，生成一个捕获指令，媒体捕获模块接收到捕获指令后，打开所指定的捕获设备，分别获取音视频数据
。
3.
根据权利要求1所述的音视频同步的装置，其特征在于：所述数据传输模块采集音视频压缩包在传输时的性能信息，性能信息包括传输过程中的异常系数，将传输过程中的异常系数设定为
NM
，具体获取步骤如下：
S1、
获取音视频在传输过程中的最佳传输时间范围，将最佳传输时间范围标定为，其中与分别代表音视频传输过程中的最大传输时间与最小传输时间；
S2、
获取数据传输模块在不同时间内，不同时刻的实际传输速度，将实际读取速度标记为，
x
表示不同时间内不同时刻的实际传输速度的编号，
x=1、2、3......n
，
n
为正整数；
S3、
将小于最佳传输范围的实际速度标定为，
j
表示小于最佳传输范围的实际传输速度的编号，
j=1、2、3......m
，
m
...

【专利技术属性】
技术研发人员：林斌鑫，吴素玉，黄修涛，
申请(专利权)人：天迈极光福建科技有限公司，
类型：发明
国别省市：