基于AI视觉感知的音视频同步降噪方法及系统技术方案

技术编号:44560349 阅读:46 留言:0更新日期:2025-03-11 14:20
本发明专利技术涉及视频数据处理技术领域,一种基于AI视觉感知的音视频同步降噪方法及系统,包括:对音频数据进行预处理,得到预处理音频数据;对所述预处理音频数据进行时频分析,得到语音特征集合及背景音特征集合;对视频数据进行降噪,得到初级降噪视频数据,对初级降噪视频数据进行视觉感知,得到视频特征集合;根据所述视频特征集合,对所述语音特征集合进行基于口型特征的时间轴修正操作,得到更新时间轴;根据更新时间轴及预构建的背景音适配度序列,对进度修正音频数据进行主动降噪操作,得到噪声修正音频数据;对噪声修正音频数据与初级降噪视频数据进行合并操作得到同步降噪音视频。本发明专利技术可提高视频中图像及声音的清晰程度。

【技术实现步骤摘要】

本专利技术涉及视频数据处理,尤其涉及一种基于ai视觉感知的音视频同步降噪方法及系统。


技术介绍

1、随着录音和摄像设备的技术进步,用户对音视频质量的要求越来越高。现代设备在捕捉细节方面表现出色,但也更容易捕捉到周围的噪声,如环境噪声及风声等。

2、此外,在数据的传输方面,音视频会经过传输错误、数据压缩及数据损坏等情况,造成图像失真、噪音较多及视音不同步等音视频质量下降问题,降低用户的观看体验。


技术实现思路

1、本专利技术提供一种基于ai视觉感知的音视频同步降噪方法,其主要目的在于提高视频中图像及声音的清晰程度。

2、为实现上述目的,本专利技术提供的一种基于ai视觉感知的音视频同步降噪方法,包括:

3、获取音视频,对所述音视频进行视音分离操作,得到音频数据及视频数据;

4、利用预构建的低通滤波器对所述音频数据进行滤波处理,得到滤波音频数据,并根据预设的采样率,对所述滤波音频数据进行降采样操作,得到预处理音频数据;

5、利用预构建的小波变换算法对所述预本文档来自技高网...

【技术保护点】

1.一种基于AI视觉感知的音视频同步降噪方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于AI视觉感知的音视频同步降噪方法,其特征在于,所述利用预构建的小波变换算法对所述预处理音频数据进行时频分析,得到音频信号特征集合,包括:

3.如权利要求2所述的基于AI视觉感知的音视频同步降噪方法,其特征在于,所述对所述音频信号特征集合进行语音音频及背景音音频分类的音频分离操作,得到语音特征集合及背景音特征集合,包括:

4.如权利要求3所述的基于AI视觉感知的音视频同步降噪方法,其特征在于,所述利用预训练的音视觉感知降噪模型之前,所述方法还包括:

...

【技术特征摘要】

1.一种基于ai视觉感知的音视频同步降噪方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于ai视觉感知的音视频同步降噪方法,其特征在于,所述利用预构建的小波变换算法对所述预处理音频数据进行时频分析,得到音频信号特征集合,包括:

3.如权利要求2所述的基于ai视觉感知的音视频同步降噪方法,其特征在于,所述对所述音频信号特征集合进行语音音频及背景音音频分类的音频分离操作,得到语音特征集合及背景音特征集合,包括:

4.如权利要求3所述的基于ai视觉感知的音视频同步降噪方法,其特征在于,所述利用预训练的音视觉感知降噪模型之前,所述方法还包括:

5.如权利要求4所述的基于ai视觉感知的音视频同步降噪方法,其特征在于,所述对所述视频数据进行基于预构建的优化最小均方差算法的降噪操作,得到初级降噪视频数据,包括...

【专利技术属性】
技术研发人员:陈涛葛红杨锦辉杨普查
申请(专利权)人:深圳市瑞达翔科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1