视频处理方法、装置及计算机可读存储介质制造方法及图纸

本申请实施例提供一种视频处理方法、装置及计算机可读存储介质，其中，方法包括：对待处理视频进行图像识别，得到所述待处理视频中的目标对象的图像识别结果；对所述待处理视频进行音频信息提取，得到待处理音频；根据所述图像识别结果，对所述待处理音频进行特征信息提取，得到音频特征；通过所述音频特征，对所述待处理音频进行降噪处理，得到降噪后的音频；将所述降噪后的音频融合至所述待处理视频中，得到处理后的视频。到处理后的视频。到处理后的视频。

【技术实现步骤摘要】
视频处理方法、装置及计算机可读存储介质


[0001]本申请实施例涉及音视频处理
，涉及但不限于一种视频处理方法、装置及计算机可读存储介质。

技术介绍

[0002]在网络全球化的今天，网络会议在人们的工作生活学习中，扮演着越来越重要角色，尤其是在特殊时期，部分工作、学习和生活都以线上的形式展开，如何有效去除会议时的背景噪声是保证会议质量、加强有效沟通的重要方面。
[0003]目前，相关技术通过硬件降噪和软件降噪两种方式来对网络会议中的音频进行降噪，但是相关技术都只从声音的角度去对音频进行降噪，当发声对象所处的环境发生变化时，降噪效果就会下降甚至失效。因此，提供一种能够适应环境变化的降噪方法是当前急需解决的问题。

技术实现思路

[0004]基于相关技术中的问题，本申请实施例提供一种视频处理方法、装置及计算机可读存储介质。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种视频处理方法，包括：
[0007]对待处理视频进行图像识别，得到所述待处理视频中的目标对象的图像识别结果；
[0008]对所述待处理视频进行音频信息提取，得到待处理音频；
[0009]根据所述图像识别结果，对所述待处理音频进行特征信息提取，得到音频特征；
[0010]通过所述音频特征，对所述待处理音频进行降噪处理，得到降噪后的音频；
[0011]将所述降噪后的音频融合至所述待处理视频中，得到处理后的视频。
[0012]本申请实施例提供一种视频处理装置，包括：
[0013]识别模块，用于对待处理视频进行图像识别，得到所述待处理视频中的目标对象的图像识别结果；
[0014]音频信息提取模块，用于对所述待处理视频进行音频信息提取，得到待处理音频；
[0015]特征信息提取模块，用于根据所述图像识别结果，对所述待处理音频进行特征信息提取，得到音频特征；
[0016]降噪处理模块，用于通过所述音频特征，对所述待处理音频进行降噪处理，得到降噪后的音频；
[0017]融合模块，用于将所述降噪后的音频融合至所述待处理视频中，得到处理后的视频。
[0018]本申请实施例提供一种视频处理设备，包括：
[0019]存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令
时，实现上述的视频处理方法。
[0020]本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现上述的视频处理方法。
[0021]本申请实施例提供的视频处理方法、装置及计算机可读存储介质，通过对待处理视频进行图像识别和音频信息提取，分别得到目标对象的图像识别结果和待处理音频，根据目标对象的图像识别结果得到待处理视频的音频特征，根据音频特征对目标对象对应的待处理音频进行降噪，将降噪后的音频融合至待处理视频中，以实现对视频进行处理。如此，本申请实施例提供的视频处理方法根据目标对象对应的视频图像和音频特征来对待处理音频进行降噪，使得本申请实施例能够在不同的环境下，通过将目标对象的图像和音频相结合，精准的对待处理音频进行降噪，提高了降噪效果。
附图说明
[0022]图1是本申请实施例提供的视频处理方法的应用场景示意图；
[0023]图2是本申请实施例提供的视频处理方法的流程示意图；
[0024]图3是本申请实施例提供的视频处理方法的流程示意图；
[0025]图4是本申请实施例提供的视频处理方法的流程示意图；
[0026]图5是本申请实施例提供的视频处理方法的流程示意图；
[0027]图6是本申请实施例提供的视频处理方法的流程示意图；
[0028]图7是本申请实施例提供的视频处理方法的流程示意图；
[0029]图8是本申请实施例提供的视频处理方法的流程示意图；
[0030]图9是本申请实施例提供的视频处理装置的组成结构示意图；
[0031]图10是本申请实施例提供的视频处理设备的组成结构示意图。
具体实施方式
[0032]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0033]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的
的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0034]相关技术中，主要通过收集特定空间方向的音频信息(硬件降噪)和已经存在的噪声样本音频信息(软件降噪)两种方式来去除会议时的背景噪声，其中，硬件降噪主要是使用外置声卡或电容麦克风阵列等设备，通过采集特定方向上和特定距离上的声音，滤除其他方向和距离上的噪声，从而达到降噪的目的；而软件降噪主要是事先采集周围噪声样本，通过软件分析获取样本噪声的频率、振幅或大小等特征信息，在实际会议开始时，通过软件滤波或主动噪声抑制等手段，滤除或抵消背景噪声，仅保留有效语音，从而达到降噪目的。
[0035]但相关技术中，无论是硬件降噪还是软件降噪都存在着各自的缺点，不能有效地
应用在很多场景下。例如，在硬件降噪方案里，无论是高性能外置声卡还是电容麦克风阵列，成本都比较昂贵且便携不方便，不适合家庭和交通工具中使用；对于处于和会议参与者同一方向同一距离上的噪声源，硬件降噪无法有效区分；如果会议参与者离设备较远，硬件捕捉噪音的能力也会降低；同时，相关硬件设备需要事先安装和调试，对于普通使用者来说门槛较高。
[0036]而在软件降噪方案里，降噪的依据是事先录制的噪声样本，因此软件降噪仅能针对和噪声样本特征值近似的噪声进行滤除和抑制，要求背景噪声持续恒定，如果背景噪声特征值发生变化，效果就会显著下降。对于突发性的噪声，比如开关门的声音、旁人的说话的声音以及室外汽车的鸣笛声等短促噪声，也显得无能为力。
[0037]基于相关技术都只从声音本身的角度去考虑建立降噪模型，其模型一旦确定，不能自适应现场情况，当外部条件发生变化不再符合模型设定以后，降噪效果就会下降甚至失效的问题，本申请实施例提供一种视频处理方法，通过对待处理视频进行图像识别和音频信息提取，分别得到目标对象的图像识别结果和待处理音频，根据目标对象的图像识别结果得到待处理视频的音频特征，根据音频特征对目标对象对应的待处理音频进行降噪，将降噪后的音频融合至待处理视频中，以实现对视频进行处理。如此，本申请实施例提供的视频处理方法根据目标对象对应的图像和音频特征来对待处理音频进行降噪，使得本申请实施例能够在不同环境下将目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：对待处理视频进行图像识别，得到所述待处理视频中的目标对象的图像识别结果；对所述待处理视频进行音频信息提取，得到待处理音频；根据所述图像识别结果，对所述待处理音频进行特征信息提取，得到音频特征；通过所述音频特征，对所述待处理音频进行降噪处理，得到降噪后的音频；将所述降噪后的音频融合至所述待处理视频中，得到处理后的视频。2.根据权利要求1所述的方法，其特征在于，所述对待处理视频进行图像识别，得到所述待处理视频中的目标对象的图像识别结果，包括：对所述待处理视频的每一视频帧进行图像识别，确定每一所述视频帧中的所述目标对象的对象特征信息；根据所述对象特征信息，确定所述目标对象对应的所述待处理音频的音频处理信息；将所述音频处理信息确定为所述目标对象的图像识别结果。3.根据权利要求2所述的方法，其特征在于，所述目标对象为目标人物，所述对象特征信息为所述目标人物的面部变化信息；所述根据所述对象特征信息，确定所述目标对象对应的所述待处理音频的音频处理信息，包括：根据所述面部变化信息，确定所述目标对象的发言开始时间、发言结束时间和面部特征；将所述发言开始时间、发言结束时间和面部特征确定为所述目标对象的音频处理信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述图像识别结果，对所述待处理音频进行特征信息提取，得到音频特征，包括：根据所述目标对象的所述发言开始时间和所述发言结束时间，确定所述待处理音频中所述目标对象对应的音频开始时间和音频结束时间；将所述待处理音频中位于所述音频开始时间和所述音频结束时间之间的音频片段，确定为目标音频；对所述目标音频进行特征信息提取，得到所述目标音频的所述音频特征。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取所述待处理音频中的异常音频和所述异常音频对应的异常音频时间点；获取所述目标人物在所述异常音频时间点的异常点面部特征；当所述异常点面部特征与预设的面部信息库中的任一面部信息匹配时，确定所述异常音频为有效音频；其中，所述面部信息库包括所述目标人物在不同发声状态下的面部信息；当所述异常点面部特征与所...

【专利技术属性】
技术研发人员：陈川涛，刘洋，崔晓宇，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：