视频语音增强的方法及装置、电子设备和存储介质制造方法及图纸

本申请公开了视频语音增强的方法及装置、电子设备和存储介质，涉及图像处理技术领域，主要包括：获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域，获取所述待增强视频中的人脸区域，根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频，将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，以得到目标视频。与相关技术相比，本申请在对待增强视频中的音频进行增强处理时，将音频及对应的人脸区域及注意力区域进行了融合处理，使得音频与人脸区域及注意力区域保持同步增强，不仅增强视频中的声音，而且还对待增强视频中的显示画面进行了增强，从整体上提升了视频效果。上提升了视频效果。上提升了视频效果。

【技术实现步骤摘要】
视频语音增强的方法及装置、电子设备和存储介质


[0001]本申请涉及数据处理
，尤其涉及一种视频语音增强的方法及装置、电子设备和存储介质。

技术介绍

[0002]人们越来越关注使用神经网络进行听觉和视觉信号的多模态融合，以解决各种与语音相关的问题。这些包括视听语音识别，从无声视频(例如唇读)中预测语音或文本，以及从视觉和语音信号中进行语言的无监督学习。这些方法利用同时记录的视觉和听觉信号之间的自然同步。
[0003]目前，常见的视听方法分析方法为基于卷积神经网络(Convolution Neural Network,CNN)的多任务模型，该模型输出噪声语音频谱图以及输入嘴巴区域的重建，以完成视频画面中的音频分离，由此可见，相关技术中的视听方法也只用于语音分离，并不涉及针对视频数据中其他内容的处理过程。

技术实现思路

[0004]本申请提供了一种视频语音增强的方法、装置、电子设备和存储介质。其主要目的在于解决相关技术中的视听处理方法只用于语音分离的问题。
[0005]根据本申请的第一方面，提供了一种视频语音增强的方法，其中，包括：
[0006]获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域；
[0007]获取所述待增强视频中的人脸区域；
[0008]根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频；
[0009]将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，得到目标视频。<br/>[0010]可选地，所述根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频包括：
[0011]对所述待增强视频中的音频进行解码；
[0012]根据所述人脸区域及所述注意力区域对所述解码后的音频进行对齐，得到第一音频；
[0013]对所述第一音频进行背景噪声消除处理，得到第二音频；
[0014]对所述第二音频进行声轨增强处理，得到增强后的音频。
[0015]可选地，所述将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，得到目标视频包括：
[0016]基于所述第三音频，确定所述待增强视频中的原始音频；
[0017]将所述语义分割后的图像主体与所述注意力区域进行融合处理，得到所述待增强视频的融合区域；
[0018]对除所述融合区域外的其他区域进行模糊处理，得到所述待增强视频的模糊区域，其中，所述模糊区域的大小根据画面深度值进行缩放得到；
[0019]将所述待增强视频的第三音频，分别与所述融合区域及模糊区域进行编码融合处理，得到所述目标视频。
[0020]可选地，所述获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域包括：
[0021]将所述待增强视频输入多任务场景解析模型，以获取所述增强视频的单幅图片每个像素的画面深度信息、所述增强视频的单幅图片的图像主体，以及所述待增强视频的单幅图片的注意力区域。
[0022]可选地，在获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域之前，所述方法还包括：
[0023]构建视频语音增强模型，所述视频语音增强模型包含场景解析模块、人脸检测模块、音频增强模块以及融合模块。
[0024]可选地，所述搭建视频语音增强模型包括：
[0025]配置所述场景解析模块使用多任务场景解析模型，用于实现对视频的场景解析，多任务包括语义分割任务、深度估计任务，以及注意力推断任务；
[0026]配置所述人脸检测模块使用目标检测模型，用于实现对视频中的人脸区域检测；
[0027]配置所述音频增强模块使用训练好的音频增强模型，用于将所述多任务场景解析模型中注意力推断任务的解析结果、所述目标检测模型的人脸检测结果、视频中的音频，作为所述音频增强模块输入，实现音频的增强；
[0028]配置所述融合模块使用训练好的融合模型，用于将所述多任务场景解析模型中语义分割任务、深度估计任务的解析结果、以及所述音频增强模块的增强结果，所述融合模型的输入，实现增强后的音频与视频的融合。
[0029]可选地，对所述音频增强模型进行训练包括：
[0030]提取样本视频中的初始单声轨音频，所述样本视频中还包含标记后的注意力区域，及自定义的注意力区域；
[0031]对所述样本视频中的训练人脸框进行增强处理，得到增强处理后的训练人脸框；
[0032]将所述初始单声轨音频、所述标记后的注意力区域，自定义的注意力区域，及增强处理后的训练人脸框输入所述音频增强模型进行训练，以得到训练好的音频增强模型。
[0033]可选地，对所述场景解析模型进行训练包括：
[0034]将样本视频传输至主干网络，以获取所述样本视频中单幅图片的特征向量；
[0035]根据所述特征向量分别进行语义分割训练、深度估计训练，以及注意力推断训练；
[0036]根据分别对语义分割训练、深度估计训练，以及注意力推断训练的训练结果，得到训练好的所述多任务场景解析模型。
[0037]可选地，对所述融合模型进行训练包括：
[0038]提取样本视频中标识的图像主体及注意力区域；
[0039]根据样本视频中的画面深度信息、图像主体及注意力区域进行画面融合训练；
[0040]根据所述融合训练的结果与样本视频中的音频进行视频融合训练，得到训练好的融合模型。
[0041]可选地，所述方法还包括：
[0042]根据所述目标检测模型的训练结果，通过剪枝处理生成基于目标检测模型的小模型。
[0043]根据本申请的第二方面，提供了一种视频语音增强的装置，包括：
[0044]第一获取单元，用于获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域；
[0045]第二获取单元，用于获取所述待增强视频中的人脸区域；
[0046]第一增强处理单元，用于根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频；
[0047]第二增强处理单元，用于将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，得到目标视频。
[0048]可选地，所述第一增强处理单元包括：
[0049]解码模块，用于对所述待增强视频中的音频进行解码；
[0050]对齐模块，用于根据所述人脸区域及所述注意力区域对所述解码后的音频进行对齐，得到第一音频；
[0051]噪声消除模块，用于对所述第一音频进行背景噪声消除处理，得到第二音频；
[0052]增强处理模块，用于对所述第二音频进行声轨增强处理，得到增强后的音频。
[0053]可选地，所述第二增强单元包括：
[0054]替换模块，用于使用增强后的音频替换所述待增强视频中的原音频；
[0055]融合处理模块，用于将所述语义分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频语音增强的方法，其特征在于，包括：获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域；获取所述待增强视频中的人脸区域；根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频；将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，以得到目标视频。2.根据权利要求1所述的方法，其特征在于，所述根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频包括：对所述待增强视频中的音频进行解码；根据所述人脸区域及所述注意力区域对所述解码后的音频进行对齐，得到第一音频；对所述第一音频进行背景噪声消除处理，得到第二音频；对所述第二音频进行声轨增强处理，得到第三音频。3.根据权利要求2所述的方法，其特征在于，所述将所述画面深度信息、语义分割后的图像主体及增强后的音频进行融合，得到目标视频包括：基于所述第三音频，确定所述待增强视频中的原始音频；将所述语义分割后的图像主体与所述注意力区域进行融合处理，得到所述待增强视频的融合区域；对除所述融合区域外的其他区域进行模糊处理，得到所述待增强视频的模糊区域，其中，所述模糊区域的大小根据画面深度值进行缩放得到；将所述待增强视频的第三音频，分别与所述融合区域及模糊区域进行编码融合处理，得到所述目标视频。4.根据权利要求1所述的方法，其特征在于，所述获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域包括：将所述待增强视频输入多任务场景解析模型，以获取所述增强视频的单幅图片每个像素的画面深度信息、所述待增强视频的单幅图片的图像主体，以及所述待增强视频的单幅图片的注意力区域。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，在获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域之前，所述方法还包括：构建视频语音增强模型，所述视频语音增强模型包含场景解析模块、人脸检测模块、音频增强模块以及融合模块。6.根据权利要求5所述的方法，其特征在于，所述搭建视频语音增强模型包括：配置所述场景解析模块使用多任务场景解析模型，用于实现对视频的场景解析，多任务包括语义分割任务、深度估计任务，以及注意力推断任务；配置所述人脸检测模块使用目标检测模型，用于实现对视频中的人脸区域检测；配置所述音频增强模块使用音频增强模型，用于将所述多任务场景解析模型中注意力推断任务的解析结果、所述目标检测模型的人脸检测结果、所述待增强视频中的音频，作为所述音频增强模块的输入，以实现音频的增强；配置所述融合模块使用融合模型，用于将所述多任务场景解析模型中语义分割任务、
深度估计任务的解析结果、以及所述音频增强模块的增强结果，所述融合模型的输入，以实现增强后的音频与视频的融合。7.根据权利要求6所述的方法，其特征在于，对所述音频增强模型进行训练包括：提取样本视频中的初始单声轨音频，所述样本视频中还包含带标识的注意力区域，及自定义的注意力区域；对所述样本视频中的初始人脸框进行增强处理，得到目标人脸框；基于所述初始单声轨音频、所述带标识的注意力区域，自定义的注意力区域，及目标人脸框，对所述音频增强模型进行训练，以得到训练好的音频增强模型。8.根据权利要求6所述的方法，其特征在于，对所述场景解析模型进行训练包括：将样本视频传输至主干网络，以获取所述样本视频中单幅图片的特征向量；根据所述特征向量分别进行语义分割训练、深度估计训练，以及注意力推断训练，以得到训练好的所述多任务场景解析模型。9.根据权利要求6所述的方法，其特征在于，对所述融合模型进行训练包括：提取样本视频中标识的图像主体及注意力区域；根据样本视频中的画面深度信息、图像主体及注意力区域进行画面融合训练；根据所述融合训练的结果与所述样本视频中的音频进行视频融合训练，以得到训练好的融合模型。10.根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述目标检测模型的训练结果进行剪枝处理，得到所述目标检测模型。11.一种视频语音增强的装置，其特征在于，包括：第一获取单元，用于获取待增强视频中的画面深度信息、语义分割后的图像主体及注意力区域；第二获取单元，用于获取所述待增强视频中的人脸区域；第一增强处理单元，用于根据所述待增强视频中的音频、所述人脸区域及所述注意力区域进行音频增强处理，得到增强后的音频；第二增强处理单元，用于将所述画面深度信息、语义分割后的图像主体及第三音频进行融合，得到目标视频。12.根据权利要求11所述的装置，其特征在于，所述第一增强处理单元包括：解码模块，用于对所述待增强视频中...

【专利技术属性】
技术研发人员：张恒，
申请(专利权)人：上海玄戒技术有限公司，
类型：发明
国别省市：