音频处理的方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供了一种音频处理的方法、装置、电子设备及计算机可读存储介质，涉及多媒体技术领域，该方法包括：获取待处理的音频信息以及通过人头麦克风录制的音频信息，然后从待处理的音频信息中确定预设类型的音频信息，并将预设类型的音频信息通过预设插件进行处理，然后将通过人头麦克风录制的音频信息以及处理后的音频信息进行声音混音处理。本申请实施例可以提升声音的定位感以及空间感，进而可以提升用户在观看视频时的听觉体验。

Audio Processing Method, Device, Electronic Equipment and Computer Readable Storage Media

The embodiment of this application provides a method, device, electronic device and computer readable storage medium for audio processing, which relates to the field of multimedia technology. The method includes acquiring audio information to be processed and recording audio information through a human head microphone, then determining the preset type of audio information from the audio information to be processed, and communicating the preset type of audio information. Through the preset plug-in, the audio information recorded by the human head microphone and the processed audio information will be processed for audio mixing. The embodiment of the present application can enhance the sense of location and space of sound, thereby enhancing the user's auditory experience while watching video.

【技术实现步骤摘要】
音频处理的方法、装置、电子设备及计算机可读存储介质
本申请涉及多媒体
，具体而言，本申请涉及一种音频处理的方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着信息技术的发展，视频领域也进一步的发展，例如，手游电脑图像CG、虚拟现实VR游戏CG以及动态漫画等，为了使用户可以更好地感受视频内容，需要对合成在视频内容中的音频信息进行相应的处理，因此如何对合成在视频内容中的音频信息进行处理，以使得用户在观看视频内容时可以有更好的听觉体验，成为一个关键问题。现有技术中，对与视频内容合成的音频信息通过高保真立体声响复制Ambisonics的方式进行处理，但是由于Ambisonics技术本身即为模糊化声源定位的技术手段，并且由于声音远场定位较差的限制因素，声音的定位感以及空间感表现不足，进而导致用户在观看视频时的听觉体验较差。
技术实现思路
本申请提供了一种音频处理的方法、装置、电子设备及计算机可读存储介质，用于解决声音的定位感以及空间感表现不足，以及用户在观看视频时体验较差的问题。所述技术方案如下所示：第一方面，提供了一种音频处理的方法，该方法包括：获取待处理的音频信息以及通过人头麦克风录制的音频信息；从待处理的音频信息中确定预设类型的音频信息，并将预设类型的音频信息通过预设插件进行处理。在一个可能的实现方式中，获取待处理的音频信息以及通过人头麦克风录制的音频信息，之前还包括：在音频信息录制过程中，基于声源与各个麦克风之间的距离确定当前录制使用的麦克风；通过确定出的麦克风进行录制对应的音频信息。在一个可能的实现方式中，基于声源与各个麦克风之间的距离确定当前录制使用的麦克风；通过确定出的麦克风进行录制对应的音频信息，包括：当检测到声源与人头麦克风之间的距离满足第一预设条件时，确定当前录制使用的麦克风为人头麦克风，并通过人头麦克风录制对应的音频信息；当检测到声源与电容麦克风之间的距离满足第二预设条件时，确定当前录制使用的麦克风为电容麦克风，并通过电容麦克风录制对应的音频信息。在一个可能的实现方式中，将通过人头麦克风录制的音频信息以及处理后的音频信息进行声音混音处理，包括：将通过人头麦克风录制的音频信息以及处理后的音频信息通过线性叠加的方式进行声音混音处理。在一个可能的实现方式中，将通过人头麦克风录制的音频信息以及处理后的音频信息通过线性叠加的方式进行声音混音处理，包括：将通过人头麦克风录制的音频信息以及处理后的音频信息进行线性叠加；将线性叠加后的混音信号按照音频强度大小划分为至少两个混音信号强度区间；采用对应的收缩比例分别对各个混音信号强度区间进行音频强度收缩；将经过音频强度收缩的至少两个混音信号强度区间进行叠加；其中，混音信号区间所采用的收缩比例与混音信号强度区间对应的音频强度呈反比例关系。在一个可能的实现方式中，所述将所述通过人头麦克风录制的音频信息以及处理后的音频信息进行声音混音处理，之后还包括：将混音处理后的音频信息与待合成的视频信息进行合成。在一个可能的实现方式中，将混音处理后的音频信息与待合成的视频信息进行合成，包括：将混音处理后的音频信息以及待合成的视频信息分别进行编码，得到编码处理后的音频信息以及编码处理后的视频信息；将编码处理后的音频信息以及编码处理后的视频信息进行合成。在一个可能的实现方式中，将混音处理后的音频信息以及待合成的视频信息分别进行编码，得到编码处理后的音频信息以及编码处理后的视频信息，之后还包括：确定编码后的视频信息对应的视频帧率；基于编码后视频信息对应的视频帧率对编码后音频信息以及编码后视频信息进行交织，得到编码后交织队列；将编码处理后的音频信息以及编码处理后的视频信息进行合成，包括：将编码后交织队列进行合成。在一个可能的实现方式中，该方法还包括：预设插件为头相关变换函数HRTF插件。第二方面，提供了一种音频处理的装置，该装置包括：获取模块，用于获取待处理的音频信息以及通过人头麦克风录制的音频信息；第一确定模块，用于从获取模块获取到的待处理的音频信息中确定预设类型的音频信息；插件处理模块，用于将第一确定模块确定的预设类型的音频信息通过预设插件进行处理；声音混音处理模块，用于将通过人头麦克风录制的音频信息以及插件处理模块处理后的音频信息进行声音混音处理。在一种可能的实现方式中，待处理的音频信息中包括以下至少一项：环境音信息；音效信息；通过电容麦克风录制的音频信息；背景音乐信息。在一种可能的实现方式中，装置还包括：第二确定模块、录制模块；第二确定模块，用于在音频信息录制过程中，基于声源与各个麦克风之间的距离确定当前录制使用的麦克风；录制模块，用于通过第二确定模块确定出的麦克风进行录制对应的音频信息。在一种可能的实现方式中，第二确定模块，具体用于当检测到声源与人头麦克风之间的距离满足第一预设条件时，确定当前录制使用的麦克风为人头麦克风；录制模块，具体用于通过第二确定模块确定出的人头麦克风录制对应的音频信息；第二确定模块，具体用于当检测到声源与电容麦克风之间的距离满足第二预设条件时，确定当前录制使用的麦克风为电容麦克风；录制模块，具体用于通过第二确定模块确定出的电容麦克风录制对应的音频信息。在一种可能的实现方式中，声音混音处理模块，具体用于将通过人头麦克风录制的音频信息以及处理后的音频信息通过线性叠加的方式进行声音混音处理。在一种可能的实现方式中，声音混音处理模块包括：叠加单元、划分单元、音频强度收缩单元；叠加单元，用于将通过人头麦克风录制的音频信息以及处理后的音频信息进行线性叠加；划分单元，用于将叠加单元线性叠加后的混音信号按照音频强度大小划分为至少两个混音信号强度区间；音频强度收缩单元，用于采用对应的收缩比例分别对划分单元划分出的各个混音信号强度区间进行音频强度收缩；叠加单元，还用于将经过音频强度收缩单元音频强度收缩的至少两个混音信号强度区间进行叠加；其中，混音信号区间所采用的收缩比例与混音信号强度区间对应的音频强度呈反比例关系。在一个可能的实现方式中，该装置还包括：合成模块；合成模块，用于将声音混音处理模块混音处理后的音频信息与待合成的视频信息进行合成。在一种可能的实现方式中，合成模块包括：编码单元、合成单元；编码单元，用于将混音处理后的音频信息以及待合成的视频信息分别进行编码，得到编码处理后的音频信息以及编码处理后的视频信息；合成单元，用于将编码单元编码处理后的音频信息以及编码处理后的视频信息进行合成。在一种可能的实现方式中，装置还包括：第三确定模块、交织模块；第三确定模块，用于确定编码后的视频信息对应的视频帧率；交织模块，用于基于第三确定模块确定出的编码后视频信息对应的视频帧率对编码后音频信息以及编码后视频信息进行交织，得到编码后交织队列；合成模块，具体用于将交织模块编码后交织队列进行合成。在一个可能的实现方式中，该装置还包括：预设插件为头相关变换函数HRTF插件。第三方面，提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面所示的音频处理的方法。第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理本文档来自技高网...

【技术保护点】
1.一种音频处理的方法，其特征在于，包括：获取待处理的音频信息以及通过人头麦克风录制的音频信息；从待处理的音频信息中确定预设类型的音频信息，并将所述预设类型的音频信息通过预设插件进行处理；将所述通过人头麦克风录制的音频信息以及处理后的音频信息进行声音混音处理。

【技术特征摘要】
1.一种音频处理的方法，其特征在于，包括：获取待处理的音频信息以及通过人头麦克风录制的音频信息；从待处理的音频信息中确定预设类型的音频信息，并将所述预设类型的音频信息通过预设插件进行处理；将所述通过人头麦克风录制的音频信息以及处理后的音频信息进行声音混音处理。2.根据权利要求1所述的方法，其特征在于，所述待处理的音频信息中包括以下至少一项：环境音信息；音效信息；通过电容麦克风录制的音频信息；背景音乐信息。3.根据权利要求1或2所述的方法，其特征在于，获取待处理的音频信息以及通过人头麦克风录制的音频信息，之前还包括：在音频信息录制过程中，基于声源与各个麦克风之间的距离确定当前录制使用的麦克风；通过确定出的麦克风进行录制对应的音频信息。4.根据权利要求3所述的方法，其特征在于，所述基于声源与各个麦克风之间的距离确定当前录制使用的麦克风；通过确定出的麦克风进行录制对应的音频信息，包括：当检测到声源与人头麦克风之间的距离满足第一预设条件时，确定当前录制使用的麦克风为所述人头麦克风，并通过所述人头麦克风录制对应的音频信息；当检测到声源与电容麦克风之间的距离满足第二预设条件时，确定当前录制使用的麦克风为所述电容麦克风，并通过所述电容麦克风录制对应的音频信息。5.根据权利要求1所述的方法，其特征在于，所述将所述通过人头麦克风录制的音频信息以及处理后的音频信息进行声音混音处理，包括：将所述通过人头麦克风录制的音频信息以及处理后的音频信息通过线性叠加的方式进行声音混音处理。6.根据权利要求5所述的方法，其特征在于，所述将所述通过人头麦克风录制的音频信息以及处理后的音频信息通过线性叠加的方式进行声音混音处理，包括：将所述通过人头麦克风录制的音频信息以及处理后的音频信息进行线性叠加；将线性叠加后的混音信号按照音频强度大小划分为至少两个混音信号强度区间；采用对应的收缩比例分别对各个混音信号强度区间进行音频强度收缩；将经过音频强度收缩的所述至少两个混音信号强度区间进行叠加；其中，混音信号区间所采用的收缩比例与混音信号强度区间对应的音频强度呈反比例...

【专利技术属性】
技术研发人员：马永振，朱旭光，梅航，叶希喆，
申请(专利权)人：深圳市腾讯信息技术有限公司，
类型：发明
国别省市：广东,44