基于双目摄像头的混合现实音频控制方法及服务设备技术

一种基于双目摄像头的混合现实音频控制方法及服务设备，该方法包括：根据MR头显的双目摄像头采集的景象，确定所述MR头显在真实空间中的物理位置；将所述物理位置映射至虚拟空间，获得对应的虚拟位置；获取所述MR头显转动时的角速率，根据所述角速率确定所述MR头显的佩戴者的视角方向；根据任一虚拟声源在所述虚拟空间中的已知位置、所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从音频播放设备的不同声道输出时的输出时延以及每个声道的输出声压；按照所述输出时延以及所述输出声压，将所述音频信号分别从所述每个声道输出至所述音频播放设备，可以提高虚拟声源的音频信号与用户位置之间的匹配度。

Hybrid realistic audio control method and service equipment based on binocular camera

A mixed reality audio binocular camera control method and device based on the service, the method comprises: according to the binocular camera capture scene MR head was determined, the head of the MR show the physical location in real space; the physical location is mapped to the virtual space, get the corresponding virtual position; obtaining the MR head rotation angular rate significantly, according to the view direction of the angular rate determined by the head of the MR display of the wearer; according to any virtual sound source in the virtual space in known locations, the virtual position and the view direction, different channel output audio signal and calculates the corresponding virtual sound sources from the audio playback device when the output delay of each channel and output sound pressure; according to the output delay and the output pressure, the audio signal from the output of each channel From the audio playback device, the matching degree between the audio signal of the virtual sound source and the user position can be improved.

【技术实现步骤摘要】
基于双目摄像头的混合现实音频控制方法及服务设备
本专利技术涉及音频控制
，具体涉及一种基于双目摄像头的混合现实音频控制方法及服务设备。
技术介绍
随着混合现实技术(MixedReality,简称MR)的发展，用户对于混合现实沉浸感的要求越来越高，大部分混合现实技术可以在视觉上为用户提供沉浸感，比如说在真实画面中叠加数字画面，或者让用户看到虚拟物体与用户进行互动，从而打破真实空间与虚拟空间之间的界限。但是，听觉的处理也是提高沉浸感的过程中不可或缺的一环，然而，在目前的混合现实情境下，任一虚拟声源发出的声音和用户位置之间没有关联，当用户头部移动的时候，用户头部和虚拟声源之间的相对位置不会发生变化，因此虚拟声源对应的音频信号不会随着用户位置的改变而实时调整。
技术实现思路
本专利技术实施例公开了一种基于双目摄像头的混合现实音频控制方法及服务设备，能够提高虚拟声源的音频信号与用户位置之间的匹配度。本专利技术实施例第一方面公开一种基于双目摄像头的混合现实音频控制方法，所述方法包括：根据MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述MR头显在真实空间中的物理位置；根据真实空间与虚拟空间之间的映射关系，确定所述MR头显的所述物理位置在所述虚拟空间中对应的虚拟位置；获取所述MR头显转动时的角速率，并根据所述角速率确定所述MR头显的佩戴者的视角方向；根据任一虚拟声源在所述虚拟空间中的已知位置、所述MR头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压；按照所述各个声道之间的输出时延以及所述每个声道的输出声压，将所述音频信号分别从所述每个声道输出至所述音频播放设备。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述根据任一虚拟声源在所述虚拟空间中的已知位置、所述MR头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压，包括：根据任一虚拟声源在所述虚拟空间中的已知位置以及所述MR头显的所述虚拟位置，计算出所述虚拟声源与所述MR头显之间的相对距离；根据所述虚拟声源在所述虚拟空间中的已知位置以及所述视角方向，计算出所述虚拟声源与所述MR头显的相对方位；根据所述相对距离及所述相对方位，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述根据MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述MR头显在真实空间中的物理位置，包括：获取MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；识别所述景象的多个定位特征点中每一个所述定位特征点在真实空间中的已知位置，所述多个定位特征点的数量为至少三个；根据每一个所述定位特征点在所述景象中的景深度，确定所述MR头显与每一个所述定位特征点之间的相对位置；根据每一个所述定位特征点在真实空间中的已知位置、所述MR头显与所述多个定位特征点之间的相对位置，确定所述MR头显在真实空间中的物理位置。作为一种可选的实施方式，在本专利技术实施例第一方面中，其特征在于，所述方法还包括：判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；如果是，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法还包括：如果所述虚拟位置不是处于指定区域内，判断所述虚拟声源是否为系统管理员，所述系统管理员用于发布语音提示信息；如果是，判断所述虚拟空间中是否存在与所述系统管理员同时发声的其他虚拟声源；如果存在，提高所述系统管理员对应的音频信号的所述输出声压直至高于所述其他虚拟声源中每个虚拟声源对应的音频信号的所述输出声压，并按照提高后的所述输出声压将所述系统管理员对应的音频信号输出至所述音频播放设备。本专利技术实施例第二方面公开一种服务设备，包括：第一确定单元，用于根据MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述MR头显在真实空间中的物理位置；第二确定单元，用于根据真实空间与虚拟空间之间的映射关系，确定所述MR头显的所述物理位置在所述虚拟空间中对应的虚拟位置；第三确定单元，用于获取所述MR头显转动时的角速率，并根据所述角速率确定所述MR头显的佩戴者的视角方向；处理单元，用于根据任一虚拟声源在所述虚拟空间中的已知位置、所述MR头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压；输出单元，用于按照所述各个声道之间的输出时延以及所述每个声道的输出声压，将所述音频信号分别从所述每个声道输出至所述音频播放设备。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述处理单元，包括：距离计算模块，用于根据任一虚拟声源在所述虚拟空间中的已知位置以及所述MR头显的所述虚拟位置，计算出所述虚拟声源与所述MR头显之间的相对距离；方位计算模块，用于根据所述虚拟声源在所述虚拟空间中的已知位置以及所述视角方向，计算出所述虚拟声源与所述MR头显的相对方位；处理模块，用于根据所述相对距离及所述相对方位，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述第一确定单元，包括：获取模块，用于获取MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；识别模块，用于识别所述景象的多个定位特征点中每一个所述定位特征点在真实空间中的已知位置，所述多个定位特征点的数量为至少三个；第一确定模块，用于根据每一个所述定位特征点在所述景象中的景深度，确定所述MR头显与每一个所述定位特征点之间的相对位置；第二确定模块，用于根据每一个所述定位特征点在真实空间中的已知位置、所述MR头显与所述多个定位特征点之间的相对位置，确定所述MR头显在真实空间中的物理位置。作为一种可选的实施方式，在本专利技术实施例第二方面中，还包括：第一判断单元，用于判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；所述输出单元，还用于在所述第一判断单元判断出所述虚拟位置处于指定区域内时，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备。作为一种可选的实施方式，在本专利技术实施例第二方面中，还包括：第二判断单元，用于在所述第一判断单元判断出所述虚拟位置不是处于指定区域内时，判断所述虚拟声源是否为系统管理员，所述系统管理员用于发布语音提示信息；第三判断单元，用于在第二判断单元判断出所述虚拟声源是系统管理员时，判断所述虚拟空间中是否存在与所述系统管理员同时发声的其他虚拟声源；所述处理单元，还用于在所述第三判断单本文档来自技高网...

【技术保护点】
一种基于双目摄像头的混合现实音频控制方法，其特征在于，所述方法包括：根据MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述MR头显在真实空间中的物理位置；根据真实空间与虚拟空间之间的映射关系，确定所述MR头显的所述物理位置在所述虚拟空间中对应的虚拟位置；获取所述MR头显转动时的角速率，并根据所述角速率确定所述MR头显的佩戴者的视角方向；根据任一虚拟声源在所述虚拟空间中的已知位置、所述MR头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压；按照所述各个声道之间的输出时延以及所述每个声道的输出声压，将所述音频信号分别从所述每个声道输出至所述音频播放设备。

【技术特征摘要】
1.一种基于双目摄像头的混合现实音频控制方法，其特征在于，所述方法包括：根据MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述MR头显在真实空间中的物理位置；根据真实空间与虚拟空间之间的映射关系，确定所述MR头显的所述物理位置在所述虚拟空间中对应的虚拟位置；获取所述MR头显转动时的角速率，并根据所述角速率确定所述MR头显的佩戴者的视角方向；根据任一虚拟声源在所述虚拟空间中的已知位置、所述MR头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压；按照所述各个声道之间的输出时延以及所述每个声道的输出声压，将所述音频信号分别从所述每个声道输出至所述音频播放设备。2.根据权利要求1所述的基于双目摄像头的混合现实音频控制方法，其特征在于，所述根据任一虚拟声源在所述虚拟空间中的已知位置、所述MR头显的所述虚拟位置、以及所述视角方向，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压，包括：根据任一虚拟声源在所述虚拟空间中的已知位置以及所述MR头显的所述虚拟位置，计算出所述虚拟声源与所述MR头显之间的相对距离；根据所述虚拟声源在所述虚拟空间中的已知位置以及所述视角方向，计算出所述虚拟声源与所述MR头显的相对方位；根据所述相对距离及所述相对方位，计算所述虚拟声源对应的音频信号从所述MR头显的佩戴者佩戴的音频播放设备的各个声道输出时，所述各个声道之间的输出时延以及所述各个声道中每个声道的输出声压。3.根据权利要求1所述的基于双目摄像头的混合现实音频控制方法，其特征在于，所述根据MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象，确定所述MR头显在真实空间中的物理位置，包括：获取MR头显模拟人眼工作的双目摄像头采集到的视野范围内的景象；识别所述景象的多个定位特征点中每一个所述定位特征点在真实空间中的已知位置，所述多个定位特征点的数量为至少三个；根据每一个所述定位特征点在所述景象中的景深度，确定所述MR头显与每一个所述定位特征点之间的相对位置；根据每一个所述定位特征点在真实空间中的已知位置、所述MR头显与所述多个定位特征点之间的相对位置，确定所述MR头显在真实空间中的物理位置。4.根据权利要求1～3任一项所述的基于双目摄像头的混合现实音频控制方法，其特征在于，所述方法还包括：判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；如果是，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备。5.根据权利要求4所述的基于双目摄像头的混合现实音频控制方法，其特征在于，所述方法还包括：如果所述虚拟位置不是处于指定区域内，判断所述虚拟声源是否为系统管理员，所述系统管理员用于发布语音提示信息；如果是，判断所述虚拟空间中是否存在与所述系统管理员同时发声的其他虚拟声源；如果存在，提高所述系统管理员对应的音频信号的所述输出声压直至高于所述其他虚拟声源中每个虚拟声源对应的音频信号的所述输出声压，并按照提高后的所述输出声压将所述系统管理员对应的音频信号输出至所述音频播放设备。6....

【专利技术属性】
技术研发人员：沈时进，盛中华，
申请(专利权)人：广州励丰文化科技股份有限公司，
类型：发明
国别省市：广东,44