一种基于光学定位的混合现实音频控制方法及服务设备技术

一种基于光学定位的混合现实音频控制方法及服务设备，该方法包括：获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像；根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置；获得所述物理位置映射至虚拟空间中的虚拟位置；根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；并按照所述各个声道之间的输出时延将利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波后得到的所述每个声道对应的音频信号分别输出至所述音频播放设备，从而可以提高虚拟声源对应的音频信号与用户位置之间的匹配度。

A hybrid realistic audio control method and service equipment based on optical positioning

A mixed reality audio optical positioning control method and device based on the service, the method includes: obtaining the captured multiple high-speed camera calibration object contains multiple images; according to the multiple shots image determines the calibration object in real space in physical location; virtual location of the physical location map to the virtual space; according to any virtual sound source in the virtual space of the known position and the calibration of the virtual position between each channel output calculation MR the first significant wearer worn audio equipment, the time delay of each channel; the corresponding audio signal and audio signal according to the output delay between the various channels will use the digital filter of the respective channel corresponding respectively to the virtual sound source corresponding to the filtered output to the audio respectively. Frequency play device, thus can improve the matching degree between the audio signal and the user position of the virtual sound source.

【技术实现步骤摘要】
一种基于光学定位的混合现实音频控制方法及服务设备
本专利技术涉及音频控制
，具体涉及一种基于光学定位的混合现实音频控制方法及服务设备。
技术介绍
混合现实技术(MixedReality,简称MR)是虚拟现实技术的进一步发展，混合现实技术追求沉浸感，以模糊真实空间与虚拟空间之间的界限，增强用户体验的真实感。目前大部分的混合现实技术都是在视觉上提高沉浸感，但是听觉也是提高沉浸感的一个重要因素。当用户移动时，听到同一个声源发出的声音也应该随之改变，然而目前混合现实技术使用的大部分音频控制方案无法使虚拟声源发出的声音随着用户位置的改变而改变，无法使用户感知到与当前用户位置相对应的声源方位与声源距离。在客观存在的真实声源和虚拟声源同时发声的情况下，上述的音频控制方案会使用户产生强烈的割裂感，影响用户体验。
技术实现思路
本专利技术实施例公开了一种基于光学定位的混合现实音频控制方法及服务设备，能够提高虚拟声源对应的音频信号与用户位置之间的匹配度。本专利技术实施例第一方面公开一种基于光学定位的混合现实音频控制方法，所述方法包括：获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像，所述多张拍摄图像的数量为至少三张，所述标定物用于标定MR头显佩戴者的头部；根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置；将所述物理位置映射至虚拟空间，获得所述标定物在虚拟空间中的虚拟位置；根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波，得到所述各个声道中每个声道对应的音频信号，并按照所述各个声道之间的输出时延将所述每个声道对应的音频信号分别输出至所述音频播放设备。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延，包括：根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，确定所述虚拟声源与所述标定物之间的相对距离；控制所述MR头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；判断所述景象中是否存在定位特征点，如果存在，根据所述定位特征点在真实空间中的已知位置以及所述标定物的所述物理位置，确定所述MR头显佩戴者的视角方向；根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位；根据所述相对距离及所述相对方位，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置，包括：根据所述多张拍摄图像中的每张拍摄图像，计算所述标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；根据所述多个高速摄像机在真实空间中的已知位置、所述标定物与每一个所述高速摄像机之间的相对位置，计算所述标定物在真实空间中的物理位置。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法还包括：如果所述景象中不存在所述定位特征点，获取所述MR头显转动时的角速率；根据所述角速率，确定所述MR头显佩戴者的视角方向，并执行所述根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位的步骤。作为一种可选的实施方式，在本专利技术实施例第一方面中，在所述获得所述标定物在虚拟空间中的虚拟位置之后，所述方法还包括：判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；如果是，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备；如果否，执行所述根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。本专利技术实施例第二方面公开一种服务设备，包括：获取单元，用于获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像，所述多张拍摄图像的数量为至少三张，所述标定物用于标定MR头显佩戴者的头部；位置确定单元，用于根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置；映射单元，用于将所述物理位置映射至虚拟空间，获得所述标定物在虚拟空间中的虚拟位置；处理单元，用于根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；输出单元，用于利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波，得到所述各个声道中每个声道对应的音频信号，并按照所述各个声道之间的输出时延将所述每个声道对应的音频信号分别输出至所述音频播放设备。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述处理单元，包括：距离确定模块，用于根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，确定所述虚拟声源与所述标定物之间的相对距离；控制模块，用于控制所述MR头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；判断模块，用于判断所述景象中是否存在定位特征点；视角确定模块，用于在判断模块判断出所述景象中存在定位特征点时，根据所述定位特征点在真实空间中的已知位置以及所述标定物的所述物理位置，确定所述MR头显佩戴者的视角方向；方位确定模块，用于根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位；处理模块，用于根据所述相对距离及所述相对方位，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述位置确定单元，包括：第一计算模块，用于根据所述多张拍摄图像中的每张拍摄图像，计算所述标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；第二计算模块，用于根据所述多个高速摄像机在真实空间中的已知位置、所述标定物与每一个所述高速摄像机之间的相对位置，计算所述标定物在真实空间中的物理位置。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述处理单元还包括：获取模块，用于在判断模块判断出所述景象中不存在所述定位特征点时，获取所述MR头显转动时的角速率；以及，所述视角确定模块，还用于根据所述角速率，确定所述MR头显佩戴者的视角方向，并触发所述方位确定模块执行所述根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位的步骤。作为一种可选的实施方式，在本专利技术实施例第二方面中，还包括：判断单元，用于判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；所述输出单元，还用于在所述判断单元判断出所述虚拟位置处于指定区域内时，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备；所述处理单元，具体用于在所述判断单元判断出所述虚拟位置不是处于指定区域内时，根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。与现有技术相比，本专利技术实施例具有以下有益效果：服务设备根据多个高速摄像机拍摄到的本文档来自技高网...

【技术保护点】
一种基于光学定位的混合现实音频控制方法，其特征在于，所述方法包括：获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像，所述多张拍摄图像的数量为至少三张，所述标定物用于标定MR头显佩戴者的头部；根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置；将所述物理位置映射至虚拟空间，获得所述标定物在虚拟空间中的虚拟位置；根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波，得到所述各个声道中每个声道对应的音频信号，并按照所述各个声道之间的输出时延将所述每个声道对应的音频信号分别输出至所述音频播放设备。

【技术特征摘要】
1.一种基于光学定位的混合现实音频控制方法，其特征在于，所述方法包括：获取多个高速摄像机拍摄到的包含标定物的多张拍摄图像，所述多张拍摄图像的数量为至少三张，所述标定物用于标定MR头显佩戴者的头部；根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置；将所述物理位置映射至虚拟空间，获得所述标定物在虚拟空间中的虚拟位置；根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延；利用所述各个声道对应的数字滤波器分别对所述虚拟声源对应的音频信号进行滤波，得到所述各个声道中每个声道对应的音频信号，并按照所述各个声道之间的输出时延将所述每个声道对应的音频信号分别输出至所述音频播放设备。2.根据权利要求1所述的基于光学定位的混合现实音频控制方法，其特征在于，所述根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延，包括：根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，确定所述虚拟声源与所述标定物之间的相对距离；控制所述MR头显利用模拟人眼工作的双目摄像头采集视野范围内的景象；判断所述景象中是否存在定位特征点，如果存在，根据所述定位特征点在真实空间中的已知位置以及所述标定物的所述物理位置，确定所述MR头显佩戴者的视角方向；根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位；根据所述相对距离及所述相对方位，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。3.根据权利要求1所述的基于光学定位的混合现实音频控制方法，其特征在于，所述根据所述多张拍摄图像确定所述标定物在真实空间中的物理位置，包括：根据所述多张拍摄图像中的每张拍摄图像，计算所述标定物与拍摄该拍摄图像的高速摄像机之间的相对位置；根据所述多个高速摄像机在真实空间中的已知位置、所述标定物与每一个所述高速摄像机之间的相对位置，计算所述标定物在真实空间中的物理位置。4.根据权利要求2所述的基于光学定位的混合现实音频控制方法，其特征在于，所述方法还包括：如果所述景象中不存在所述定位特征点，获取所述MR头显转动时的角速率；根据所述角速率，确定所述MR头显佩戴者的视角方向，并执行所述根据所述视角方向以及所述虚拟声源在虚拟空间中的已知位置，确定所述标定物与所述虚拟声源之间的相对方位的步骤。5.根据权利要求1～4任一项所述的基于光学定位的混合现实音频控制方法，其特征在于，在所述获得所述标定物在虚拟空间中的虚拟位置之后，所述方法还包括：判断所述虚拟位置是否处于指定区域内，所述指定区域以所述虚拟声源为中心，以预设的最小距离为半径；如果是，直接将所述虚拟声源对应的音频信号输出至所述音频播放设备；如果否，执行所述根据任一虚拟声源在虚拟空间中的已知位置以及所述标定物的所述虚拟位置，计算MR头显佩戴者佩戴的音频播放设备的各个声道之间的输出时延。6.一种服务设备，其特征在于，包括：获取单元，用于...

【专利技术属性】
技术研发人员：沈时进，盛中华，
申请(专利权)人：广州励丰文化科技股份有限公司，
类型：发明
国别省市：广东,44