一种数据的处理方法以及AR设备技术

本申请实施例公开了一种数据的处理方法以及AR设备，用于通过声学方法获取AR设备所处环境的布局结构信息。本申请实施例方法包括：将预存的第一数字信号经数模变换后得到测试模拟信号，并控制AR设备上的扬声器播放该测试模拟信号对应的声波；之后通过AR设备上的麦克风获取声波经传播后的反馈声波对应的反馈模拟信号，并将反馈模拟信号经模数变换得到第二数字信号；最后根据第一数字信号以及第二数字信号确定声波的传播距离，并进一步根据传播距离确定AR设备所处环境的布局结构信息。在本申请实施例中，AR设备仅利用AR设备上的扬声器和麦克风得到布局结构信息，不依赖室内光线的强弱和视觉的大小，使用场景广泛。

【技术实现步骤摘要】
一种数据的处理方法以及AR设备
本申请涉及增强现实(英文缩写：AR，英文全称：AugmentedReality)领域，尤其涉及一种数据的处理方法以及AR设备。
技术介绍
当前关于AR领域的研究非常广泛。AR设备除了要接收现实世界的信息，还需要模拟AR的音视频体验。例如图1的远程会议应用场景，从佩戴AR设备的用户I角度看(用户I位于人物E的正对面，图1中未示出)，只有人物A是真实与会者，其余人物B至H均为远程虚拟与会者。此外，用户I不仅可以通过佩戴的AR设备看到远程虚拟与会者B至H，当B至H中的任意一人发言时，AR设备还可以模拟发言者的声音从对应方位传播过来并经过会议室的桌面、墙面等AR设备所处环境的实体反射后的效果，之后通过逼真的音频渲染技术对现实或虚拟环境的混响效果进行渲染，以使佩戴AR设备的用户I进一步增加真实感。AR设备模拟虚拟场景的声音传播就需要知道AR设备所处环境的布局结构信息，之后才能根据获取到的布局结构信息进行房间建模，得到房间几何结构后才能通过音频渲染技术对虚拟音频进行渲染。目前AR设备获取这些布局结构信息需要与视觉传感器配合，通过使用视觉传感器(例如深度摄像机、多摄像机)对房间进行扫描得到。AR设备通过使用视觉传感器进行扫描会受限于室内光线条件和传感器的视角宽度。例如，在光线较暗的环境下无法获得准确的环境的布局结构信息；且由于视觉传感器的视角有限，导致获取的环境的布局结构信息也不全面。例如，对角落或头顶等视觉死角无法获取足够的视觉数据进行房间建模，从而遗漏天花板，地板、角落等。
技术实现思路
本申请实施例提供了一种数据的处理方法以及AR设备，用于通过声学方法获取AR设备所处环境的布局结构信息。有鉴于此，本申请实施例第一方面提供一种数据的处理方法，该方法应用于AR设备，该AR设备包括扬声器以及麦克风，该方法可以包括：将预存的第一数字信号经数模变换后得到测试模拟信号，该第一数字信号可以是一个声学测试信号，AR设备将预存的第一数字信号经过数模变换后，得到测试模拟信号，该测试模拟信号可以是音频信号，之后AR设备控制扬声器播放该测试模拟信号对应的声波。AR设备通过扬声器播放的声波在AR设备所处的环境内(如家里、会议室等)进行传播，最终达到位于AR设备上的麦克风，并通过该麦克风获取到声波经传播后的反馈声波对应的反馈模拟信号，AR设备通过麦克风获取到反馈模拟信号之后，将该反馈模拟信号进行模数变换，即得到第二数字信号，并进一步根据第一数字信号以及第二数字信号确定扬声器播放的声波的传播距离，最后根据传播距离确定AR设备所处环境的布局结构信息。在本申请实施例中，通过AR设备上的扬声器以及麦克风获取到数字信号，并进一步对获取的数字信号进行相应的运算，通过声学的方法确定AR设备所处环境的布局结构信息，不依赖室内光线的强弱和视觉的大小，使用场景广泛。结合本申请实施例第一方面，在本申请实施例第一方面的第一种实施方式中，根据第一数字信号以及第二数字信号确定该声波的传播距离可以包括：根据第一数字信号以及第二数字信号确定扬声器所播放的声波的传播时长，再根据声音的在空气中的传播公式进行计算得到声波的传播距离。在本申请实施例中，提供了一种获取声波的传播距离的方式，丰富了AR设备获取声波传播距离的方式。结合本申请实施例第一方面的第一种实施方式，在本申请实施例第一方面的第二种实施方式中，根据第一数字信号以及第二数字信号确定扬声器所播放的声波的传播时长可以包括：先对第一数字信号以及第二数字信号进行逆卷积运算，得到AR设备上每一对扬声器和麦克风组合对应的房间冲击响应，该房间冲击响应表示的是AR设备所处环境内混响信息的时域波形，不同环境内、不同扬声器与麦克风的组合的房间冲击响应也不同；之后，对得到的房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应，并对所截取的早期冲击响应进行自相关运算，得到对应的自相关函数；当自相关函数自变量取某值时，该自相关函数的值大于或者等于预设值，那么该自变量取的某值就作为该传播时长。在本申请实施例中，通过对获取的第一数字信号以及第二数字信号进行逆卷积运算、截取处理以及自相关运算之后，得到使得自相关函数的值不小于预设值的自相关函数的自变量，并将该自变量作为AR设备播放的声波的传播时长，使得获取声波的传播时长的方式更加灵活。结合本申请实施例第一方面的第二种实施方式，在本申请实施例第一方面的第三种实施方式中，对早期冲击响应进行自相关运算，得到自相关函数可以包括：对房间冲击响应进行截取得到的早期冲击响应之后，若该早期冲击响应的采样频率小于预设频率时，则对该早期冲击响应进行上采样，从而得到采样频率大于或者等于上述预设频率的采样后的冲击响应；之后，对该采样后的冲击响应进行自相关运算，得到自相关函数。在本申请实施例中，当早期冲击响应的采样频率具有极限值(如预设频率)时，则可以通过对该早期冲击响应进行上采样的方式使得采样频率达到该预设频率，具备灵活性，此外，通过设置预设频率也是为了提高后续计算AR设备所处环境的布局结构信息的精度，在一定频率范围内，采样频率越高，则最后计算得到布局结构信息的精度就越高。结合本申请实施例第一方面的第二种实施方式以及本申请实施例第一方面的第三种实施方式，在本申请实施例第一方面的第四种实施方式中，AR设备所处环境的布局信息可以包括该环境的声音反射面位置信息，并且AR设备上的麦克风数量为n(n≥4)，那么根据模拟传播距离确定AR设备所处环境的布局结构信息可以包括：通过求解预设方程组确定与扬声器的位置坐标(x，y，z)对应的虚拟声源的位置坐标(x′，y′，z′)，该虚拟声源是扬声器以AR设备所处环境的声音反射面为参照的镜像，若AR设备上的扬声器有多个，那么对应的虚拟声源也就有多个，该预设方程组可以包括：其中，i为正整数，1≤i≤n，i为麦克风的序号，Si为序号为i的麦克风与扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量，(xi，yi，zi)为序号为i的麦克风的位置坐标，di(Si)为以Si作为声波的传播时长计算得到的声波的传播距离。由于麦克风和扬声器是设置在AR设备上的，因此AR设备上各个麦克风和扬声器的位置坐标是已知的，据此就可以确定虚拟声源的位置坐标，而由于虚拟声源的位置坐标(x′，y′，z′)为未知，且具有三个未知数，因此要求AR设备上至少需要4个麦克风(即n≥4)来同时获取反馈模拟信号；在确定虚拟声源的位置坐标(x′，y′，z′)之后，再确定(x，y，z)与(x′，y′，z′)连线的中垂面信息为AR设备所处环境的声音反射面位置信息。在本申请实施例中，通过确定虚拟声源的位置坐标(x′，y′，z′)，并进一步确定虚拟声源的位置坐标(x′，y′，z′)与呈镜像对称关系的扬声器(x，y，z)连线的中垂面信息为AR设备所处环境的声音反射面位置信息，增加了获取AR设备所处环境的声音反射面位置信息的方式。结合本申请实施例第一方面的第四种实施方式，在本申请实施例第一方面的第五种实施方式中，该方法还可以包括：确定序号为i的麦克风与扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量Si之后，则以Si为区域中心，确定出一个区域范围[Si-T，Si+T]，并将该区本文档来自技高网...

【技术保护点】
1.一种数据的处理方法，应用于AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：将预存的第一数字信号经数模变换后得到测试模拟信号；控制所述扬声器播放所述测试模拟信号对应的声波；通过所述麦克风获取所述声波经传播后的反馈声波对应的反馈模拟信号；将所述反馈模拟信号经模数变换得到第二数字信号；根据所述第一数字信号以及所述第二数字信号确定所述声波的传播距离；根据所述传播距离确定所述AR设备所处环境的布局结构信息。

【技术特征摘要】
1.一种数据的处理方法，应用于AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：将预存的第一数字信号经数模变换后得到测试模拟信号；控制所述扬声器播放所述测试模拟信号对应的声波；通过所述麦克风获取所述声波经传播后的反馈声波对应的反馈模拟信号；将所述反馈模拟信号经模数变换得到第二数字信号；根据所述第一数字信号以及所述第二数字信号确定所述声波的传播距离；根据所述传播距离确定所述AR设备所处环境的布局结构信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一数字信号以及所述第二数字信号确定所述声波的传播距离包括：根据所述第一数字信号以及所述第二数字信号确定所述声波的传播时长；根据所述传播时长确定所述传播距离。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一数字信号以及所述第二数字信号确定所述声波的传播时长包括：对所述第一数字信号以及所述第二数字信号进行逆卷积运算，得到所述扬声器和所述麦克风对应的房间冲击响应；对所述房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；对所述早期冲击响应进行自相关运算，得到自相关函数；将使得所述自相关函数的值的绝对值大于或者等于预设值的所述自相关函数的自变量作为所述传播时长。4.根据权利要求3所述的方法，其特征在于，所述对所述早期冲击响应进行自相关运算，得到自相关函数包括：对所述早期冲击响应进行上采样，从而得到采样频率大于或者等于预设频率的采样后的冲击响应；对所述采样后的冲击响应进行自相关运算，得到所述自相关函数。5.根据权利要求3至4中任一项所述的方法，其特征在于，所述环境的布局结构信息包括所述环境的声音反射面位置信息，所述麦克风数量为n，所述根据所述传播距离确定所述AR设备所处环境的布局结构信息包括：通过求解预设方程组确定与所述扬声器的位置坐标(x，y，z)对应的虚拟声源的位置坐标(x′，y′，z′)，所述虚拟声源为所述扬声器以所述环境的声音反射面为参照的镜像，所述预设方程组包括：其中，i为正整数，1≤i≤n，i为麦克风的序号，n≥4，Si为序号为i的麦克风与所述扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量，(xi，yi，zi)为序号为i的麦克风的位置坐标，为以Si作为传播时长计算得到的传播距离；确定所述(x，y，z)与所述(x′，y′，z′)连线的中垂面信息为所述AR设备所处环境的声音反射面位置信息。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：对序号为i的麦克风对应的早期冲击响应中区域范围为[Si-T，Si+T]的冲击响应进行频谱分析，以得到所述环境的声音反射面的声学反射参数。7.根据权利要求1至4中任一项所述的方法，其特征在于，所述环境的布局结构信息包括：所述环境内的实体平面和/或实体曲面的位置信息。8.一种数据的处理方法，应用于AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：获取所述AR设备所处环境的布局结构信息，所述布局结构信息由视觉传感器获取到；将预存的第一数字信号经数模变换后得到测试模拟信号；控制所述扬声器播放所述测试模拟信号对应的声波；通过所述麦克风获取所述声波经传播后的反馈声波对应的反馈模拟信号；将所述反馈模拟信号经模数变换得到第二数字信号；根据所述第一数字信号、所述第二数字信号以及所述布局结构信息确定所述环境的布局结构材料的声学反射参数。9.根据权利要求8所述的方法，其特征在于，所述布局结构信息包括：所述环境内的实体平面和/或实体曲面的位置信息。10.根据权利要求8至9中任一项所述的方法，其特征在于，所述根据所述第一数字信号、所述第二数字信号以及所述布局结构信息确定所述环境的布局结构材料的声学反射参数包括：根据所述布局结构信息确定所述声波的传播时长τ；对所述第一数字信号以及所述第二数字信号进行逆卷积运算，得到所述扬声器和所述麦克风对应的房间冲击响应；对所述房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；对所述传播时长τ对应的早期冲击响应中区域范围为[τ-T′，τ+T′]的冲击响应进行频谱分析，以得到所述AR设备所处环境的布局结构材料的声学反射参数。11.一种AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：第一变换单元，用于将预存的第一数字信号经数模变换后得到测试模拟信号；控制单元，用于控制所...

【专利技术属性】
技术研发人员：白鹤群，徐德著，戴恒杰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44