传感器数据预测制造技术

公开了一种实现传感器数据预测算法的系统、方法和计算机程序产品。示例方法包括接收表示头戴式收听设备的运动的运动数据；将该运动数据变换到四元数域；通过一个或多个处理器预测该头戴式收听设备的未来运动，该预测包括从变换后的运动数据创建角加速度数据并对该角加速度数据应用一个或多个平滑滤波器，该预测的未来运动包括围绕该四元数域中相应轴的旋转角度；并且将该头戴式收听设备的该预测的未来运动提供给处理器，以调整收听设备呈现的声场，使得该声场跟随头戴式收听设备的预测的运动。运动。运动。

【技术实现步骤摘要】
【国外来华专利技术】传感器数据预测
[0001]相关申请的交叉引用
[0002]本申请要求2021年3月19日提交的国际PCT申请号PCT/CN2021/081747和2021年4月21日提交的美国临时申请号63/177,441的优先权，每个申请都通过引用全文并入本文。


[0003]本公开涉及一种音频处理方法。

技术介绍

[0004]当使用无线耳机技术时，声音通常，例如使用蓝牙技术，从包括处理器的设备如智能手机或计算机流式传输。现代无线耳机包括不同类型的例如可用于监控用户的头部运动的传感器。为了使从设备流出的声音适应头部的位置和角度，耳机中的传感器将数据发送到设备，该设备用于调整发送到耳机的声音。

技术实现思路

[0005]本公开基于这样一种理解，即在耳机和设备之间发送如声音数据或传感器数据的信息需要时间，这种理解将传输延迟引入了基于头部的位置和角度的声音的所述适应。因此，希望提供一种方法来补偿来自耳机或类似头戴式收听设备的传感器数据的传输延迟。
[0006]根据本公开的一个方面，提供了一种音频处理方法，该方法包括基于运动数据的历史来预测用户头部的未来运动。通过向处理器提供这样的预测，由收听设备呈现的声场被调整以补偿未来运动，从而改善用户的收听体验。
[0007]该预测包括对运动数据的历史应用一个或多个滤波器。这可以降低传感器信号噪声并使预测更准确。
[0008]表示用户头部运动的运动数据在四元数域中处理。与更传统的传感器输出如欧拉角或笛卡尔坐标相比，该域提供了额外的自由度。通过能够在单个数字系统中表示如加速度和速度，运动数据的处理(包括预测)可以变得更加高效和准确。此外，不使用欧拉角可以防止万向节死锁(Gimbal lock)。众所周知，万向节死锁是指当由于沿不同欧拉轴的两个万向节(旋转轴)对齐成平行的而失去自由度，从而将系统“锁定”到退化的二维空间中。
[0009]本说明书公开了一种传感器数据预测算法，以减少蓝牙延迟的影响并改善耳机收听体验。该传感器数据预测算法是基于历史信息来估计未来运动数据，以减少潜在的传输延迟，这样它就不同于传感器数据融合。该算法不用于预测用户的运动模式，例如走路、跑步和坐着等。它在四元数域中作用，以便通过角速度和加速度预测围绕相应轴的旋转角度。预测周期以传感器数据周期的十倍以上为目标。这意味着对于安装在蓝牙耳塞上的传感器数据速率约为100赫兹的典型惯性测量单元(IMU，inertial measurement unit)，预测周期目标约为100毫秒。借助该算法，使处理器能够缓解数据传输延迟问题并改善用户听觉体验。
[0010]头部3D旋转通常是非固定的，这意味着描述头部方向分布的统计函数的特性可能
会随着时间的推移而变化。然而，在当前场景中，与IMU传感器数据更新速率相比，头部移动相对较慢(用于头部跟踪的典型传感器数据速率约为100赫兹，角速度小于0.5度/毫秒)。因此，将其建模为分段线性系统在技术上是有用的。换句话说，头部3D旋转可以在大约100毫秒的预测周期内被建模为线性系统。基于这一假设，根据说明书的预测算法工作良好。
[0011]在传感器融合处理期间，输入可以是加速度计和/或陀螺仪传感器数据。处理数据格式可以被变换为四元数格式(w,x,y,z)，因为在该域中不会像欧拉角域那样存在任何万向节死锁问题。该提出的方法利用3D旋转数据在四元数表示中的特性。从物理角度来看，四元数数据表示3D刚体运动为围绕特定轴的特定角度。如果预测角速度并通过估计的加速度进行修改，则可以通过积分实现预测的3D旋转角度。
附图说明
[0012]作为示例，现在将参考附图来描述本专利技术的实施例，其中：
[0013]图1示出了音频处理方法的实施例；
[0014]图2示出了用于音频处理方法的滤波器的实施例；
[0015]图3示出了用于音频处理方法的滑动窗口角速度平均单元的实施例；以及
[0016]图4是音频处理方法的实施例的流程图。
具体实施方式
[0017]下面公开了一种音频处理方法。该方法通过示例示出了由包含惯性测量单元(IMU)的头戴式收听设备(例如耳机(headphone)或耳塞(earbud))实现，然而在本说明书所附权利要求的范围内，其它实施例是可能的。
[0018]作为音频处理方法的使用场景示例，设备(例如智能手机或计算机)向佩戴头戴式收听设备的用户流式传输虚拟声景。虚拟声景旨在提供相对于用户的一致3D声景。流设备从头戴式收听设备的IMU接收运动数据，以确定用户头部相对于虚拟3D声景的方位(orientation)，并相应地调整流。
[0019]将运动数据从头戴式收听设备发送到流设备并将虚拟声景从流设备流式传输到头戴式收听设备需要时间，这会将传输延迟引入虚拟声景对用户头部的方位的适应。为此，所公开的音频处理方法能够预测用户头部的运动以例如预测未来角旋转，从而补偿延迟。
[0020]图1示出了预测算法的主要布局，并因此表示音频处理方法的实施例。在该图中，原始运动数据在沿图顶部的过程中被滤波，并在沿图底部的过程中被处理以预测用户头部的未来运动。在该图中，六自由度(6
‑
DoF)IMU传感器(包括加速器和陀螺仪)将创建原始数据作为算法的输入。换言之，头戴式收听设备的一个或多个传感器(例如加速器或陀螺仪)输出表示用户头部运动的运动数据。该运动数据例如可以是6
‑
DoF(来自加速器的Ax，Ay，Az和来自陀螺仪的Gx，Gy，Gz)中的加速器原始数据和/或陀螺仪原始数据。
[0021]该运动数据由一个或多个处理器接收，这些处理器可以包括在收听设备或如智能手机或计算机等的另一设备中。下采样后，原始数据将被馈入互补滤波器，以在四元数域中融合。换句话说，滤波器可用于将6
‑
DoF原始运动数据转换为四元数域(w,x,y,z)。所融合的数据将成为预测四元数的基础。换句话说，该转换后的原始运动数据Q被用于创建所预测的未来头部位置，并验证和/或纠正陀螺仪漂移，该陀螺仪漂移可能会影响沿图底部的过程中
对未来头部运动的预测。
[0022]在沿图底部的过程中，陀螺仪原始数据被用于通过计算头部的角速度来预测未来头部运动。该预测周期以传感器数据周期的十倍以上为目标。对于典型的头戴式收听设备中包括的典型的IMU，传感器数据速率约为100Hz。目标预测周期约为100毫秒。
[0023]头部3D旋转通常是非固定的，这意味着统计函数的特性可能会随时间而变化。然而，在当前场景中，与IMU传感器数据更新速率相比，头部旋转移动相对较慢(头部的典型的角速度小于0.5度/毫秒，这比100Hz传感器数据速率慢)。因此，头部3D旋转可以在大约100毫秒的预测周期内建模为线性系统。
[0024]首先，陀螺仪数据应从主体框架转换为全局框架。角速度将在此模块中计算。然后FIFO缓冲区将保存合理长度的历史四元数数据并计算其相应的角速度，进一步基于速度通过微分本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种音频处理方法，包括：接收表示头戴式收听设备的运动的运动数据；将所述运动数据变换到四元数域；通过一个或多个处理器预测所述头戴式收听设备的未来运动，所述预测包括从所变换后的运动数据创建角加速度数据并对所述角加速度数据应用一个或多个平滑滤波器，所预测的未来运动包括围绕所述四元数域中相应轴的旋转角度；以及将所述头戴式收听设备的所预测的未来运动提供给处理器，以调整由所述收听设备呈现的声场，使得所述声场跟随所述头戴式收听设备的预测的运动。2.如权利要求1所述的方法，其中，所述预测包括对所述角加速度数据应用递归线性平滑牛顿滤波器。3.如权利要求1所述的方法，其中，所述预测包括从所变换后的运动数据创建角速度数据。4.如权利要求3所述的方法，其中，创建角速度数据包括使用先前创建的角速度数据和角速度数据对应的变换后的运动数据。5.如权利要求3所述的方法，其中，创建角加速度数据包括在所创建的角速度数据上使用数值微分。6.如权利要求3所述的方法，其中，所述预测包括从所创建的角速度的历史中确定所述角速度的滑动窗口平均。7.如权利要求6所述的方法，其中...

【专利技术属性】
技术研发人员：黄琦，闫宝利，刘志芳，雒利滨，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：