一种音频处理方法、穿戴式设备技术

本申请提供一种音频处理方法、穿戴式设备，涉及音频处理领域。音频处理方法应用于穿戴式设备，音频处理方法包括：获取音频数据和图像数据；基于所述图像数据确定声源方向；根据所述声源方向分别对所述音频数据进行波束成形处理。通过图像数据确定声源方向，减少在多声源或噪音环境下确定声源方向的运算量和提高确定声源方向的准确率，进而提高对音频数据进行波束成形处理的效率与准确性。据进行波束成形处理的效率与准确性。据进行波束成形处理的效率与准确性。

【技术实现步骤摘要】
一种音频处理方法、穿戴式设备


[0001]本申请涉及音频处理领域，具体而言，涉及一种音频处理方法、穿戴式设备。

技术介绍

[0002]多麦克风阵列波束成形技术会先确定声源方向，目前，通常是对多麦克风阵列中各麦克风采集的音频数据进行处理，从中确定目标声源方向，然后再对麦克风采集的音频数据进行处理，对目标声源方向外的声音进行降噪，或对目标声源方向上的声音进行放大等，以使用户能够准确地收听目标声源方向的声音。例如，助听器可以基于多麦克风阵列波束成形技术过滤音频数据中的噪音，使助听器能够更为清晰地播放特定方向上的声音。
[0003]然而，当环境中存在噪声或存在多个声源，从多个麦克风分别采集的音频数据中识别目标声源方向时，因不同声音的干扰，会使得识别目标声源方向的运算量较大，且对目标声源方向的识别准确率会降低，从而导致设备的功耗增加，识别目标声源方向的延迟增加等问题。

技术实现思路

[0004]有鉴于此，本申请旨在提供一种音频处理方法、穿戴式设备，以减少识别声源方向的运算量，以及提高对声源方向的识别准确率。
[0005]第一方面，本申请实施例提供一种音频处理方法，应用于穿戴式设备，所述音频处理方法包括：获取音频数据和图像数据；基于所述图像数据确定声源方向；根据所述声源方向分别对所述音频数据进行波束成形处理。
[0006]本申请实施例中，通过图像数据确定声源方向，相较于从噪音或多个声源的音频数据中确定声源方向，可以减少穿戴式设备从存在噪音或多个声源的音频数据中识别声源方向的情况，以及结合图像数据可以确定的声源方向更为确定。由此，可以降低穿戴式设备确定声源方向的运算量与提高所确定的声源方向的准确性，从而降低穿戴式设备对音频数据进行处理的功耗以及提高穿戴式设备对音频数据进行处理的效率。
[0007]一实施例中，所述基于所述图像数据确定声源方向之前，所述音频处理方法还包括：基于所述图像数据构建地图；基于所述地图构建确定所述穿戴式设备的位姿；对应的，所述基于所述图像数据确定声源方向，包括：识别所述图像数据中的声源目标；根据所述声源目标、所述位姿和所述地图，确定所述声源方向。
[0008]本申请实施例中，利用图像数据构建的地图，再根据地图可以确定穿戴式设备的位姿，相较于直接利用声源目标与穿戴式设备之间的位置关系确定声源方向，使用位姿和地图可以使得确定的声源方向更为准确，进而使得穿戴式设备能够对音频数据进行更为准确地处理。
[0009]一实施例中，所述识别所述图像数据中的声源目标之后，所述方法还包括：识别所述图像数据中所述声源目标的类型；若确定所述声源目标的类型为人物，识别所述人物的口部特征；若所述口部特征表征所述人物未发声，将所述人物从所述声源目标中剔除。
[0010]对于人物，其发出声音时，通常会有口部特征的变化，本申请实施例中，利用人物的口部特征判断声源目标，可以提高判断声源目标的准确性，将未发声的人物从声源目标中剔除，可以使得未发生的人物不作为声源目标来确定声源方向，从而提高确定声源方向的准确性。
[0011]一实施例中，所述基于所述图像数据构建地图之后，所述方法还包括：获取所述穿戴式设备的惯性测量数据；基于所述惯性测量数据和所述地图确定所述穿戴式设备的位姿。
[0012]本申请实施例中，利用惯性测量数据辅助确定穿戴式设备的位姿，可以有效提高位姿的准确性。同时，在移动、旋转等场景下，使用惯性测量数据可以有助于实现穿戴式的快速定位与位姿确定，减少声源方向确定及对音频数据进行处理的延迟。
[0013]一实施例中，所述穿戴式设备包括麦克风阵列，所述麦克风阵列包括多个麦克风，所述音频数据包括不同所述麦克风分别采集的子音频数据，所述根据所述声源方向对所述音频数据进行波束成形处理，包括：基于所述声源方向、不同所述麦克风之间的预设位置关系，确定各所述麦克风各自对应的波束成形的时延参数；基于所述各自对应的时延参数和不同所述子音频数据进行波束成形处理。
[0014]本申请实施例中，预设不同麦克风之间的位置关系，可以在确定声源方向之后，提高确定波束成型时延参数的效率，减少波束成型耗费的时间，从而降低对音频数据进行处理的延时。
[0015]第二方面，本申请实施例提供一种穿戴式设备，包括：图像采集件，用于采集图像数据；麦克风阵列，包括多个麦克风，不同所述麦克风分别布设在所述穿戴式设备上的不同位置，所述麦克风阵列用于采集音频数据；处理器，分别与所述图像采集件和所述麦克风阵列连接，所述处理器用于执行如第一方面任一项所述的音频处理方法。
[0016]一实施例中，所述穿戴式设备包括眼镜部件，所述图像采集件设置在所述眼镜部件内，所述眼镜部件与所述处理器连接。
[0017]一实施例中，所述穿戴式设备还包括助听模块和扬声器，所述助听模块包括波束成形处理单元和滤波器组件，所述波束成型处理单元与所述处理器连接；所述波束成形处理单元和所述滤波器组件连接，所述滤波器组件与所述扬声器连接，所述波束成形处理单元用于对麦克风阵列采集的音频数据做波束成形处理，所述滤波器组件用于对波束成形处理后的所述音频数据进行滤波，所述扬声器用于对滤波后的所述音频数据进行播放。
[0018]本申请实施例中，在穿戴式设备上设置助听模块和扬声器，以使穿戴式设备可以实现助听器的功能，扩大穿戴式设备的适用范围。
[0019]一实施例中，所述穿戴式设备还包括耳机组件，所述麦克风阵列、所述助听模块和所述扬声器设置于所述耳机组件内。
[0020]本申请实施例中，可以将麦克风阵列、助听模块和扬声器设置于耳机组件内，以使穿戴式设备可以通过耳机组件实现助听器的功能。
[0021]一实施例中，所述穿戴式设备还包括：惯性测量组件，所述惯性测量组件与所述处理器连接，所述惯性测量组件用于采集所述穿戴式设备的惯性测量数据。
[0022]第三方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如第一方
面所述音频处理方法。
附图说明
[0023]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0024]图1为本申请一实施例提供的穿戴式设备的结构框图；
[0025]图2为本申请一实施例提供的音频处理方法的流程图；
[0026]图3为本申请实施例提供的一种声源目标识别示意图。
[0027]图标：穿戴式设备100；图像采集件110；麦克风阵列120；处理器130。
具体实施方式
[0028]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频处理方法，其特征在于，应用于穿戴式设备，所述音频处理方法包括：获取音频数据和图像数据；基于所述图像数据确定声源方向；根据所述声源方向分别对所述音频数据进行波束成形处理。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像数据确定声源方向之前，所述音频处理方法还包括：基于所述图像数据构建地图；基于所述地图构建确定所述穿戴式设备的位姿；对应的，所述基于所述图像数据确定声源方向，包括：识别所述图像数据中的声源目标；根据所述声源目标、所述位姿和所述地图，确定所述声源方向。3.根据权利要求2所述的方法，其特征在于，所述识别所述图像数据中的声源目标之后，所述方法还包括：识别所述图像数据中所述声源目标的类型；若确定所述声源目标的类型为人物，识别所述人物的口部特征；若所述口部特征表征所述人物未发声，将所述人物从所述声源目标中剔除。4.根据权利要求2所述的方法，其特征在于，所述基于所述图像数据构建地图之后，所述方法还包括：获取所述穿戴式设备的惯性测量数据；基于所述惯性测量数据和所述地图确定所述穿戴式设备的位姿。5.根据权利要求1所述的方法，其特征在于，所述穿戴式设备包括麦克风阵列，所述麦克风阵列包括多个麦克风，所述音频数据包括不同所述麦克风分别采集的子音频数据，所述根据所述声源方向对所述音频数据进行波束成形处理，包括：基于所述声源方向、不同所述麦克风之间的预设位置关系，确定各所述麦克风各自对应的波束成形的时延参数；基于所述各自对应的时延参数和不同所述子音频数据进行波束成形处理。6.一种穿戴式设备，其特征...

【专利技术属性】
技术研发人员：童伟峰，张亮，
申请(专利权)人：恒玄科技北京有限公司，
类型：发明
国别省市：