一种关联图像数据和声音数据的处理方法技术

本申请提供一种关联图像数据和声音数据的处理方法，该方法包括：通过摄像机采集目标场景的图像数据，并通过声音传感器采集所述目标场景的初始声音数据，并获取所述摄像机采集所述图像数据时的视场角；根据所述视场角确定所述声音传感器的滤波器系数；基于所述滤波器系数对所述初始声音数据进行滤波，得到与所述视场角匹配的目标声音数据，所述目标声音数据的拾音区域与所述视场角重合；将同一时刻的图像数据和目标声音数据进行关联。通过本申请的技术方案，实现确定与视场角匹配的拾音区域，实现图像数据和声音数据的同步，扩展了监控设备的能力。备的能力。备的能力。

【技术实现步骤摘要】
一种关联图像数据和声音数据的处理方法


[0001]本申请涉及监控
，尤其是一种关联图像数据和声音数据的处理方法。

技术介绍

[0002]在视频监控领域，可以部署带有拾音功能的监控设备，该监控设备能够采集图像数据和声音数据，并将图像数据和声音数据匹配起来。
[0003]比如说，带有拾音功能的监控设备可以包括摄像机、声音传感器(如麦克风阵列(mic)或拾音器等)和处理器等。通过摄像机采集图像数据，并将该图像数据输出给处理器。通过声音传感器采集声音数据，并将该声音数据输出给处理器。处理器基于图像数据的时间戳和声音数据的时间戳将同一时刻的图像数据和声音数据匹配起来，并输出同一时刻的图像数据和声音数据。显然，由于是输出同一时刻的图像数据和声音数据，因此，用户既能看到该时刻的图像数据，也能听到该时刻的声音数据，从而提高用户使用感受。
[0004]但是，在采集图像数据时，存在视场角范围，如120度的视场角范围，表示图像数据是这个视场角范围的图像数据。在采集声音数据时，拾音区域通常覆盖360度，表示声音数据是360度范围的声音数据。综上所述，声音数据的区域与图像数据的范围并不相同，导致图像数据和声音数据无法同步。

技术实现思路

[0005]本申请提供一种关联图像数据和声音数据的处理方法，所述方法包括：
[0006]通过摄像机采集目标场景的图像数据，并通过声音传感器采集所述目标场景的初始声音数据，并获取所述摄像机采集所述图像数据时的视场角；
[0007]根据所述视场角确定所述声音传感器的滤波器系数；
[0008]基于所述滤波器系数对所述初始声音数据进行滤波，得到与所述视场角匹配的目标声音数据，所述目标声音数据的拾音区域与所述视场角重合；
[0009]将同一时刻的图像数据和目标声音数据进行关联。
[0010]示例性的，所述根据所述视场角确定所述声音传感器的滤波器系数，包括：
[0011]确定与所述视场角匹配的目标拾音区域；其中，所述目标拾音区域的中心指向与所述视场角的中心指向一致，所述目标拾音区域覆盖所述视场角的区域；
[0012]基于预先配置的拾音区域与全向波束参数的映射关系，确定与所述目标拾音区域匹配的全向波束参数，根据所述全向波束参数确定指向型波束参数；
[0013]基于所述全向波束参数和所述指向型波束参数确定所述滤波器系数。
[0014]示例性的，所述目标拾音区域为从第一初始角度到第一结束角度之间的角度范围，所述视场角为从第二初始角度到第二结束角度之间的角度范围；所述第一初始角度小于或者等于所述第二初始角度，所述第一结束角度大于或者等于所述第二结束角度。
[0015]示例性的，所述确定与所述视场角匹配的目标拾音区域，包括：
[0016]将所述视场角确定为所述目标拾音区域；或者，
[0017]从预先配置的多个拾音区域中选取与所述视场角匹配的目标拾音区域；其中，所述目标拾音区域大于或者等于所述视场角，且所述目标拾音区域是所述多个拾音区域中与所述视场角最接近的拾音区域。
[0018]示例性的，基于所述全向波束参数和所述指向型波束参数确定所述滤波器系数，包括：若声音传感器的数量为至少两个，获取不同声音传感器之间的连线距离，并基于所述全向波束参数、所述指向型波束参数、所述连线距离，所述目标场景的声音频率和所述目标场景的声音传播速度，确定所述滤波器系数。
[0019]示例性的，通过声音传感器采集所述目标场景的初始声音数据之前，所述方法还包括：获取所述摄像机采集所述图像数据时的方位角；其中，所述方位角是所述摄像机从初始角度转动到目标角度时的转动角度，所述目标角度是所述摄像机采集所述图像数据时的角度，所述方位角由角速度传感器采集；
[0020]基于所述方位角转动所述声音传感器，以使所述声音传感器转动到所述目标角度；其中，所述声音传感器的初始角度与所述摄像机的初始角度相同。
[0021]示例性的，所述声音传感器与所述摄像机部署在同一结构件，在通过转动电机对所述摄像机进行转动时，所述转动电机对所述声音传感器进行同步转动；或者，所述声音传感器与转动电机的转向结构部署在同一结构件，在通过转动电机对所述摄像机进行转动时，所述转动电机对所述声音传感器进行同步转动。
[0022]示例性的，若声音传感器的数量为至少两个，则每个声音传感器对应一个目标声音数据，所述将同一时刻的图像数据和目标声音数据进行关联，包括：
[0023]基于摄像机采集所述图像数据时的方位角确定时延参数，基于所述时延参数对至少一个目标声音数据进行延时，基于延时后的目标声音数据进行增强；
[0024]确定所述图像数据的采集时刻和增强后的目标声音数据的采集时刻，所述增强后的目标声音数据的采集时刻为所述初始声音数据的采集时刻；
[0025]若所述图像数据的采集时刻与所述增强后的目标声音数据的采集时刻相同，则将同一采集时刻的所述图像数据和所述增强后的目标声音数据进行关联。
[0026]示例性的，所述基于所述摄像机采集所述图像数据时的方位角确定时延参数，基于所述时延参数对至少一个目标声音数据进行延时，基于延时后的目标声音数据进行增强，包括：基于所述方位角确定第一声音传感器与第二声音传感器之间的时延参数；其中，将所有声音传感器中的一个声音传感器作为第一声音传感器，将所有声音传感器中除第一声音传感器之外的其它声音传感器作为第二声音传感器；针对每个第二声音传感器，基于所述第二声音传感器对应的时延参数对所述第二声音传感器对应的目标声音数据进行延时；
[0027]基于第一声音传感器对应的目标声音数据和每个第二声音传感器对应的延时后的目标声音数据进行增强，得到增强后的目标声音数据。
[0028]示例性的，基于所述方位角确定第一声音传感器与第二声音传感器之间的时延参数，包括：基于所述方位角，所述第一声音传感器与所述第二声音传感器之间的连线距离，以及所述目标场景的声音传播速度，确定所述时延参数。
[0029]由以上技术方案可见，本申请实施例中，可以根据摄像机的视场角确定声音传感器的滤波器系数，并基于滤波器系数对初始声音数据进行滤波，得到与该视场角匹配的目
标声音数据，且目标声音数据的拾音区域与视场角重合，即目标声音数据的拾音区域与图像数据的视场角匹配，从而实现图像数据和声音数据的同步，可以将目标声音数据之外的声音数据作为噪声滤除，扩展了监控设备的能力。比如说，图像数据的视场角范围是120度，且目标声音数据的拾音区域是120度，且图像数据的视场角范围与目标声音数据的拾音区域重合。
附图说明
[0030]为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
[0031]图1A-图1C是本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关联图像数据和声音数据的处理方法，其特征在于，所述方法包括：通过摄像机采集目标场景的图像数据，并通过声音传感器采集所述目标场景的初始声音数据，并获取所述摄像机采集所述图像数据时的视场角；根据所述视场角确定所述声音传感器的滤波器系数；基于所述滤波器系数对所述初始声音数据进行滤波，得到与所述视场角匹配的目标声音数据，所述目标声音数据的拾音区域与所述视场角重合；将同一时刻的图像数据和目标声音数据进行关联。2.根据权利要求1所述的方法，其特征在于，所述根据所述视场角确定所述声音传感器的滤波器系数，包括：确定与所述视场角匹配的目标拾音区域；其中，所述目标拾音区域的中心指向与所述视场角的中心指向一致，所述目标拾音区域覆盖所述视场角的区域；基于预先配置的拾音区域与全向波束参数的映射关系，确定与所述目标拾音区域匹配的全向波束参数，根据所述全向波束参数确定指向型波束参数；基于所述全向波束参数和所述指向型波束参数确定所述滤波器系数。3.根据权利要求2所述的方法，其特征在于，所述目标拾音区域为从第一初始角度到第一结束角度之间的角度范围，所述视场角为从第二初始角度到第二结束角度之间的角度范围；所述第一初始角度小于或者等于所述第二初始角度，所述第一结束角度大于或者等于所述第二结束角度。4.根据权利要求2所述的方法，其特征在于，所述确定与所述视场角匹配的目标拾音区域，包括：将所述视场角确定为所述目标拾音区域；或者，从预先配置的多个拾音区域中选取与所述视场角匹配的目标拾音区域；其中，所述目标拾音区域大于或者等于所述视场角，且所述目标拾音区域是所述多个拾音区域中与所述视场角最接近的拾音区域。5.根据权利要求2所述的方法，其特征在于，所述基于所述全向波束参数和所述指向型波束参数确定所述滤波器系数，包括：若声音传感器的数量为至少两个，则获取不同声音传感器之间的连线距离，并基于所述全向波束参数、所述指向型波束参数、所述连线距离，所述目标场景的声音频率和所述目标场景的声音传播速度，确定所述滤波器系数。6.根据权利要求2-5任一项所述的方法，其特征在于，所述通过声音传感器采集所述目标场景的初始声音数据之前，所述方法还包括：获取所述摄像机采集所述图像数据时的方位角；其中，所述方位角是所述摄像机从初始角度转动到目标角度时的转动角度，所述目标角...

【专利技术属性】
技术研发人员：蒋昌龙，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：