设备标定方法、声源跟踪方法、设备及存储介质技术

本申请涉及一种设备标定方法、声源跟踪方法、设备及存储介质，属于声源跟踪技术领域，该方法包括：控制图像采集设备扫描当前的声源跟踪环境；识别扫描到的环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域；使用每个音频采集设备的设备图像区域、设备图像区域对应的图像采集姿态、以及图像采集设备内参和外参，确定音频采集设备相对于图像采集设备的相对位置关系；建立每个设备标识与相对位置关系之间的映射关系，以进行声源跟踪；可以解决用户标定相对位置的获取效率较低的问题；可以提高标定效率。可以提高标定效率。可以提高标定效率。

【技术实现步骤摘要】
设备标定方法、声源跟踪方法、设备及存储介质


[0001]本申请涉及一种设备标定方法、声源跟踪方法、设备及存储介质，属于声源跟踪


技术介绍

[0002]目前，声源跟踪系统是指通过图像采集设备实时跟踪当前发声的声源系统。声源跟踪系统广泛应用于远程会议、在线教学等场景，以对当年场景的发言人进行跟踪。
[0003]一种典型的声源跟踪系统包括：云台摄像头和多个麦克风阵列，不同麦克风阵列对应不同的拾音区。用户安装摄像头和麦克风阵列后，手动为云台摄像头配置预设位，预设位与麦克风阵列的拾音区一一对应。之后，在声源跟踪过程中，位于某个麦克风阵列的拾音区中的说话人说话，麦克风阵列发送该拾音区对应的编号给云台摄像头，云台摄像头转向该拾音区对应的预设位，从而实现摄像头跟踪说话人。例如：云台摄像头正前方偏右30度为预设位1，给摄像头发送预设位1的指令，摄像头就会转向正前方偏右30度。
[0004]然而，手动配置预设位与麦克风阵列的拾音区之间的对应关系效率较低，且需要云台摄像头和麦克风阵列之间的相对位置固定，在该相对位置发生变化的情况下需要手动重新进行配置，进一步降低相对位置的获取效率。

技术实现思路

[0005]本申请提供了一种设备标定方法、声源跟踪方法、设备及存储介质，可以解决音频采集设备相对于图像采集设备的相对位置关系由用户手动配置时，相对位置的获取效率较低的问题。本申请提供如下技术方案：
[0006]一方面，提供一种设备标定方法，用于声源跟踪系统，所述声源跟踪系统包括图像采集设备和至少两个音频采集设备；所述图像采集组件的图像采集范围包括所述至少两个音频采集设备所在的安装位置；在进行声源跟踪时，所述音频采集设备用于确定当前发声的目标声源相对于所述音频采集设备的角度数据，并将所述音频采集设备的设备标识和所述角度数据发送至所述图像采集设备，以供所述图像采集设备进行声源跟踪；其中，不同音频采集设备采集不同区域内目标声源的音频数据；所述方法包括：
[0007]在进行声源跟踪之前，控制所述图像采集设备扫描当前的声源跟踪环境，得到环境图像；
[0008]识别所述环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域；
[0009]使用每个音频采集设备的设备图像区域、所述设备图像区域对应的图像采集姿态、以及所述图像采集设备内参和外参，确定所述音频采集设备相对于所述图像采集设备的相对位置关系；
[0010]建立每个设备标识与所述相对位置关系之间的映射关系，以供所述图像采集设备获取到携带有所述设备标识的角度数据后，使用所述映射关系确定所述设备标识映射的相
对位置关系，并使用所述相对位置关系和所述角度数据对所述目标声源进行声源跟踪。
[0011]可选地，所述音频采集设备的设备轮廓与所述声源跟踪环境中其它目标的目标轮廓不同；所述识别所述环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域，包括：
[0012]检测所述环境图像中各个目标的轮廓；
[0013]确定轮廓与所述设备轮廓相匹配的目标的图像区域，得到所述音频采集设备的设备图像区域。
[0014]可选地，所述音频采集设备上设置有标定标识，所述识别所述环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域，包括：
[0015]检测所述环境图像中的标定标识，得到所述标定标识的标识图像区域；
[0016]基于标识图像区域确定所述设备图像区域。
[0017]可选地，所述建立每个设备标识与所述相对位置关系之间的映射关系，包括：
[0018]对于每个设备标识，向各个音频采集设备发送携带有所述设备标识的映射指令，所述映射指令用于触发所述设备标识对应的音频采集设备执行预设映射动作；
[0019]控制所述图像采集设备识别所述预设映射动作；
[0020]在识别到所述预设映射动作的情况下，建立执行所述预设映射动作的音频采集设备的相对位置关系与所述设备标识之间的映射关系。
[0021]可选地，所述建立执行所述预设映射动作的音频采集设备的相对位置关系与所述设备标识之间的映射关系，包括：
[0022]获取识别到所述预设映射动作时对应的图像采集姿态；
[0023]确定与所述预设映射动作对应的图像采集姿态相匹配的相对位置关系；
[0024]建立所述相匹配的相对位置关系与所述设备标识之间的映射关系。
[0025]可选地，所述控制所述图像采集设备识别所述预设映射动作，包括：控制所述图像采集设备以各个未映射的相对位置关系采集图像并识别所述预设映射动作；
[0026]相应地，在识别到所述预设映射动作的情况下，建立执行所述预设映射动作的音频采集设备的相对位置关系与所述设备标识之间的映射关系，包括：在识别到所述预设映射动作的情况下，建立当前使用的相对位置关系与所述设备标识之间的映射关系。
[0027]可选地，所述使用每个音频采集设备的设备图像区域、所述设备图像区域对应的图像采集姿态、以及所述图像采集设备内参和外参，确定所述音频采集设备相对于所述图像采集设备的相对位置关系，包括：
[0028]识别所述设备图像区域中音频采集设备上关键点的关键点位置、以及所述音频采集设备在所述设备图像区域中的像素信息；
[0029]基于所述关键点位置确定所述音频采集设备相对于所述图像采集设备的姿态角；
[0030]使用所述像素信息、所述图像采集姿态、所述图像采集设备内参和外参，确定所述音频采集设备相对于所述图像采集设备的方位和距离，所述相对位置关系包括所述方位、所述距离和所述姿态角。
[0031]另一方面，提供一种设备标定方法，用于声源跟踪系统，所述声源跟踪系统包括图像采集设备和至少两个音频采集设备；所述图像采集组件的图像采集范围包括所述至少两个音频采集设备所在的安装位置；所述方法包括：
[0032]获取所述音频采集设备发送的携带有所述音频采集设备的设备标识的角度数据；所述角度数据是所述音频采集设备采集到当前发声的目标声源的音频数据后，使用所述音频数据确定出的；
[0033]获取预先建立的每个设备标识与音频采集设备相对于所述图像采集设备的相对位置关系之间的映射关系，所述相对位置关系是控制所述图像采集设备扫描当前的声源跟踪环境得到环境图像后，识别所述环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域；使用每个音频采集设备的设备图像区域、所述设备图像区域对应的图像采集姿态、以及所述图像采集设备内参和外参确定出的；
[0034]使用所述映射关系确定所述设备标识映射的相对位置关系；
[0035]使用所述相对位置关系和所述角度数据，控制所述图像采集设备对所述目标声源进行声源跟踪。
[0036]另一方面，提供一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现上述方面提供的设备标定方法或者声源跟踪方法。
[0037]另一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备标定方法，其特征在于，用于声源跟踪系统，所述声源跟踪系统包括图像采集设备和至少两个音频采集设备；所述图像采集组件的图像采集范围包括所述至少两个音频采集设备所在的安装位置；在进行声源跟踪时，所述音频采集设备用于确定当前发声的目标声源相对于所述音频采集设备的角度数据，并将所述音频采集设备的设备标识和所述角度数据发送至所述图像采集设备，以供所述图像采集设备进行声源跟踪；其中，不同音频采集设备采集不同区域内目标声源的音频数据；所述方法包括：在进行声源跟踪之前，控制所述图像采集设备扫描当前的声源跟踪环境，得到环境图像；识别所述环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域；使用每个音频采集设备的设备图像区域、所述设备图像区域对应的图像采集姿态、以及所述图像采集设备内参和外参，确定所述音频采集设备相对于所述图像采集设备的相对位置关系；建立每个设备标识与所述相对位置关系之间的映射关系，以供所述图像采集设备获取到携带有所述设备标识的角度数据后，使用所述映射关系确定所述设备标识映射的相对位置关系，并使用所述相对位置关系和所述角度数据对所述目标声源进行声源跟踪。2.根据权利要求1所述的方法，其特征在于，所述音频采集设备的设备轮廓与所述声源跟踪环境中其它目标的目标轮廓不同；所述识别所述环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域，包括：检测所述环境图像中各个目标的轮廓；确定轮廓与所述设备轮廓相匹配的目标的图像区域，得到所述音频采集设备的设备图像区域。3.根据权利要求1所述的方法，其特征在于，所述音频采集设备上设置有标定标识，所述识别所述环境图像中的各个音频采集设备，得到每个音频采集设备的设备图像区域，包括：检测所述环境图像中的标定标识，得到所述标定标识的标识图像区域；基于标识图像区域确定所述设备图像区域。4.根据权利要求1所述的方法，其特征在于，所述建立每个设备标识与所述相对位置关系之间的映射关系，包括：对于每个设备标识，向各个音频采集设备发送携带有所述设备标识的映射指令，所述映射指令用于触发所述设备标识对应的音频采集设备执行预设映射动作；控制所述图像采集设备识别所述预设映射动作；在识别到所述预设映射动作的情况下，建立执行所述预设映射动作的音频采集设备的相对位置关系与所述设备标识之间的映射关系。5.根据权利要求4所述的方法，其特征在于，所述建立执行所述预设映射动作的音频采集设备的相对位置关系与所述设备标识之间的映射关系，包括：获取识别到所述预设映射动作时对应的图像采集姿态；确定与所述预设映射动作对应的图像采集姿态相匹配的相对位置关系；建立所述相匹配的相对位置关系与所述设备标...

【专利技术属性】
技术研发人员：宋洪博，王艳龙，陈飞龙，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：