基于视频和音频的目标轨迹标定方法、装置和计算机设备制造方法及图纸

本申请提供了一种基于视频和音频的目标轨迹标定方法、装置和计算机设备，摄像设备上部署有麦克风阵列，可以根据各个声源对应的声音到各个子麦克风之间的时间差计算得到各个声源与基准子麦克风之间的第一相对位置关系。再借由基准子麦克风与摄像设备之间的部署位置关系，通过位置转换得到各个声源相对于摄像设备之间的第二位置关系。因此，即使声源没有出现在摄像设备的拍摄视界内，只要声源发出的声音可以被麦克风阵列接收到，即可通过基准子麦克风与摄像设备之间的部署位置关系，确定声源相对于摄像设备之间的位置关系。再以视频数据和各个音频数据的采集时间为时间基准，以摄像设备的第一运动轨迹为位置参数，从而标定各个声源的第二运动轨迹。个声源的第二运动轨迹。个声源的第二运动轨迹。

【技术实现步骤摘要】
基于视频和音频的目标轨迹标定方法、装置和计算机设备


[0001]本申请涉及音视频处理
，特别涉及一种基于视频和音频的目标轨迹标定方法、装置和计算机设备。

技术介绍

[0002]现有针对音视频所包含的声源位置标定，需要保证声源出现在音视频的视界范围内，即摄像设备需要拍摄到声源，用户才能从拍摄到的音视频中通过人工查找得到声源相对于摄像设备的位置，进而通过摄像设备的拍摄视界得到声源的运动轨迹。如果声源出现在摄像设备的拍摄视界之外，即使接收到声源所发出的声音，用户也无法确定声源与摄像设备之间的相对位置，更不用说进一步确定声源的运动轨迹。

技术实现思路

[0003]本申请的主要目的为提供一种基于视频和音频的目标轨迹标定方法、装置和计算机设备，旨在解决现有声源不在摄像设备的拍摄视界内时无法确定声源的运动轨迹的弊端。
[0004]为实现上述目的，本申请提供了一种基于视频和音频的目标轨迹标定方法，所述视频由摄像设备采集，所述音频由麦克风阵列采集，所述麦克风阵列由多个子麦克风组成，所述麦克风阵列部署在所述摄像设备上，所述目标轨迹标定方法包括：
[0005]通过所述摄像设备采集视频数据，并通过所述麦克风阵列采集多个音频数据；
[0006]分别对各所述音频数据所包含的声音做VAD算法识别，得到若干个声源；
[0007]基于两个第一子麦克风对相同的所述声源对应的声音的接收时间之差，以及两个所述第一子麦克风之间的部署位置，计算得到各所述声源与基准子麦克风之间的第一相对位置关系，所述基准子麦克风为两个所述第一子麦克风中的任意一个；
[0008]根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系；
[0009]根据所述视频数据与各所述音频数据的采集时间，所述摄像设备的第一运动轨迹，以及各所述第二相对位置关系，构建各所述声源分别对应的第二运动轨迹。
[0010]本申请还提供了一种基于视频和音频的目标轨迹标定装置，所述视频由摄像设备采集，所述音频由麦克风阵列采集，所述麦克风阵列由多个子麦克风组成，所述麦克风阵列部署在所述摄像设备上，所述目标轨迹标定装置包括：
[0011]采集模块，用于通过所述摄像设备采集视频数据，并通过所述麦克风阵列采集多个音频数据；
[0012]识别模块，用于分别对各所述音频数据所包含的声音做VAD算法识别，得到若干个声源；
[0013]计算模块，用于基于两个第一子麦克风对相同的所述声源对应的声音的接收时间
之差，以及两个所述第一子麦克风之间的部署位置，计算得到各所述声源与基准子麦克风之间的第一相对位置关系，所述基准子麦克风为两个所述第一子麦克风中的任意一个；
[0014]转换模块，用于根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系；
[0015]构建模块，用于根据所述视频数据与各所述音频数据的采集时间，所述摄像设备的第一运动轨迹，以及各所述第二相对位置关系，构建各所述声源分别对应的第二运动轨迹。
[0016]本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0017]本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0018]本申请中提供的一种基于视频和音频的目标轨迹标定方法、装置和计算机设备，其中，视频由摄像设备采集，音频由麦克风阵列采集，麦克风阵列由多个子麦克风组成，并且麦克风阵列部署在摄像设备上。应用时，处理系统通过摄像设备采集视频数据，并通过麦克风阵列采集多个音频数据。然后分别对各音频数据所包含的声音做VAD算法识别，得到各音频数据所包含的若干个声源。处理系统基于两个第一子麦克风对相同的声源对应的声音的接收时间之差，以及两个第一子麦克风之间的部署位置，计算得到各个声源与基准子麦克风之间的第一相对位置关系，其中，基准子麦克风为两个第一子麦克风中的任意一个。处理系统根据基准子麦克风在摄像设备上的部署位置，以及各声源分别对应的第一相对位置关系，转换得到各声源与摄像设备之间的第二相对位置关系。最后，处理系统根据视频数据与各音频数据的采集时间，摄像设备的第一运动轨迹，以及各第二相对位置关系，构建各声源分别对应的第二运动轨迹。本申请中，摄像设备上部署有麦克风阵列，可以根据各个声源对应的声音到各个子麦克风之间的时间差计算得到各个声源与基准子麦克风之间的第一相对位置关系。再借由基准子麦克风与摄像设备之间的部署位置关系，通过位置转换得到各个声源相对于摄像设备之间的第二位置关系。因此，即使声源没有出现在摄像设备的拍摄视界内，只要声源发出的声音可以被麦克风阵列接收到，即可通过基准子麦克风与摄像设备之间的部署位置关系，确定声源相对于摄像设备之间的位置关系。再以摄像设备的第一运动轨迹为位置参数，从而标定各个声源的第二运动轨迹。
附图说明
[0019]图1是本申请一实施例中基于视频和音频的目标轨迹标定方法的步骤示意图；
[0020]图2是本申请一实施例中基准子麦克风、摄像设备的视野中心以及声源的分布示意图；
[0021]图3是本申请一实施例中基于视频和音频的目标轨迹标定装置的整体结构框图；
[0022]图4是本申请一实施例的计算机设备的结构示意框图。
[0023]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0024]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0025]参照图1，本申请一实施例中提供了一种基于视频和音频的目标轨迹标定方法，所述视频由摄像设备采集，所述音频由麦克风阵列采集，所述麦克风阵列由多个子麦克风组成，所述麦克风阵列部署在所述摄像设备上，所述目标轨迹标定方法包括：
[0026]S1:通过所述摄像设备采集视频数据，并通过所述麦克风阵列采集多个音频数据；
[0027]S2:分别对各所述音频数据所包含的声音做VAD算法识别，得到若干个声源；
[0028]S3:基于两个第一子麦克风对相同的所述声源对应的声音的接收时间之差，以及两个所述第一子麦克风之间的部署位置，计算得到各所述声源与基准子麦克风之间的第一相对位置关系，所述基准子麦克风为两个所述第一子麦克风中的任意一个；
[0029]S4:根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系；
[0030]S5:根据所述视频数据与各所述音频数据的采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频和音频的目标轨迹标定方法，其特征在于，所述视频由摄像设备采集，所述音频由麦克风阵列采集，所述麦克风阵列由多个子麦克风组成，所述麦克风阵列部署在所述摄像设备上，所述目标轨迹标定方法包括：通过所述摄像设备采集视频数据，并通过所述麦克风阵列采集多个音频数据；分别对各所述音频数据所包含的声音做VAD算法识别，得到若干个声源；基于两个第一子麦克风对相同的所述声源对应的声音的接收时间之差，以及两个所述第一子麦克风之间的部署位置，计算得到各所述声源与基准子麦克风之间的第一相对位置关系，所述基准子麦克风为两个所述第一子麦克风中的任意一个；根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系；根据所述视频数据与各所述音频数据的采集时间，所述摄像设备的第一运动轨迹，以及各所述第二相对位置关系，构建各所述声源分别对应的第二运动轨迹。2.根据权利要求1所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述第一相对位置关系包括第一距离和第一角度，所述根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系的步骤，包括：计算所述第一角度的余角；调取所述基准子麦克风与所述摄像设备之间的直线距离，并将所述第一角度的余角、所述直线距离和所述第一距离代入计算公式中，得到第二距离，其中，所述计算公式为：a2＝b2+c2‑
2bc
×
cosβ，b为所述第一距离，c为所述直线距离，β为所述第一角度的余角，a为所述第二距离，表征所述摄像设备与所述声源之间的距离；根据所述第一角度和所述第一距离，通过余弦定理公式计算得到所述基准子麦克风与所述声源之间的垂直距离；根据所述第二距离和所述垂直距离，通过余弦定理公式，计算得到所述摄像设备与所述声源之间的第二角度，其中，所述摄像设备与所述声源之间的垂直距离与所述基准子麦克风与所述声源之间的垂直距离的值相同；按照上述规则计算得到各所述声源与所述摄像设备之间分别对应的第二距离和第二角度，生成各所述第二相对位置关系。3.根据权利要求1所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述分别对各所述音频数据所包含的声音做VAD算法识别，得到若干个声源的步骤，包括：分别对各所述音频数据所包含的声音做VAD算法识别，得到若干个人声声源以及其他类型声源；对各所述人声声源进行标记编号，并对各所述其他类型声源进行分贝值检测，将分贝值在分贝阈值以下的第一其他类型声源隐藏，同时对分贝值在所述分贝阈值以上的第二其他类型声源进行标记编号。4.根据权利要求3所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述对分贝值在所述分贝阈值以上的第二其他类型声源进行标记编号的步骤，包括：将各所述第二其他类型声源分别对应的声音输入预先训练的声音类型识别模型进行识别，得到各所述第二其他类型声源分别对应的声音类型；
将所述声音类型作为标记信息，分别对各所述第二其他类型声源进行标记编号。5....

【专利技术属性】
技术研发人员：郑勇，张缤，戴志涛，
申请(专利权)人：深圳市沃特沃德信息有限公司，
类型：发明
国别省市：