一种基于音频与视频信号的鸟类定位方法技术

本发明专利技术提供了一种基于音频与视频信号的鸟类定位方法，属于航空器安全领域。所述方法包括：步骤S1，采集视频信号和音频信号：步骤S2，视频定位：利用视频信号获得视频定位结果；步骤S3，音频定位：利用音频信号获得音频定位结果。步骤S4，信息融合：融合视频定位结果与音频定位结果，获得鸟类目标与观测者之间的距离。本发明专利技术通过将视频信号和音频信号进行融合获得鸟类的位置，在进行视频定位时先采用目标检测算法检测出视频中的鸟类位置,避免了全图搜索,极大降低了计算量；本发明专利技术分别采用音频信号与视频信号进行独立定位,当缺失某一个信号时也能成功完成定位；相对于人工方法，本发明专利技术提高了鸟类定位的效率与准确率。明提高了鸟类定位的效率与准确率。明提高了鸟类定位的效率与准确率。

【技术实现步骤摘要】
一种基于音频与视频信号的鸟类定位方法


[0001]本专利技术属于航空器安全领域，具体涉及一种基于音频与视频信号的鸟类定位方法。

技术介绍

[0002]近年来，鸟撞是航空器运行的一个重要的安全隐患，机场周边的鸟类定位是解决鸟撞的一种重要手段。目前鸟类定位主要是通过工作人员亲自到达监测点，并在监测点通过肉眼或望远镜观察鸟类的位置。
[0003]但是，目前这种鸟类定位方法存在如下问题：
[0004]1，工作人员看到鸟后，需要估测一个鸟与工作人员的位置关系，如距离方位等信息，但是目前这些信息都需要靠人来估测；
[0005]2，准确性较低：很多机场周边植被茂盛，这种地方经常会出现只能听到鸟叫声，但是看不到鸟的情况，这种情况下是很难找到鸟的，因此加大了鸟类定位的难度。

技术实现思路

[0006]本专利技术的目的在于解决上述现有技术中存在的难题，提供一种基于音频与视频信号的鸟类定位方法，提高鸟类定位的效率与准确率，且降低了工作人员的劳动强度。
[0007]本专利技术是通过以下技术方案实现的：
[0008]本专利技术提供了一种基于音频与视频信号的鸟类定位方法，所述方法包括：
[0009]步骤S1，采集视频信号和音频信号；
[0010]步骤S2，视频定位：利用视频信号获得视频定位结果；
[0011]步骤S3，音频定位：利用音频信号获得音频定位结果。
[0012]步骤S4，信息融合：融合视频定位结果与音频定位结果，获得鸟类目标与观测者之间的距离。r/>[0013]本专利技术的进一步改进在于：
[0014]所述步骤S1的操作包括：利用双目摄像头采集视频信号，同时利用麦克风阵列模块采集音频信号。
[0015]本专利技术的进一步改进在于：
[0016]所述步骤S2的操作包括：
[0017]S2
‑
1：对视频信号进行检测，判断是否检测到鸟类目标，如果是，则获得鸟类目标检测框，然后转入步骤S2
‑
2，如果否，则转入步骤S2
‑
3；
[0018]S2
‑
2：获取鸟类目标检测框中的鸟类目标与双目摄像头之间的距离，将该距离作为视频有效距离，即视频定位结果，然后转入步骤S2
‑
4；
[0019]S2
‑
3：输出
‑
1，表示结果无效；
[0020]S2
‑
4：结束。
[0021]本专利技术的进一步改进在于：
[0022]所述步骤S3的操作包括：
[0023]所述步骤S2
‑
1中是采用基于深度学习的目标检测算法对视频信号进行检测；
[0024]所述步骤S2
‑
2中是采用双目测距算法获得鸟类目标检测框中的鸟类目标与双目摄像头之间的距离。
[0025]本专利技术的进一步改进在于：
[0026]S3
‑
1：获得声源与麦克风阵列模块之间的距离；
[0027]S3
‑
2：判断音频信号是否是鸟叫声，如果是，则转入步骤S3
‑
3，如果否，则转入步骤S3
‑
4；
[0028]S3
‑
3：将步骤S3
‑
1获得的声源与麦克风阵列模块之间的距离作为音频有效距离，即音频定位结果，然后转入步骤S3
‑
5；
[0029]S3
‑
4：输出
‑
1，表示结果无效；
[0030]S3
‑
5：结束。
[0031]本专利技术的进一步改进在于：
[0032]所述步骤S3
‑
1中是利用音频定位算法获得声源与麦克风阵列模块之间的距离；
[0033]所述步骤S3
‑
2中是利用NLP相关算法判断音频信号是否是鸟叫声。
[0034]本专利技术的进一步改进在于：
[0035]所述步骤S4的操作包括：
[0036]S4
‑
1：对连续的N帧图像分别进行视频定位，然后计算获得视频有效距离的均值m1、方差v1；如果视频有效距离的数量n1大于N/2,且方差v1小于设定的阈值,则判定m1、v1有效，否则判定m1、v1无效；
[0037]S4
‑
2：对连续的N段音频分别进行音频定位，然后计算获得音频有效距离的均值m2、方差v2；如果音频有效距离的个数n2大于N/2,且方差v2小于阈值,则判定m2、v2有效,否则判定m2、v2无效。
[0038]S4
‑
3：融合视频定位结果与音频定位结果，获得鸟类目标与观测者之间的距离。
[0039]本专利技术的进一步改进在于：
[0040]所述步骤S4
‑
3的操作包括：
[0041]如果m1、m2均无效，则输出
‑
1，表示没有检测到鸟类目标；
[0042]如果m1有效,m2无效,则输出m1，即鸟类目标与观测者之间的距离为m1；
[0043]如果m1无效,m2有效，则输出m2，即鸟类目标与观测者之间的距离为m2；
[0044]如果m1、m2均有效,则利用下式进行计算获得鸟类目标与观测者之间的距离d:
[0045][0046]与现有技术相比，本专利技术的有益效果是：
[0047]1、本专利技术通过将视频信号和音频信号进行融合获得鸟类的位置；
[0048]2、本专利技术在进行视频定位时先采用目标检测算法检测出视频中的鸟类位置,避免了全图搜索,极大降低了计算量；
[0049]3、本专利技术分别采用音频信号与视频信号进行独立定位,当缺失某一个信号时也能
成功完成定位；
[0050]4、相对于人工方法，本专利技术提高了鸟类定位的效率与准确率，且降低了工作人员的劳动强度。
附图说明
[0051]图1本专利技术基于音频与视频信号的鸟类定位方法的步骤框图；
[0052]图2本专利技术基于音频与视频信号的鸟类定位方法中的视频定位的步骤框图；
[0053]图3本专利技术基于音频与视频信号的鸟类定位方法中的音频定位的步骤框图；
[0054]图4本专利技术基于音频与视频信号的鸟类定位方法中的信息融合的步骤框图。
具体实施方式
[0055]下面结合附图对本专利技术作进一步详细描述：
[0056]如图1所示，本专利技术提供了一种基于音频与视频信号的鸟类定位方法,该方法的主要功能如下:
[0057]1.能够看到鸟,且听到鸟叫时:采用双目定位算法与音频定位算法分别算出鸟类位置,然后融合两种信息得到最终的结果；
[0058]2.能看到鸟类,但是听不到鸟叫时：此时一般鸟类距离较远,无法获得清晰的鸟类音频信号,此时只采用双目视觉定位的方法,计算出鸟类的位置；
[0059]3.能听到鸟叫，但是看不到鸟时：此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音频与视频信号的鸟类定位方法，其特征在于：所述方法包括：步骤S1，采集视频信号和音频信号；步骤S2，视频定位：利用视频信号获得视频定位结果；步骤S3，音频定位：利用音频信号获得音频定位结果；步骤S4，信息融合：融合视频定位结果与音频定位结果，获得鸟类目标与观测者之间的距离。2.根据权利要求1所述的基于音频与视频信号的鸟类定位方法，其特征在于：所述步骤S1的操作包括：利用双目摄像头采集视频信号，同时利用麦克风阵列模块采集音频信号。3.根据权利要求2所述的基于音频与视频信号的鸟类定位方法，其特征在于：所述步骤S2的操作包括：S2
‑
1：对视频信号进行检测，判断是否检测到鸟类目标，如果是，则获得鸟类目标检测框，然后转入步骤S2
‑
2，如果否，则转入步骤S2
‑
3；S2
‑
2：获取鸟类目标检测框中的鸟类目标与双目摄像头之间的距离，将该距离作为视频有效距离，即视频定位结果，然后转入步骤S2
‑
4；S2
‑
3：输出
‑
1，表示结果无效；S2
‑
4：结束。4.根据权利要求3所述的基于音频与视频信号的鸟类定位方法，其特征在于：所述步骤S2
‑
1中是采用基于深度学习的目标检测算法对视频信号进行检测；所述步骤S2
‑
2中是采用双目测距算法获得鸟类目标检测框中的鸟类目标与双目摄像头之间的距离。5.根据权利要求4所述的基于音频与视频信号的鸟类定位方法，其特征在于：所述步骤S3的操作包括：S3
‑
1：获得声源与麦克风阵列模块之间的距离；S3
‑
2：判断音频信号是否是鸟叫声，如果是，则转入步骤S3
‑
3，如果否，则转入步骤S3
‑
4...

【专利技术属性】
技术研发人员：牛红闯，刘佳，严辉，卢贤锋，
申请(专利权)人：中国民航科学技术研究院，
类型：发明
国别省市：