一种分布式声像联合校准定位方法技术

本发明专利技术提供了一种分布式声像联合校准定位方法，将摄像机与空气声呐等高度安装在马路上方，确定空气声呐与摄像机中心的距离，构建以空气声呐阵列中心以及摄像机视频中心为原点的三维直角坐标系；通过空气声呐确定目标在空气声呐坐标系中的位置坐标，通过两原点横向水平距离和反三角函数公式计算在摄像机坐标系下目标与水平面和铅锤面的夹角；根据摄像机参数计算目标在摄像机画面中对应的像素坐标；通过像素坐标将声源目标位置反映在摄像机画面中，实现声像联合校准定位。本发明专利技术能够实现对城市视觉和听觉的结合，为智能交通及智能城市的发展提供足够的技术支撑。

A Distributed Joint Acoustic-Video Calibration and Location Method

【技术实现步骤摘要】
一种分布式声像联合校准定位方法
本专利技术属于信号处理领域，涉及声呐波束形成、声信号检测、声像联合、目标定位等理论。
技术介绍
随着社会科技的进步，摄像机和空气声呐逐渐在交通、安防、环保等社会领域发挥越来越重要的作用。通过摄像机和空气声呐联合工作，对视频图像和实时音频的结合及联合校准，实现对发声目标在视频图像中的准确定位。空气声呐一般是由多个高精度麦克风模块组成的麦克风阵列，具有声学定位、声音识别、声音增强等功能。自上世纪80年代以来，阵列信号处理技术被广泛的应用于声源被动定位的研究，但声音定位效果由于较为抽象，无法直观的表现在现有的城市感官设备中，因此需要与摄像机系统联合使用才能更直观的反映声源的具体位置。目前声呐定位和视频尚无较好的联合校准方法，实际应用中空气声呐与摄像机分布式安装，由于空气声呐与摄像机中心原点不重合，导致空气声呐定位效果难以准确映射到摄像机画面，需要人为在视频图像中进行换算标记，且精度不够准确，无法实现自动精确联合定位。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种分布式声像联合校准方法，实现对城市视觉和听觉的结合，为智能交通及智能城市的发展提供足够的技术支撑，对于城市中车辆目标准确定位的发展与实际工程应用有重大意义。本专利技术解决其技术问题所采用的技术方案包括以下步骤：将摄像机与空气声呐等高度安装在马路上方，确定空气声呐与摄像机中心的距离，构建以空气声呐阵列中心以及摄像机视频中心为原点的三维直角坐标系；通过空气声呐确定目标在空气声呐坐标系中的位置坐标，通过两原点横向水平距离和反三角函数公式计算在摄像机坐标系下目标与水平面和铅锤面的夹角；根据摄像机参数计算目标在摄像机画面中对应的像素坐标；通过像素坐标将声源目标位置反映在摄像机画面中，实现声像联合校准定位。将本专利技术的步骤展开，具体包括以下内容：第一步，将摄像机安装于马路上方横向中心位置，空气声呐与摄像机等高度安装，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系o1和o2，两个原点的横向水平距离为d；第二步，通过空气声呐被动定位确定目标s在空气声呐坐标系o1中与水平面的夹角α、与安装杆垂直面的夹角β，并通过三角函数计算目标在空气声呐坐标系中的位置坐标(a，b，h)，其中，h为安装杆的高度；第三步，求出目标在摄像机坐标系中与水平面的夹角以及与安装杆垂直面的夹角第四步，确定摄像机的画面像素大小为m×n，调整摄像机的视场角为θ，测量摄像机视场内的底边距离监控杆件的距离为d1；第五步，计算目标在摄像机画面中Y轴像素坐标和在X轴像素坐标式中xl为X轴上中心距离左侧马路边界的像素距离，xr为中心距离右侧马路边界的像素距离，马路边界在画面中的像素位置可表示为一条直线，kl为左边边界在该坐标系下的斜率，kr为右侧边界在该坐标系下的斜率；第六步，通过像素坐标确定将声源目标位置反映在图像上，实现声像联合校准定位。本专利技术的有益效果是：能够精准定位声源目标在摄像机所成图像中的位置，方法简单实用，该方法可以将马路上的各类声信号目标实时反映在摄像机的图像中，可用于违法鸣笛车辆定位、可疑目标定位、环境噪声监测等领域，对于建立智能交通、完善城市安防、建设智慧城市等具有深远意义，推动了被动定位技术在交通、安防、监控等领域的应用与发展。附图说明图1是本专利技术的方法流程示意框图；图2是空气声呐与摄像机安装位置示意图；图3是摄像机安装示意图；图4是监控画面显示示意图。具体实施方式下面结合附图和实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。针对实际应用中当空气声呐与摄像机分布式安装时，空气声呐与摄像机中心原点不重合，导致空气声呐定位效果难以准确映射到摄像机画面的问题，本专利技术提出一种分布式声像定位联合校准方法，该方法在已知空气声呐中心原点位置与摄像机安装位置的条件下，通过对摄像机画面的与声目标实际位置的标定校准，可以快速将空气声呐定位角度映射到摄像机画面所对应的像素点上，该点位可以真实反映摄像机监控区域内声源的具体位置，实现对马路上车辆等声源目标自动精确联合定位。如图1所示，本专利技术提出的一种分布式声像联合校准方法，主要步骤如下：第一步：确定空气声呐与摄像机中心的距离如图2所示，摄像机与空气声呐采用分布式安装，摄像机安装于马路横向中心位置，空气声呐位于摄像机旁边，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系分别为o1和o2，两个原点的横向水平距离为d。第二步：空气声呐定位通过空气声呐被动定位确定目标s在空气声呐坐标系o1中与水平面的夹角α、与安装杆垂直面的夹角β，并通过三角函数计算目标在空气声呐坐标系中的位置坐标(a，b，h)其中h为安装杆的高度，也就是目标的z轴坐标。第三步：计算在摄像机坐标系下目标的夹角摄像机与空气声呐安装在同一高度h，通过两原点横向水平距离和反三角函数公式，求出目标在摄像机坐标系中与水平面的夹角α1和与安装杆垂直面的夹角β1：式中d为两个坐标系原点的横向水平距离。第四步：确定摄像机的参数摄像机画面像素大小为m×n，调整摄像机的视场角为θ，测量摄像机视场内的底边距离监控杆件的距离为d1，具体如图3所示。第五步：计算目标在摄像机画面中对应的像素位置如图4所示，目标在画面中Y轴上的对应的像素位置：目标在X轴方向的像素坐标可表示为：式中xl为X轴上中心距离左侧马路边界的像素距离，xr为中心距离右侧马路边界的像素距离，马路边界在画面中的像素位置可表示为一条直线，kl为左边边界在该坐标系下的斜率，kr为右侧边界在该坐标系下的斜率。第六步：声像联合定位通过像素坐标确定将声源目标位置反映在图像上，实现声像联合校准定位。本专利技术的实施例包括以下步骤：第一步：确定空气声呐与摄像机中心的距离摄像机与空气声呐采用分布式安装，摄像机安装于马路横向中心位置，空气声呐位于摄像机旁边，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系分别为o1和o2，两个原点的横向水平距离为d。在该坐标系下对于马路上任何一点s，都与空气声呐与摄像机坐标系有唯一对应点。在三维坐标系下，马路平面上任意一点s与原点o连线的向量为则向量在平面Y0O0Z0的投影为则向量在平面Y0O0Z0的投影为定义，与y轴的夹角为α，与x轴的夹角为β，则通过α、β就可以唯一确认一点s。第二步：空气声呐定位通过空气声呐被动定位确定目标s在空气声呐坐标系o1中与水平面的夹角α、和与安装杆垂直面的夹角β。并通过三角函数计算目标在空气声呐坐标系中的位置坐标(a，b，h)其中h为安装杆的高度，也就是目标的z轴坐标。第三步：计算在摄像机坐标系下目标的夹角摄像机与空气声呐安装在同一高度h，通过两原点横向水平距离和反三角函数公式，求出目标在摄像机坐标系中与水平面的夹角α1和与安装杆垂直面的夹角β1：式中d为两个坐标系原点的横向水平距离。第四步：确定摄像机的参数摄像机画面像素大小为m×n，调整摄像机的视场角为θ，测量摄像机视场内的底边距离监控杆件的距离为d1，具体如图3所示：第五步：计算目标在摄像机画面中对应的像素位置：由于摄像机画面的像素与视场角之间是一一对应的，对于摄像机坐标系下给定的任意目标位置，可确定该目标在画面中Y轴上的对应的像素位置：在X轴方向，角度与像素不是一一对应的，本文档来自技高网...

【技术保护点】
1.一种分布式声像联合校准定位方法，其特征在于包括以下步骤：将摄像机与空气声呐等高度安装在马路上方，确定空气声呐与摄像机中心的距离，构建以空气声呐阵列中心以及摄像机视频中心为原点的三维直角坐标系；通过空气声呐确定目标在空气声呐坐标系中的位置坐标，通过两原点横向水平距离和反三角函数公式计算在摄像机坐标系下目标与水平面和铅锤面的夹角；根据摄像机参数计算目标在摄像机画面中对应的像素坐标；通过像素坐标将声源目标位置反映在摄像机画面中，实现声像联合校准定位。

【技术特征摘要】
1.一种分布式声像联合校准定位方法，其特征在于包括以下步骤：将摄像机与空气声呐等高度安装在马路上方，确定空气声呐与摄像机中心的距离，构建以空气声呐阵列中心以及摄像机视频中心为原点的三维直角坐标系；通过空气声呐确定目标在空气声呐坐标系中的位置坐标，通过两原点横向水平距离和反三角函数公式计算在摄像机坐标系下目标与水平面和铅锤面的夹角；根据摄像机参数计算目标在摄像机画面中对应的像素坐标；通过像素坐标将声源目标位置反映在摄像机画面中，实现声像联合校准定位。2.根据权利要求1所述的分布式声像联合校准定位方法，其特征在于包括下述步骤：第一步，将摄像机安装于马路上方横向中心位置，空气声呐与摄像机等高度安装，分别以空气声呐阵列中心与摄像机视频中心为原点建立三维直角坐标系o1和o2，两个原点的横向水平距离为d；第...

【专利技术属性】
技术研发人员：项彬，马石磊，陈建峰，蔺贝，李晓强，温洋，
申请(专利权)人：西安联丰迅声信息科技有限责任公司，
类型：发明
国别省市：陕西,61