基于规则声阵列和双目视觉的获取运动声场视频的方法技术

本发明专利技术提出的基于规则声阵列和双目视觉的获取运动声场视频的方法，属于噪声分析和控制技术领域。首先在被测运动物体粘贴标志点，布置传声器阵列和两台摄像机，对摄像机进行标定，得到投影矩阵；传声器阵列获取被测运动物体中声源的声压信号，摄像机获取被测运动物体的动态视频，将动态视频拆解成图像；在视频图像中识别出被测运动物体上的标志点，对匹配后的标志点进行三维重构，获取被测运动物体的空间位置；对声压信号进行波束成型处理，得到被测运动物体的声场特征函数分布图，将其视频图像进行逐帧空间坐标叠加，并还原成动态视频图像。本发明专利技术方法使运动噪声的测量和识别变得容易，为进一步的声源识别和降噪工作提供更准确的依据。

【技术实现步骤摘要】

本专利技术涉及一种，属于噪声分 析和控制

技术介绍
汽车、火车等复杂运动机械的噪声对环境影响很大。由于运动的原因，对这类(多声 源)运动型噪声，要比较精确地获取其声场，将各个声源分辨出来，并准确定位是比较困 难的。而声场的可视化可以使噪声源的定位分析更加实用，从而为进一步的噪声治理工作 提供依据，对噪声测量以及治理工作都具有重要意义。在目前的研究中，声场可视化一般都是通过声场等高线图或三维声貌图与被测物体图 片匹配显示后来实现。这一方法也延续到了运动声源声场的显示上，在很多学者的研究中， 都是通过激光定位运动物体的位置，假定物体在测量过程中匀速运动，实现运动物体与测 量信号的空间位置关系建立，然后人工手动将测量结果与运动物体的图片进行叠加，实现 声源的定位和分析。在这种方法.下，运动声源的准确定位是比较困难和复杂的，需要很专 业的技术人员才能完成，这将影响测量方法的推广应用。目前，世界上针对交通工具类的运动声源，对其声场进行测量分析研究的主要有声 全息方法和阵列方法。全息法测量运动声场受多普勒效应影响很大，其工程实际应用受到 了局限。与全息技术相比，阵列技术在运动声源识别研究中的应用更为广泛。双目立体视 觉技术是一种比较成熟的技术，已经被广泛应用于机器人导航、智能车辆自动驾驶、三维 测量和虚拟现实等领域
技术实现思路
本专利技术的目的是提出一种，使 得运动声源的定位分析更加准确，以实现对噪声的控制。本专利技术提出的，包括以下步骤(1) 在被测运动物体侧面粘贴标志点，在与被测运动物体相距D处布置传声器阵列；(2) 在与被测运动物体相距L处设置两台摄像机，两台摄像机之间的距离为d，对 两台摄像机分别进行标定，获取第一台摄像机的内部参数摄像机主点坐标(W。,，V。,)、镜头焦距y;及像素的物理尺寸血,x办,，第一台摄像机的外部参数摄像机旋转矩阵《及平移向量^获取第二台摄像机的内部参数摄像机主点坐标( 2，^2)、镜头焦距/2及像素 的物理尺寸血2><办2，第二台摄像机的外部参数摄像机旋转矩阵及2及平移向量/2;由第一台摄像机和第二台摄像机的内外部参数，分别得到其投影矩阵为:<table>table see original document page 5</column></row><table>《(3) 被测运动物体以速度y行驶，传声器阵列获取被测运动物体中声源的声压信号， 第一台摄像机和第二台摄像机分别获取被测运动物体的动态视频，采用外触发的方式保证 两路视频信号和声压信号三者同步；(4) 分别将上述两台摄像机获取的动态视频拆解成图像；(5) 在上述拆解后的视频图像中识别出被测运动物体上的标志点，对分别识别出的 第一台摄像机和第二台摄像机图像上的标志点进行匹配，使被测运动物体上的同一标志点 在两台接像机图像上的位置相对应，对匹配后的标志点进行三维重构，获取被测运动物体 的空间位置；(6) 对上述传声器阵列获取的声压信号进行波束成型处理，得到被测运动物体上 s(s，77)处在r,至z2时间内的声场特征函数P,W为Z时刻第/个传声器接收到的信号声压，"/，s,7)为^时亥lJ面上任意点s(s,77)与 第/个传声器之间的物理距离，c为声速，W为传声器数目，摄像机每帧图像间的时间间隔为Ar，设已经根据7;时刻的图像获得了被测运动物体的空间位置，取/,=7;-i厶r, /2=7;+iAr,遍历被测运动物体表面，得到被测运动物体的声场特征函数分布(7)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加，并还原成动态视频图像。上述方法中，所述的传声器阵列的布置形式为一字、十字、X形或圆形规则传声器阵列中的任何一种。上述方法中，对所述的匹配后的标志点进行三维重构的方法为 设被测运动物体上的标志点在第一台摄像机和第二台摄像机所获取图像上所成的像的齐次坐标分别为("p、，if ，(A，v2,if，设K点在世界坐标系下的齐次坐标为(x,;r,z,if ，则<formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>其中，Zd、 Zc2分别为K点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光 轴的坐标，将式中的Zd、 Z"消去，得到关于X、 Y、 Z的四个线性方程 <formula>formula see original document page 6</formula><formula>formula see original document page 6</formula><formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>用最小二乘法求解上述方程组，获得被测运动物体上的标志点K在世界坐标系下的坐标。本专利技术提出的，引了入双目立 体视觉技术，并其与规则声阵列结合，实现了声场可视化。利用双目立体视觉技术进行声 场空间的三维测量和运动物体的自动追踪，建立声场空间与信号之间的时空关系，并自动 将声场测量结果与摄像机的三维视频图像匹配在一起，将物体的运动过程与声场的动态变 化过程以动态视频的效果直观显示出来，实现运动声源声场的视频可视化。从而使测量者 在测量过程中就可以从视频中直接获取运动物体在运动过程中的噪声辐射状况，直观获得 各个噪声源的位置。本专利技术方法使已有的声场可视化的方法更准确实用，使运动噪声的测 量和识别变得容易，为进一步的声源识别和降噪工作提供更准确的依据。附图说明图1是使用本专利技术方法的场地布置示意图。图2是本专利技术中外触发方式示意图。图3是标志点匹配示意图。图4是三维重构原理图。图5是本专利技术中视频和声场数据的处理流程。图1中，l是被测运动物体，2是摄像机，3是传声器阵列，4是前置放大接口箱，5 是信号采集仪，6是电脑，7是信号发生器。图2中，Sl是信号发生器产生的方波信号，S2和S3分别是两台摄像机的曝光信号示意波形，S4是传声器阵列开关信号示意波形。图3中，M1是第一台摄像机获取的被测运动物体的图像，M2是第二台摄像机获取 的被测运动物体的图像，P1'、 P2'、 P3'、 P4'分别为标志点P1，. P2， P3， P4在M1上 所成的像，P1"、 P2"、 P3"、 P4"分别为标志点P1， P2， P3， P4在M2上所成的像。图4中，；rl是第一台摄像机的成像平面，；r2是第二台摄像机的成像平面，0-XwYwZw 是世界坐标系，ul01vl是第一台摄像机的图像坐标系，u202v2是第二台摄像机的图像坐 标系，Ocl-XclYclZcl是第一台摄像机的摄像机坐标系，0c2-Xc2Yc2Zc2是第二台摄像机 的摄像机坐标系，K点是本文档来自技高网...

【技术保护点】
一种基于规则声阵列和双目视觉的获取运动声场视频的方法，其特征在于该方法包括以下步骤：　（１）在被测运动物体侧面粘贴标志点，在与被测运动物体相距Ｄ处布置传声器阵列；（２）在与被测运动物体相距Ｌ处设置两台摄像机，两台摄像机之间的距离为ｄ，对两台摄像机分别进行标定，获取第一台摄像机的内部参数：摄像机主点坐标（ｕ↓［０１］，ｖ↓［０１］）、镜头焦距ｆ↓［１］及像素的物理尺寸ｄｘ↓［１］×ｄｙ↓［１］，第一台摄像机的外部参数：摄像机旋转矩阵Ｒ↓［１］及平移向量ｔ↓［１］；获取第二台摄像机的内部参数：摄像机主点坐标（ｕ↓［０２］，ｖ↓［０２］）、镜头焦距ｆ↓［２］及像素的物理尺寸ｄｘ↓［２］×ｄｙ↓［２］，第二台摄像机的外部参数：摄像机旋转矩阵Ｒ↓［２］及平移向量ｔ↓［２］，由第一台摄像机和第二台摄像机的内、外部参数，分别得到第一台摄像机和第二台摄像机的投影矩阵为：＊＊＊（３）被测运动物体以速度ｖ行驶，传声器阵列获取被测运动物体中声源的声压信号，第一台摄像机和第二台摄像机分别获取被测运动物体的动态视频，采用外触发的方式保证两路视频信号和声压信号三者同步；（４）分别将上述第一台摄像机和第二台摄像机获取的动态视频拆解成图像；（５）在上述拆解后的视频图像中识别出被测运动物体上的标志点，对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配，使被测运动物体上的同一标志点在两台摄像机图像上的位置相对应，对匹配后的标志点进行三维重构，获取被测运动物体的空间位置；（６）对上述传声器阵列获取的声压信号进行波束成型处理，得到被测运动物体上ｓ（ε，η）处在ｔ↓［１］至ｔ↓［２］时间内的声场特征函数：Ｗ↓［ｐ］（ε，η）＝∫↓［ｔ↓［１］］↑［ｔ↓［２］］Ｐ↑［２］（ｔ，ε，η）ｄｔ，其中，Ｐ（ｔ，ε，η）＝１／Ｎ＊ｐ↓［ｉ］（ｔ＋ｒ↓［ｉ］（ｔ，ε，η）／ｃ）ｐ↓［ｉ］（ｔ）为ｔ时刻第ｉ个传声器接收到的信号声压，ｒ↓［ｉ］（ｔ，ε，η）为ｔ时刻面上任意点ｓ（ε，η）与第ｉ个传声器之间的物理距离，ｃ为声速，Ｎ为传声器数目，摄像机每帧图像间的时间间隔为ΔＴ，设根据Ｔ↓［１］时刻的图像获得了被测运动物体的空间位置，取ｔ↓［１］＝Ｔ↓［１．］－１／２ΔＴ，ｔ↓［２］＝Ｔ↓［１］＋１／２ΔＴ，遍历被测运动物体表面，得到被测运动物体的声场特征函数分布图；（７）将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加...

【技术特征摘要】

【专利技术属性】
技术研发人员：杨殿阁，连小珉，罗禹贡，郑四发，李克强，李兵，邵林，袁艺，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]