基于非线性交织映射的音频恢复方法及视频麦克风系统技术方案

本发明专利技术提供一种基于非线性交织映射的音频恢复方法，包括：S1、获取待处理视频，对所述待处理视频进行预处理，生成连续的灰度图像序列，所述待处理视频包括物体受周围声源影响而产生的振动图像；S2、将所述灰度图像序列中的每幅图像与二维三角函数交织辅助函数进行像素坐标和图像亮度的非线性交织映射，从而获得与当前图像对应的一组二维0

【技术实现步骤摘要】
基于非线性交织映射的音频恢复方法及视频麦克风系统


[0001]本专利技术涉及信号处理领域，更进一步涉及一种基于二维三角函数的非线 交织映射系统的音频恢复方法及视频麦克风系统。

技术介绍

[0002]现阶段，音频的采集主要是通过麦克风进行的。但由于距离较远等因素 影响，能够采集的语音较为微弱，无法对语音信号进行完整的接收和识别， 因此需要采取合适的方法来对语音引起的极微弱的震动进行放大从而对语音 进行恢复采集。20世纪初期，电子管和无线电波的专利技术问世促使了语音声学 和电声学的有机结合，这在一定程度上放大了难以接收的微弱声音信号，电 学麦克风也随之而来。电学麦克风的原理是将声音的震动传到麦克风的振膜 上，推动内部的磁铁产生变化的电流，将变化的电流运送到声音处理电路进 行放大处理以完成对语音的放大和恢复。20世纪七八十年代，伴随着光纤传 感技术的深入研究和应用，光纤麦克风的专利技术应用标志着利用光纤对语音进 行远距离采集成为现实。Soquet等研究了光纤麦克风利用光信号在受到震动 时会使得光强度、相位等参量发生变化的特性，利用对应的信号检测手段和 解调系统还原声音信号，由此完成动态声音信号到动态光信号的转换。 Furstenau等提出了一种基于光纤外在Fabry
‑
Perot(FP)微干涉仪，耦合到用 于调制FP腔长度的外部膜和作为光源的低相干超发光二极管的光纤麦克 风，其通过对飞机特征噪声谱的检测分析辨别起降飞机的型号，同时应用于 交通监控和车辆分类。Konle等开发了一种基于Fabry
‑
Perot干涉仪的耐高温 光纤麦克风，并成功应用于1400k高温下的燃烧室。Rothberg等人提出的激 光麦克风采用激光束探测玻璃面或镜面的震动来采集语音，通过探测折返激 光束的相位变化可以跟踪到反射平面的距离变化，采用LDV探测反射激光 束的多普勒频移，可以跟踪反射平面的速度变化，以远距恢复高质量语音。 他们的工作使接收机的定位具有更大的灵活性，但仍然依赖于记录反射激 光。
[0003]此外，光学麦克风还包含利用普通光线的视频麦克风。视频麦克风延续 了光纤麦克风可以完成远距离或封闭音频信息采集的优点，同时它不需要将 激光束或图案投射到震动表面上，可以说它不依赖于主动光源。Abe Davis 团队首先提出了视频麦克风的概念，在一个复杂的可操纵金字塔的维度上提 取视频局部运动信号。这些局部信号被对齐并平均成一个单一的一维运动信 号，该信号捕捉物体随时间变化的整体运动，再对其进行过滤和去噪，以产 生恢复的声音。Kim Y J在复杂可操控金字塔麦克风的基础上提出基于补丁 的视觉麦克风框架通过从图像中以关键点为中心的子区域恢复声音来解决声 音恢复问题。但金字塔分解算法复杂度高，且对音频差异不敏感，导致音频 质量低下。
[0004]申请号为2022104924747的中国专利申请，给出了一种基于非线性动力 系统的音频恢复方法及视频麦克风系统。该专利技术可以通过房间外放置的高帧 率摄像机拍摄的房间内物体的无声视频内容对房间中的声音进行还原，克服 了现有音频恢复方法存在的应用限制过多，产品尺寸过大的技术问题。但其 在非线交织映射过程中采用对数函数作为辅助函数，恢复音频的尺度伸缩性 较差，细节分辨率低。

技术实现思路

[0005]根据上述提出的现有技术存在的尺度伸缩性差、细节分辨率低的技术问 题，而提供一种基于非线性交织映射的音频恢复方法及视频麦克风系统。本 专利技术主要利用基于二维三角函数的非线交织映射系统进行音频回复，从全局 角度具有更好的尺度伸缩性，可以提高整体的细节分辨率，有助于提高声音 细节的恢复质量。
[0006]本专利技术采用的技术手段如下：
[0007]一种基于非线性交织映射的音频恢复方法，包括：
[0008]S1、获取待处理视频，对所述待处理视频进行预处理，生成连续的灰度 图像序列，所述待处理视频包括物体受周围声源影响而产生的振动图像；
[0009]S2、将所述灰度图像序列中的每幅图像与二维三角函数交织辅助函数进 行像素坐标和图像亮度的非线性交织映射，从而获得与当前图像对应的一组 二维0
‑
1矩阵；
[0010]S3、对每个二维0
‑
1矩阵分别进行降维处理后生成一维数据；
[0011]S4、对各所述一维数据进行滤波去燥后，得到恢复音频。
[0012]进一步地，将所述灰度图像序列中的每幅图像与二维三角函数交织辅助 函数进行像素坐标和图像亮度的非线性交织映射，从而获得与当前图像对应 的一组二维0
‑
1矩阵，包括：
[0013]S201、基于以下二维三角函数交织辅助函数构建交织辅助函数矩阵：
[0014]f(x,y)＝cosax+cos(bx)(0<a,b<1)
[0015]所述交织辅助函数矩阵为：
[0016][0017]其中，M、N选取图像灰度最大值256，floor为向下取整。
[0018]进一步地，将所述灰度图像序列中的每幅图像与二维三角函数交织辅助 函数进行像素坐标和图像亮度的非线性交织映射，从而获得与当前图像对应 的一组二维0
‑
1矩阵，还包括：
[0019]S202、选取大小为的矩阵迭代范围中从上到下从左到右顺序 下的W个点作为初值点，其中W<65536：：
[0020][0021]S203、对应每个初值点，进行N次交织迭代生成N个二维点，如下：
[0022][0023]S204、构造大小为M
×
N的交织映射矩阵：
[0024][0025]根据S203记录每帧目标图像由W个初始点进行N次迭代，生成交织映 射矩阵中的置1点坐标，将交织映射矩阵中对应该坐标元素置1，其他元素 置0，即：
[0026][0027]由此得到的0
‑
1二维交织映射矩阵I。
[0028]进一步地，对每个二维0
‑
1矩阵分别进行降维处理后生成一维数据，包 括：
[0029]S301、将P帧视频图像利用非线性交织映射生成的P组二维混沌吸引子I 生成P个大小为Q的行向量P≤目标视频图像帧数，且：
[0030][0031]其中floor为向下取整，mod为取余数；
[0032]S302、将P个行向量按顺序上下合并成大小为P
×
Q的矩阵：
[0033][0034]S303、求矩阵S的协方差矩阵covS；
[0035]S304、求取所述协方差矩阵covS的全部特征值，并求出协方差矩阵的特 征向量；
[0036]S305、将合适的特征值对应的特征向量与矩阵covS进行加权，生成P
ꢀ×
1大小的一维数据H
i
作为后续的语音输出：
[0037][0038]进一步地，所述合适的特征值根据以下方式获取：
[0039]将特征值进行从大到小本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非线性交织映射的音频恢复方法，其特征在于，包括：S1、获取待处理视频，对所述待处理视频进行预处理，生成连续的灰度图像序列，所述待处理视频包括物体受周围声源影响而产生的振动图像；S2、将所述灰度图像序列中的每幅图像与二维三角函数交织辅助函数进行像素坐标和图像亮度的非线性交织映射，从而获得与当前图像对应的一组二维0
‑
1矩阵；S3、对每个二维0
‑
1矩阵分别进行降维处理后生成一维数据；S4、对各所述一维数据进行滤波去燥后，得到恢复音频。2.根据权利要求1所述的基于非线性交织映射的音频恢复方法，其特征在于，将所述灰度图像序列中的每幅图像与二维三角函数交织辅助函数进行像素坐标和图像亮度的非线性交织映射，从而获得与当前图像对应的一组二维0
‑
1矩阵，包括：S201、基于以下二维三角函数交织辅助函数构建交织辅助函数矩阵：f(x,y)＝cosax+cos(bx)(0<a,b<1)所述交织辅助函数矩阵为：其中，M、N选取图像灰度最大值256，floor为向下取整。3.根据权利要求1所述的基于非线性交织映射的音频恢复方法，其特征在于，将所述灰度图像序列中的每幅图像与二维三角函数交织辅助函数进行像素坐标和图像亮度的非线性交织映射，从而获得与当前图像对应的一组二维0
‑
1矩阵，还包括：S202、选取大小为的矩阵迭代范围中从上到下从左到右顺序下的W个点作为初值点，其中W<65536：S203、对应每个初值点，进行N次交织迭代生成N个二维点，如下：S204、构造大小为M
×
N的交织映射矩阵：根据S203记录每帧目标图像由W个初始点进行N次迭代，生成交织映射矩阵中的置1点坐标，将交织映射矩阵中对应该坐标元素置1，其他元素置0，即：
由此得到的0
‑
1二维交织映射矩阵I。4.根据权利要求1所述的基于非线性交织映射的音频恢复方法，其特征在于，对每个二维0
‑
1矩阵分别进行降维处理后生成一维数据，包括：S301、将P帧视频图像利用非线性交织映射生成的P组二维混沌吸引子I生成P个大小为...

【专利技术属性】
技术研发人员：张奕，林泓辰，于万波，
申请(专利权)人：大连大学，
类型：发明
国别省市：