一种基于GAQN-ASTFT-IDKPCA的运动过程视听信息融合方法技术

本发明专利技术涉及基于GAQN‑ASTFT‑IDKPCA的运动过程视听信息融合方法，是一种对机器人运动过程中分布式视觉信息和听觉信息进行融合的方法，属于分布式光纤与信息融合领域，其特征在于采用如下步骤：(1)确定视觉信息与听觉信息的映射关系；(2)确定染色体编码长度；(3)确定适应函数；(4)确定产生的新个体；(5)确定融合信息的STFT变换；(6)确定融合信息的频谱特征；(7)确定高维特征空间协方差矩阵；(8)确定矩阵的特征值和特征向量。本发明专利技术充分考虑视觉信息和听觉信息叠加带来的选取权值较难的问题，通过对利用GAQN算法融合后的视听信息进行频域分析，获取其频谱数据，根据IDKPCA算法进行降维处理，最终实现全分布式视听信息融合。

【技术实现步骤摘要】
一种基于GAQN-ASTFT-IDKPCA的运动过程视听信息融合方法
本专利技术涉及分布式光纤与信息融合领域，主要是一种对机器人运动过程中分布式视觉信息和听觉信息进行融合的方法。
技术介绍
目前，感知信息融合技术在目标追踪领域具有广泛的应用性，感知信息主要包括视觉信息和听觉信息，现有信息大多局限于图像或视频格式的视觉信息，而像分布式光纤振动形式的听觉信息未能被综合利用起来。视觉信息和听觉信息均存在着各自的局限性，将两者信息融合起来，克服二者独立存在的缺陷，从而获取全面的外界信息。因此对分布式视听信息的融合成为研究问题的关键。常见的视听信息融合方法主要是先对视觉信息进行可听化处理，使其和分布式听觉信息具有相同的数据结构，在这个过程中，大多采用对空间域图像像素灰度以及像素位置进行映射的方法，但是该方法所获取映射结果的准确性及实时性容易受到图像内容复杂度的影响，局限性较大。在传统的视听信息融合过程中通常采用决策级融合算法，由于提取特征过程中经过似然度计算和大量的人工处理，其结果并不能真实反映视听结果的特征。视听信息融合作为众多领域研究的热点，各界学者已经对其进行了相对较多的理论研究，其在无人机的侦察、机器人运动监测以及现代化的机电设备稳定工作方面均有很好的应用价值，本设计以机器人运动过程视听信息融合为背景，进行该设计的探究与实验。随着科技的进步以及国防军事的发展，对分布式视听感知信息的融合效果提出了更高的要求。因此，要保证图像可听化的准确性以及视听信息融合的实时性，必须建立一种高效的分布式视听信息融合丰富，从而有效减少感知信息融合时间，为目标领域的应用提供精确有效的融合信息。
技术实现思路
针对上述现有技术中存在的问题，本专利技术要解决的技术问题是提供一种基于GAQN-ASTFT-IDKPCA的运动过程视听信息融合方法，其具体流程如图1所示。技术方案实施步骤如下：(1)确定视觉信息与分布式光纤信号听觉信息的映射关系Xi,j：选择图像的像素值和像素值所在的位置作为图像映射的特征，选择分布式光纤信号听觉信息的振幅和频率作为听觉信息的维度，则视觉信息与听觉信息的映射关系为：式中，Xi,j为图像第i行第j列的听觉信息模式，gi,j为图像的像素值，r为图像像素总列数，fj为第j列的像素点的频率，t决定了听觉信息的持续时间，其中，(2)构建神经网络GA模型，确定染色体编码长度L：L＝(m+n)×s+n+s式中，m为输入层神经元数，s为隐含层神经元数，n为输出层神经元数。(3)确定适应函数f：初始化种群，随机确定一定数目染色体个体组成的初始种群。式中，E为网络训练总误差。若种群中的E达到了用户指定精度的个体或达到最大次数则结束，选取最大适应度作为迭代结果，否则，采用轮盘赌选择方式从当前种群中选择染色体，并遗传复制到下一代。(4)将种群中的个体进行交叉，确定产生的新个体X：式中，X1和X2为交叉前的个体，X'1和X'2为交叉后的新个体，α为权重参数，以交叉概率Pc对其进行算术交叉，将交叉后的每一个新个体，用某一范围内均匀分布的随机数，以变异概率Pm替换个体编码串中各个基因座上的原有值，从而产生新的个体。将产生的个体作为拟牛顿法的初值进行精确寻找，当拟牛顿法寻找结束后，判断得到的结果是否符合预期，若符合，则作为结果输出，若不符合，则继续使用GA算法进行迭代，直至得到最优的分布式视觉信息和分布式光纤信息融合结果。(5)确定融合信息X的STFT变换：式中，Xt(t,f,d)为融合信息的频域变换，t是数据点，f为频率，d为时频分辨力，Xt(τ)为τ时刻的融合信息，Aω*(τ-t,d)为窗口类型、窗口长度、滑动步长和时频分辨力的函数。(6)确定融合信息X的频谱特征T:融合信息X的频谱能量E为：同时，计算融合信息的X功率谱并统计峰值p及对应频率f、方差s2、期望等频谱特征，从而获得频谱特征向量(7)确定高维特征空间协方差矩阵C：式中，C为高维特征空间协方差矩阵，m为频谱特征向量T的维数，φ(Ti)为非线性映射核函数。(8)确定矩阵C的特征值λi和特征向量pi：Cpi＝λipi根据上式，求出矩阵C的特征向量pi，得到特征空间的主元方向。然后将特征值按照从大到小的顺序排序，根据累积贡献率大小选取主元个数，组成特征向量矩阵。计算各数据向量到中心向量的马氏距离，判断数据间的相似度，选择相似度近似的向量，从而实现KPCA特征向量降维。本专利技术比现有技术具有的优点：(1)本专利技术不仅克服了传统视觉信息可听化的结果在图像复杂情况下，准确性不高，实时性较差的缺陷。同时克服了传统的视听信息融合的结果并不能真实反映视听结果的特征的缺点。通过将视觉信息可听化，并用GAQN算法将其和分布式听觉信息进行融合，最终实现分布式视听信息的融合。(2)本专利技术利用ASTFT丰富对融合后的感知信息进行频域分析，充分考虑了视觉信息和听觉信息叠加带来的选取权值较难的问题，最后将包含了分布式光纤听觉信息和图像视觉信息的频谱数据用IDKPCA算法进行降维处理，一定程度上提高了内容的丰富性以及融合的实时性。附图说明图1是建立基于GAQN-ASTFT-IDKPCA的运动过程视听信息融合方法的步骤流程图；图2是建立基于GAQN-ASTFT-IDKPCA的运动过程视听信息融合方法的算法流程图；图3是IDKPCA原理示意图；图4是对机器人运动过程视听信息融合方法前后的分类识别结果图；具体实施方案下面通过实施案例对本专利技术作进一步的详细说明。本实施案例选用的数据集一共有1000组，其中视觉信息500组，听觉信息500组，每组数据包括200个样本，视觉信息数据集全部由分布式摄像头拍摄所得，听觉信息由分布式光纤采用布里渊光时域反射技术和相位光时域反射技术采集获得。随机从500组视觉信息和听觉信息数据中抽取300组作为测试集，其余200组作为训练集。本专利技术所提供的运动过程视听信息融合方法整体流程如图1所示，具体步骤如下：(1)确定视觉信息与分布式光纤信号听觉信息的映射关系Xi,j：选择图像的像素值和像素值所在的位置作为图像映射的特征，选择分布式光纤信号听觉信息的振幅和频率作为听觉信息的维度，则视觉信息与听觉信息的映射关系为：式中，Xi,j为图像第i行第j行的听觉信息模式，gi,j为图像的像素值，r为图像像素总列数，fj为第j列的像素点的频率，t决定了听觉信息的持续时间，其中，本案例中，t取值为10s，因此，视觉信息与听觉信息的映射关系可表示为：(2)构建神经网络GA模型，确定染色体编码长度L：L＝(m+n)×s+n+s式中，m为输入层神经元数，s为隐含层神经元数，n为输出层神经元数。本案例中，输入神经元个数m为2，隐含层神经元数s为5，输出层神经本文档来自技高网...

【技术保护点】
1.本专利技术涉及一种基于GAQN-ASTFT-IDKPCA的运动过程视听信息融合方法，其特征在于：确定视觉信息与分布式光纤信号听觉信息的映射关系，构建神经网络GA模型，确定染色体编码长度，确定适应函数，确定产生的新个体，确定融合信息的STFT变换，确定融合信息的频谱特征，确定高维特征空间协方差矩阵，确定矩阵的特征值和特征向量，具体包括以下八个步骤：/n步骤一：确定视觉信息与分布式光纤信号听觉信息的映射关系X

【技术特征摘要】
1.本发明涉及一种基于GAQN-ASTFT-IDKPCA的运动过程视听信息融合方法，其特征在于：确定视觉信息与分布式光纤信号听觉信息的映射关系，构建神经网络GA模型，确定染色体编码长度，确定适应函数，确定产生的新个体，确定融合信息的STFT变换，确定融合信息的频谱特征，确定高维特征空间协方差矩阵，确定矩阵的特征值和特征向量，具体包括以下八个步骤：
步骤一：确定视觉信息与分布式光纤信号听觉信息的映射关系Xi,j：
选择图像的像素值和像素值所在的位置作为图像映射的特征，选择分布式光纤信号听觉信息的振幅和频率作为听觉信息的维度，则视觉信息与听觉信息的映射关系为；



式中，Xi,j为图像第i行第j列的听觉信息模式，gi,j为图像的像素值，r为图像像素总列数，fj为第j列的像素点的频率，t决定了听觉信息的持续时间，其中，
步骤二：构建神经网络GA模型，确定染色体编码长度L；
L＝(m+n)×s+n+s；
式中，m为输入层神经元数，s为隐含层神经元数，n为输出层神经元数；
步骤三：确定适应函数f；



初始化种群，随机确定一定数目染色体个体组成的初始种群，式中，E为网络训练总误差，若种群中的E达到了用户指定精度的个体或达到最大次数则结束，选取最大适应度作为迭代结果，否则，采用轮盘赌选择方式从当前种群中选择染色体，并遗传复制到下一代；
步骤四：将种群中的个体进行交叉，确定产生的新个体X；



式中，X1和X2为交叉前的个体，X′1和X′2为交叉...

【专利技术属性】
技术研发人员：王松，胡燕祝，陈茜颖，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11