基于多传感器特征融合的机器人环境感知方法技术

本发明专利技术涉及一种基于多传感器特征融合的机器人环境感知方法，是针对现有同类技术中传感器存在异步采样的技术问题，及基于传感器可信度的不同，如何实现特征融合的技术问题。其要点是该方法的机器人在自动导航或者在侦察现场过程中通过融合多传感器的信息进行环境感知，传感器信息质量优化和多层次特征提取，传感器的可靠度与哈希码通过点乘，将哈希码提取的特征与传感器的可靠度作为神经网络的输入，然后经过神经网络训练，得到结果输出，从而实现环境感知；最终基于传感器的可靠度和哈希特征矩阵实现特征级别的融合，从而实现多传感器的有效融合，将传感器的可靠度与哈希码进行点乘，并将点乘的向量输入到神经网络中，实现环境感知和障碍物识别。环境感知和障碍物识别。

【技术实现步骤摘要】
基于多传感器特征融合的机器人环境感知方法


[0001]本专利技术涉及机器人定位技术，是一种基于多传感器特征融合的机器人环境感知方法。

技术介绍

[0002]机器人在自动导航或者在侦察现场过程中，需要融合多传感器的信息进行环境感知，比如传统摄像头、红外摄像头、激光雷达、温度传感器等，在此多传感器的基础上，将信息进行融合，实现环境的全局感知。如中国专利文献中披露的申请号201910583355.0，申请公布日2019.09.17，专利技术名称“基于多源传感器的路面施工机器人环境感知系统及方法”。但是上述融合过程中，需要考虑两个问题，第一，每一个传感器的采集间隔是不一致的，那么存在异步采样的问题，如何对异步采样的设备所采集的信息进行最优顺序融合，是当前一个很重要的问题；第二，每一个传感器所采集的信息是有差距的，也就是每一个传感器的采集信息的可信度不一样，如何找出一种可靠的算法，对可靠的信息进行选择，是实现传感器特征融合的前提。

技术实现思路

[0003]为克服上述不足，本专利技术的目的是向本领域提供一种基于多传感器特征融合的机器人环境感知方法，使其主要解决现有同类技术中传感器存在异步采样的技术问题，及基于传感器可信度的不同，如何实现特征融合的技术问题。其目的是通过如下技术方案实现的。
[0004]一种基于多传感器特征融合的机器人环境感知方法，该方法的机器人在自动导航或者在侦察现场过程中通过融合多传感器的信息进行环境感知，传感器的可靠度与哈希码通过点乘，将哈希码提取的特征与传感器的可靠度作为神经网络的输入，然后经过神经网络训练，得到结果输出，从而实现环境感知；最终实现特征级别的融合，实现多传感器的有效融合；其特征在于该方法的具体步骤如下：(1)传感器信息质量优化，即通过变分自编码器实现信息的降维与重构，变分自编码的目标是在迭代过程中不断优化损失函数，实现数据重构，得到传感器重构样本；(2)采用DenseNet实现传感器重构样本的多层次特征提取；(3)基于集成学习实现传感器可靠度的衡量；(4)基于多传感器间语义一致性解决异步采样的问题，即通过找出不同传感器之间语义关联性最高的特征，利用协同矩阵分解的方法来学习多传感器之间的潜在关联语义得到传感器的可靠度和哈希特征矩阵的特征融合；(5)基于传感器的可靠度和哈希特征矩阵的特征融合，实现环境感知和障碍物识别；即将传感器的可靠度与哈希码进行点乘，并将点乘的向量输入到神经网络中，实现环境感知和障碍物识别。
[0005]所述步骤(1)中假设传感器的采集原始数据为X，经过VAE变分自编码器自动编码后，形成原始数据的隐含变量Z，然后经过生成器实现样本的重构，对传感器信息质量的优化，通过不断迭代，将“失真”的信息进行校正。
[0006]所述步骤(2)将步骤(1)生成的传感器重构样本采用DenseNe来实现多层次特征的提取。
[0007]所述步骤(3)中传感器可靠度的衡量通过将每一个传感器提取的多层次特征与其余的传感器提取的特征的总体相关性进行衡量，来判断该传感器的可靠度；即在获取可靠度δ的基础上，将可靠度与阈值进行比较，剔除较低可靠度的传感器。
[0008]所述步骤(4)中多传感器之间的潜在关联语义公式为：其中，X'表示多层次特征，B表示哈希码集，U
X'
和U
Y'
是基于哈希码集提取的特征矩阵。
[0009]本专利技术的传感器维度一致性较高，降低特征降维的计算复杂度，特别是将机器人异步采样的不同传感器可信度进行特征融合，实现了环境感知和障碍物识别；其适合作为基于多传感器特征融合的机器人环境感知方法使用，及其同类方法的技术改进。
附图说明
[0010]图1是本专利技术的VAE变分自编码器的降维与重构处理工作原理方框图。
[0011]图2是本专利技术的DenseNet的多层次特征提取工作原理方框图。
[0012]图3是本专利技术的各传感器可靠度衡量工作原理方框图。
[0013]图4是本专利技术的多个不同传感器样本共同训练哈希码工作原理方框图。
[0014]图5是本专利技术的传感器的可靠度和哈希特征矩阵的特征融合工作原理方框图。
具体实施方式
[0015]现结合附图，对本专利技术的具体实施步骤进行进一步的具体描述。如图1
‑
图5所示，该方法的步骤流程具体如下：
[0016](1)传感器信息质量优化。传感器由于受到干扰(比如，火灾高温场景下所导致视频图像扭曲的现象)或者噪音的影响，所导致传感器接收到的信息质量出现不稳定的现象，因此，需要通过一种变分自编码器(Variational Auto
‑
Encoder，VAE)实现信息的降维与重构；变分自编码的目标是在迭代过程中不断优化损失函数，实现数据重构。
[0017]假设传感器的采集原始数据为X，经过VAE变分自编码器自动编码后，形成原始数据的隐含变量Z，然后经过生成器实现样本的重构。实现传感器样本的重构，也就是实现了传感器信息质量的优化，通过不断迭代，将“失真”的信息进行校正，如图1所示。
[0018](2)采用DenseNet实现传感器重构样本的多层次特征提取。即将上述生成的传感器重构样本采用DenseNet(Dense Convolutional Network)来实现多层次特征的提取。该方法与传统的CNN(卷积神经网络)有“质”的不同，它不仅减轻了CNN所产生的梯度消失的过程，还加强了特征之间的传递，更有效实现了多层次特征X'的提取，如图2所示。
[0019](3)基于集成学习实现传感器可靠度的衡量。通过每一个传感器的特征信息对环境进行感知，比如，机器人借助传统摄像头对当前的障碍物进行判别的结果是“障碍物”，那么其他传感器是否也能对当前的障碍物准确无误地判断，这是一个值得考虑的问题。该方法将每一个传感器提取的多层次特征与其余的传感器提取的特征的总体相关性进行衡量，
来判断该传感器的可靠度。那么如何实现可靠度衡量，该方法将采用集成学习来判断每一个传感器对总体结果的可靠度；即在获取可靠度δ的基础上，将可靠度与阈值进行比较，剔除较低可靠度的传感器，如图3所示。
[0020](4)基于多传感器间语义一致性解决异步采样的问题。由于每一个传感器的采集频率是有区别的，因此，很难采用同步采样的方式实现传感器之间的特征自动融合，该方法通过找出不同传感器之间语义关联性最高的特征，利用协同矩阵分解的方法来学习多传感器之间的潜在关联语义：
[0021][0022]其中，X'表示多层次特征，B表示哈希码集，U
X'
和U
Y'
是基于哈希码集提取的特征矩阵。经过不断迭代，每一个传感器会找到当前时隙(一个检测的周期)信息的最优顺序，如图4所示。
[0023](5)基于传感器的可靠度和哈希特征矩阵的特征融合，实现环境感知和障碍物识别。即将传感器的可靠度与哈希码进行点乘，并将点乘的向量输入到神经网络中，实现环境感知和障碍物识别，如图5所示。
[0024]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器特征融合的机器人环境感知方法，该方法的机器人在自动导航或者在侦察现场过程中通过融合多传感器的信息进行环境感知，传感器的可靠度与哈希码通过点乘，将哈希码提取的特征与传感器的可靠度作为神经网络的输入，然后经过神经网络训练，得到结果输出，从而实现环境感知；最终实现特征级别的融合，实现多传感器的有效融合；其特征在于该方法的具体步骤如下：(1)传感器信息质量优化，即通过变分自编码器实现信息的降维与重构，变分自编码的目标是在迭代过程中不断优化损失函数，实现数据重构，得到传感器重构样本；(2)采用DenseNet实现传感器重构样本的多层次特征提取；(3)基于集成学习实现传感器可靠度的衡量；(4)基于多传感器间语义一致性解决异步采样的问题，即通过找出不同传感器之间语义关联性最高的特征，利用协同矩阵分解的方法来学习多传感器之间的潜在关联语义得到传感器的可靠度和哈希特征矩阵的特征融合；(5)基于传感器的可靠度和哈希特征矩阵的特征融合，实现环境感知和障碍物识别；即将传感器的可靠度与哈希码进行点乘，并将点乘的向量输入到神经网络中，实现环境感知和障碍物识别。2.根据权利要求1所述...

【专利技术属性】
技术研发人员：邱小剑，阮杰，胡锦文，张振，张英孔，江瑞宇，
申请(专利权)人：江西省军民融合研究院，
类型：发明
国别省市：