多源多模动态信息融合与认知方法及系统技术方案

本发明专利技术提供了一种多源多模动态信息融合与认知方法及系统，包括：相机图像融合步骤：使用多个相机进行相机图像采集，对采集的图像进行预处理和图像融合，得到图像信息融合结果；雷达信息融合步骤：使用多个雷达进行目标信息采集，将采集的目标信息进行融合和目标检测，得到目标检测结果；声矢量传感器跟踪步骤：使用多个声矢量传感器进行目标声音信号采集，将目标声音信号信息进行融合和目标跟踪，得到目标跟踪结果；雷达信息与视觉信息融合步骤：将图像信息融合结果、目标检测结果和目标跟踪结果进行融合，生成目标感兴趣区域。本发明专利技术分别用来采集图像信息、雷达信息和声音信息，三类信息相互结合、优势互补，弥补单一传感器的局限性。限性。限性。

【技术实现步骤摘要】
多源多模动态信息融合与认知方法及系统


[0001]本专利技术涉及防疫机器人
，具体地，涉及一种多源多模动态信息融合与认知方法及系统。尤其地，涉及一种防疫机器人复杂环境多源多模动态信息融合与认知方法。

技术介绍

[0002]目前在信息技术的大浪潮下，机器人的应用非常普遍，防疫机器人就是其中的一类。防疫机器人在医院和震后区域都发挥着重要角色，它们可以充当“送药员”、“消毒工”等，对于运输携带一些医疗器械，它们也能很好的胜任。由于防疫机器人的工作环境一般比较复杂，所以在防疫机器人身上一般装有多个传感器，多个传感器优势互补，进行信息融合，共同完成防疫任务。
[0003]防疫机器人身上装有大量的传感器，传感器的作用相当于人的眼睛、耳朵等器官，主要用来捕获外界信息。信息融合是一种针对多传感器进行信息处理地方法。传感器信息融合是近年来各个国家都研究的重点，世界各国都投入了大量的人力资源和物力对传感器信息融合技术进行理论和实践研究。传感器信息融合按融合种类不同，可以分为两类，一类是同类传感器间的信息融合，另一类是不同类传感器间的信息融合。对于同类传感器信息融合，其主要是为了获得更精确的目标和更广泛的信息；对于异类传感器信息融合，其主要功能是结合各个传感器的优势，对单一传感器的功能进行优势互补，从而可以充分发挥传感器的效果。
[0004]多传感器信息融合的示意图如图2所示，利用多传感器信息融合可以实现单个传感器所不能采集到的信息，可以有效扩展系统处理信息的能力，同时利用多传感器提供的冗余信息，可以保证当一个传感器出现故障时，可以利用另一个传感器提供的信息，从而提高系统的鲁棒性。此外，将多个同类传感器或多个异类传感器通过信息融合将信息进行综合处理，能够扩大传感器的探测区域和获得更全面、更精确、不同时刻的信息数据，可以增加系统的探测能力，可以避免采用单传感器造成的信息量测的局限性。
[0005]传感器信息融合在具体实施时，主要包括两方面的处理，首先在对传感器的数据进行处理时，需要将同类型的数据进行数据整合，不同类型的数据进行数据类型转换，转换为同类型数据，然后对上一步处理后的数据进行融合的时候，需要采用一些方法对数据结果进行优化，从而可以精确地获得有效信息。
[0006]目标检测是用于检测特定目标，利用多传感器信息融合技术，将多传感器测量的数据通过融合算法进行融合，可以获得比单一传感器更精确的信息。信息融合的结构包括数据级融合和特征级融合等，数据级信息融合的传感器要求是同类型的，通过对原始观测信息进行关联，然后进行数据层融合，而特征级融合是对各个传感器观测的目标进行特征提取，然后将提取的特征信息进行融合处理。
[0007]声矢量传感器可以用于目标探测、跟踪定位等，与以往的声压传感器不能利用声波振速信息相比，声矢量传感器能够同时获取目标声音的声压和振速信息，可以量测丰富的信息并且方向敏感性比较强。
[0008]专利文献CN108392795A(申请号：201810109937.0)公开了一种基于多信息融合的康复机器人多模态控制方法，以患者的生物信息和运动信息作为康复机器人训练参数和控制系统参数调整的依据，训练参数即控制系统的运动指令或给定信号。该方法获取患者的表面肌电信号、脑电信号、心电信号、关节角度、关节角速度、关节力矩、接触力等信息，利用信息融合算法，动态调整训练参数和控制系统参数，自动切换训练模式，能够实现康复机器人的上下肢协同智能控制和柔性控制。

技术实现思路

[0009]针对现有技术中的缺陷，本专利技术的目的是提供一种多源多模动态信息融合与认知方法及系统。
[0010]根据本专利技术提供的多源多模动态信息融合与认知方法，包括：
[0011]相机图像融合步骤：使用多个相机进行相机图像采集，对采集的图像进行预处理和图像融合，得到图像信息融合结果；
[0012]雷达信息融合步骤：使用多个雷达进行目标信息采集，将采集的目标信息进行融合和目标检测，得到目标检测结果；
[0013]声矢量传感器跟踪步骤：使用多个声矢量传感器进行目标声音信号采集，将目标声音信号信息进行融合和目标跟踪，得到目标跟踪结果；
[0014]雷达信息与视觉信息融合步骤：将图像信息融合结果、目标检测结果和目标跟踪结果进行融合，生成目标感兴趣区域。
[0015]优选地，所述多个相机组成并行结构，分别进行图像采集，采集的图像经过预处理后得到数据级图像信息，对数据级图像信息进行融合，获得精度符合预设要求的图像信息和扩大时间覆盖范围。
[0016]优选地，所述多个雷达组成并行结构，分别对目标进行信息采集，对采集的目标信息进行预处理，得到数据级目标信息并进行融合，获得精度符合预设要求的目标检测信息和扩大目标检测范围。
[0017]优选地，所述多个声矢量传感器组成并行结构，分别采集目标声音信号，对采集的目标声音信号进行预处理，得到数据级目标声音信号并进行融合，获得精度符合预设要求的目标声音信息。
[0018]优选地，所述融合包括：
[0019]采用基于加权平均法的像素级的融合算法，公式为：
[0020]F(i,j)＝ω
A
×
A(i,j)+ω
B
×
B(i,j)
[0021]其中A、B为两幅图像，F为融合之后的图像；i表示图像的第i行；j表示图像的第j列；ω
A
表示对图像A所加的权重。
[0022]优选地，设有两个雷达R
h
和R
l
，其中高精度雷达R
h
的采样周期是2s，低精度雷达R
l
的采样周期是3s，利用内插外推法对数据进行时间排序；
[0023]首先将雷达的各个数据进行增量排序，然后将高精度雷达观测时间上的数据向低精度雷达时间点上的数据内插外推，最后取内插外推后的最小时间间隔为基本时间单元，根据基本时间单元，内插外推得到其他时间点上的数据，从而得到等间隔的数据。
[0024]优选地，对时间排序后数据进行数据级融合，将雷达采集的多组目标信息数据融
合成一组数据，在雷达信息融合时，采用最小二乘法进行融合，融合方法如下：
[0025]设Z
k
＝(z1,z2,
…
,z
n
)
T
为t
k-1
到t
k
时刻雷达阵列采集到的n个数据集合，用中的z和表示z1,z2,
…
,z
n
融合后的测量值和其导数，雷达的测量值z
i
表示为：
[0026][0027]v
t
表示测量噪声，将上式写成矩阵形式为：
[0028]Z
n
＝W
n
U+V
n
；其中，V
n
＝(v1,v2,
…
,v
n
)
T
，均值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源多模动态信息融合与认知方法，其特征在于，包括：相机图像融合步骤：使用多个相机进行相机图像采集，对采集的图像进行预处理和图像融合，得到图像信息融合结果；雷达信息融合步骤：使用多个雷达进行目标信息采集，将采集的目标信息进行融合和目标检测，得到目标检测结果；声矢量传感器跟踪步骤：使用多个声矢量传感器进行目标声音信号采集，将目标声音信号信息进行融合和目标跟踪，得到目标跟踪结果；雷达信息与视觉信息融合步骤：将图像信息融合结果、目标检测结果和目标跟踪结果进行融合，生成目标感兴趣区域。2.根据权利要求1所述的多源多模动态信息融合与认知方法，其特征在于，所述多个相机组成并行结构，分别进行图像采集，采集的图像经过预处理后得到数据级图像信息，对数据级图像信息进行融合，获得精度符合预设要求的图像信息和扩大时间覆盖范围。3.根据权利要求1所述的多源多模动态信息融合与认知方法，其特征在于，所述多个雷达组成并行结构，分别对目标进行信息采集，对采集的目标信息进行预处理，得到数据级目标信息并进行融合，获得精度符合预设要求的目标检测信息和扩大目标检测范围。4.根据权利要求1所述的多源多模动态信息融合与认知方法，其特征在于，所述多个声矢量传感器组成并行结构，分别采集目标声音信号，对采集的目标声音信号进行预处理，得到数据级目标声音信号并进行融合，获得精度符合预设要求的目标声音信息。5.根据权利要求1所述的多源多模动态信息融合与认知方法，其特征在于，所述融合包括：采用基于加权平均法的像素级的融合算法，公式为：F(i，j)＝ω
A
×
A(i，j)+ω
B
×
B(i，j)其中A、B为两幅图像，F为融合之后的图像；i表示图像的第i行；j表示图像的第j列；ω
A
表示对图像A所加的权重。6.根据权利要求5所述的多源多模动态信息融合与认知方法，其特征在于，设有两个雷达R
h
和R
l
，其中高精度雷达R
h
的采样周期是2s，低精度雷达R
l
的采样周期是3s，利用内插外推法对数据进行时间排序；首先将雷达的各个数据进行增量排序，然后将高精度雷达观测时间上的数据向低精度雷达时间点上的数据内插外推，最后取内插外推后的最小时间间隔为基本时间单元，根据基本时间单元，内插外推得到其他时间点上的数据，从而得到等间隔的数据。7.根据权利要求6所述的多源多模动态信息融合与认知方法，其特征在于，对时间排序后数据进行数据级融合，将雷达采集的多组目标信息数据融合成一组数据，在雷达信息融合时，采用最小二乘法进行融合，融合方法如下：设Z
k
＝(z1，z2，
…
，z
n
)
T
为t
k-1
到t
k
时刻雷达阵列采集到的n个数据集合，中的z和表示z1，z2，
…
，z
n
融合后的测量值和其导数，雷达的测量值z
i
表示为：v
t
表示测量噪声，将上式写成矩阵形式为：Z
n
＝W
n
U+V
n
；其中，V
n
＝(v1，v2…
，v
n
)
T
，均值为0，协方差阵为：
其中，σ
r
为融合前的测量噪声方差；根据最小二乘准则有：J为使最小而定义的一个变量；和U的含义相同；为使J最小，对上式两边求导：则有：则有：和z的含义相同；和的含义相同；方差阵估值为：对n个测量值进行融合得k时刻的测量值以及噪声方差为：对n个测量值进行...

【专利技术属性】
技术研发人员：高洪波，黄鹏博，李智军，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：