多传感器融合的数据处理方法、装置与多传感器融合方法制造方法及图纸

本发明专利技术提供了一种多传感器融合的数据处理方法、装置与多传感器融合方法，能够将不同传感器测得的多个不同维度的数据以像素元素为基础，用多维矩阵结构的形式组合在一起，进而，可有利于对取得的数据做多层面的数据融合与深度学习，其可有利于实现更多样更有效的数据挖掘与特征提取，从而产生更有效的环境感知与目标检测的能力。

Data Processing Method, Device and Multisensor Fusion Method for Multisensor Fusion

The invention provides a data processing method, device and multi-sensor fusion method for multi-sensor fusion, which can combine multi-dimensional data measured by different sensors on the basis of pixel elements and in the form of multi-dimensional matrix structure, thereby facilitating multi-dimensional data fusion and in-depth learning of the acquired data, and can help to realize more. Thus, more effective data mining and feature extraction can produce more effective ability of environmental perception and target detection.

【技术实现步骤摘要】
多传感器融合的数据处理方法、装置与多传感器融合方法
本专利技术涉及电子设备的数据处理领域，尤其涉及一种多传感器融合的数据处理方法、装置与多传感器融合方法。
技术介绍
在目标识别与环境感知领域，需要相对完整的数据采集和保存用于环境感知与目标检测任务处理，如果采用机器学习则还需要大量的正负样本用于学习与训练；在目标识别过程中，会产生大量的中间数据供处理单元处理使用，而且可能在目标识别过程中有“云计算”(远程处理)的参与，需要高效的数据采集、保存技术。同时，有效的环境感知与目标检测需要多维度的探测数据支撑。目前常用于环境感知与目标检测的传感器可包括：以摄像头为例的图像采集传感器、微波雷达、红外传感器、超声波雷达以及激光雷达等等，它们被广泛地用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人、无人搬运车(AGV)、智能家居、智能安防，以及各种需要有环境感知与目标检测能力的设备与系统中。图像采集传感器(摄像头)可以感知目标的纹理(形状，轮廓，光照明暗等)与色彩，记录一瞬间的图像信息。摄像头还可以录制视频信息，把记录的事件用时间轴串起来形成视频流，可用于事件的回放与时间关联的事件分析。红外传感器(红外摄像头)是图像采集传感器的一种，能捕捉目标的红外辐射信息并以图片和视频的格式来保存。微波雷达(或者统称为雷达)可以捕捉目标的相对距离、相对运动速度、目标的雷达散射截面RCS数据，并以热图、目标物的相对距离、相对运动速度、目标的雷达散射截面RCS数据维度的定量表述(RadarObjectDataOutput)，或者点云数据输出。激光雷达则主要通过探测目标的空间位置(相对距离，空间角度位置坐标信息)输出目标的点云数据。各种传感器都有自己的信息感知维度，比如说我们常用的摄像头，它可以捕捉目标的图像信息，栩栩如生的记录拍摄那一刻的环境与目标的纹理与色彩信息，但是我们可能无法从单张图片中准确提取目标的距离、速度信息，我们也很难从一张传统的照片来预测事件下一刻将要会发生什么。我们用视频的方式(视频的本质是把照片用它们各自被拍摄瞬间的时间轴串联起来再按照时间轴回放的图片系列)来记录和分析事件，但是视频的方式带来巨量的数据，以及因此带来的大传输带宽和存储数据的空间的需求。其它传感器的记录方式，比如说雷达，超声波以及激光雷达等，能记录各自传感器自身感知维度的信息，比如，目标的距离、速度；他们记录的数据信息以及目前的记录方式(数据结构)对于我们需要的全面描述记录目标特征并可以直接用于环境感知与事件预测，数据的维度与完整度不足。现有相关技术中，各传感器探测到的数据是相互独立的，缺乏深度融合，进而，在利用探测到的数据进行特征提取、数据挖掘等处理时，环境感知与目标检测的能力都较弱。
技术实现思路
本专利技术提供一种多传感器融合的数据处理方法、装置与多传感器融合方法，以解决传感器探测到的数据缺乏深度融合的问题。根据本专利技术的第一方面，提供了一种多传感器融合的数据处理方法，包括：获取目标对象的图像数据与至少一组探测数据组；所述图像数据是图像采集传感器探测到的，所述探测数据组是其他传感器探测到的；所述图像数据用于利用至少一个像素数据矩阵表征所述图像采集传感器采集到的目标图像；不同探测数据组为不同探测维度的探测数据；将图像数据与其它探测数据建立起映射关系,在数据结构上形成多维矩阵结构，具体可例如形成“多维度测量参数”矩阵数组的多维矩阵结构(也可称其为多维像素矩阵)；其中：所述多维矩阵结构包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层，每个像素矩阵层对应用于表征一个像素数据矩阵，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据组中的探测数据元素纵向对应于所述像素矩阵层中的的像素元素；所述探测数据元素的数值均是根据探测数据赋值确定的。根据第二方面，提供了一种多传感器融合的数据处理装置，包括：获取模块，用于获取目标对象的图像数据与至少一组探测数据组；所述图像数据是图像采集传感器探测到的，所述探测数据组是其他传感器探测到的；所述图像数据用于利用至少一个像素数据矩阵表征所述图像采集传感器采集到的目标图像；不同探测数据组为不同探测维度的探测数据；形成模块，用于形成多维矩阵结构；其中：所述多维矩阵结构包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层，每个像素矩阵层对应用于表征一个像素数据矩阵，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据组中的探测数据元素纵向对应于所述像素矩阵层中的像素元素；所述探测数据元素的数值均是根据探测数据赋值确定的。根据本专利技术的第三方面，提供了一种多传感器融合方法，包括：把来自多传感器的多个维度的探测数据用多维像素矩阵的形式组合在一起，建立以摄像头像素为颗粒度的立体多维深度感知矩阵数组；在多维像素矩阵中，把每个像素包含的信息做了纵向扩展，除了其原本包含的亮度与颜色信息，还为每个像素增加了多个纵向维度，在增加的纵向维度上能够输入该像素在摄像头探测空间映射的目标对象被其它传感器探测到的多种对应维度的探测信息，所述探测信息包括以下至少之一：相对距离、相对运动速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布等数据；其中，把多维度的探测信息以分层的方式装配到原本以图像像素为单元的目标对象描述之上，产生多维像素，其在数学上表现为统一结构的矩阵数组，以使得原来的每一个像素变成了一个多维像素，得到多维像素矩阵。根据本专利技术的第四方面，提供了一种处理设备，包括存储器与处理器；所述存储器，用于存储感知数据，中间运行数据，系统输出数据和所述处理器的可执行指令；所述处理器配置为经由执行所述可执行指令来执行第一方面及其可选方案涉及的方法，或者第三方面及其可选方案涉及的方法。根据本专利技术的第五方面，提供了一种传感设备，包括存储器、处理器与传感器；所述存储器，用于存储感知数据，中间运行数据，系统输出数据和所述处理器的可执行指令；所述处理器配置为经由执行所述可执行指令来执行第一方面及其可选方案涉及的方法，或者第三方面及其可选方案涉及的方法。根据本专利技术的第六方面，提供了一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案涉及的方法，或者第三方面及其可选方案涉及的方法，同时可存储感知数据，中间运行数据以及系统输出数据。本专利技术提供的多传感器融合的数据处理方法、装置与多传感器融合方法，能够将不同传感器测得的多个不同维度的数据以像素元素为基础，按照其成像的空间数据采样模型把多种数据映射,进行统一的数据对齐与归并,在数据结构上形成“多维度测量参数”矩阵数组的多维矩阵结构，用多维矩阵结构的形式组合在一起，进而，可对取得的数据做多层面的数据融合与深度学习，其可实现更多样更有效的数据挖掘与特征提取，从而产生更有效的环境感知与目标检测的能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1是本专利技术实施例1中多传感器融合的数据处理方法的一流程示意图；图2是本专利技术实施例1中形成多维矩阵结构的一原理示意图；图3是本专利技术实施例1中形成多维矩阵结构的另一原理示意图；图4是本专利技术实施例1中形成多维矩阵本文档来自技高网...

【技术保护点】
1.一种多传感器融合的数据处理方法，其特征在于，包括：获取目标对象的图像数据与至少一组探测数据组；所述图像数据是图像采集传感器探测到的，所述探测数据组是其他传感器探测到的；所述图像数据用于利用至少一个像素数据矩阵表征所述图像采集传感器采集到的目标图像；不同探测数据组为不同探测维度的探测数据；形成多维矩阵结构；其中：所述多维矩阵结构包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层，每个像素矩阵层对应用于表征一个像素数据矩阵，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据组中的探测数据元素纵向对应于所述像素矩阵层中的像素元素；所述探测数据元素的数值均是根据探测数据赋值确定的。

【技术特征摘要】
2018.03.29 CN 20181028035821.一种多传感器融合的数据处理方法，其特征在于，包括：获取目标对象的图像数据与至少一组探测数据组；所述图像数据是图像采集传感器探测到的，所述探测数据组是其他传感器探测到的；所述图像数据用于利用至少一个像素数据矩阵表征所述图像采集传感器采集到的目标图像；不同探测数据组为不同探测维度的探测数据；形成多维矩阵结构；其中：所述多维矩阵结构包括纵向分布的多个矩阵层，所述多个矩阵层包括至少一层像素矩阵层与至少一层传感矩阵层，每个像素矩阵层对应用于表征一个像素数据矩阵，每个所述传感矩阵层用于表征一组探测数据组，所述探测数据组中的探测数据元素纵向对应于所述像素矩阵层中的像素元素；所述探测数据元素的数值均是根据探测数据赋值确定的。2.根据权利要求1所述的方法，其特征在于，所述形成多维矩阵结构，包括：根据已建立的映射关系，确定所述目标对象的每一个探测数据对应的所述目标对象的像素元素，所述映射关系用于表征所述其他传感器的探测域中不同探测维度的不同位置的探测数据与不同像素元素之间的映射关系；将所述探测数据赋值到其所对应的像素元素所纵向对应的探测数据元素；建立所述映射关系的过程，包括：通过数据处理变动各传感器的探测坐标系，并使得各传感器的探测域的中心轴线与所述图像采集传感器的光轴一致，以及：各传感器的探测域的探测顶点与所述图像采集传感器的入瞳中心重合；根据所述图像采集传感器的光轴与入瞳中心，在变动后将各传感器的探测域投射到所述图像采集传感器的成像面所处的二维平面，得到每个传感器对应的投射区域；根据所述二维平面中所述投射区域与所述图像采集传感器的成像区域的位置关系，确定所述映射关系。3.根据权利要求1所述的方法，其特征在于，若所述其他传感器的分辨率与所述图像采集传感器的分辨率不匹配；则：所述传感矩阵层中的数据元素还包括第一插值数据元素，和/或：所述像素矩阵层中的数据元素还包括第二插值数据元素；所述探测数据元素的数值为对应的探测数据本身，或者所述探测数据元素的数值是根据对应的探测数据换算确定的；所述多维矩阵结构中的矩阵层能够被有选择地激活。4.根据权利要求1所述的方法，其特征在于，所述形成多维矩阵结构之后，还包括：对所述其他传感器的探测域中检测出来的任意的一个或多个参考目标对象进行定位计算，得到目标定位结果；所述目标定位结果用于表征所述参考目标对象在探测空间中的位置；将所述目标定位结果所表征的位置映射到像素矩阵层，得到校验定位信息；比对所述校验定位信息与原定位信息，得到定位误差信息；所述原定位信息用于表征对于同一所述参考目标对象，在形成多维矩阵结构时所确定的像素元素在所述像素矩阵层中的位置；根据所述定位误差信息，调整对应的所述传感矩阵层，以使得所述传感矩阵层与所述像素矩阵层的纵向对应关系发生变化；根据变化后的纵向对应关系调整所述传感矩阵层中探测数据元素的赋值。5.根据权利要求1至4任一项所述的方法，其特征在于，所述其他传感器为以下至少之一：微波雷达、超声波雷达、激光雷达、红外传感器，以及太赫兹成像传感器；所述其他传感器的探测数据包括以下至少之一：距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据，以及热辐射温度数据；所述像素数据矩阵包括以下至少之一：亮度数据矩阵、灰度数据矩阵、RGB三层数据矩阵、R层数据矩阵、G层数据矩阵、B层数据矩阵、YUV三层数据矩阵，Y层数据矩阵、U层数据矩阵、V层数据矩阵以及光流数据矩阵。6.一种多传感器融合的数据处理装置，其特征在于，...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海智瞳通科技有限公司，
类型：发明
国别省市：上海,31