智能感算一体系统、其高速数据接口及其传感器数据融合方法技术方案

本发明专利技术涉及智能交通技术领域，公开了一种智能感算一体系统、其高速数据接口及其传感器数据融合方法，包括传感器、中央计算平台和传感器数据深度学习融合算法，中央计算平台包括高速信号连接器、高速信号串化解串器和中央计算芯片，高速信号连接器连接传感器；高速信号串化解串器连接高速信号连接器接收传感器数据并解串输出给中央计算芯片；传感器数据深度学习融合算法运行在中央计算芯片中，并处理通过高速信号串化解串器接收的传感器数据，以实现智能感知。本发明专利技术提供设计传感器、中央计算平台和传感器数据深度学习融合算法，实现更高性能的智能感知，形成智能感算一体系统，降低了智能驾驶整体系统成本并提升了智能感知性能。能。能。

【技术实现步骤摘要】
智能感算一体系统、其高速数据接口及其传感器数据融合方法


[0001]本专利技术涉及智能交通
，特别涉及一种智能感算一体系统、其高速数据接口及其传感器数据融合方法。

技术介绍

[0002]传统智能驾驶域控制器接收摄像头数据原始数据，通过CAN或者100M以太网接收传统毫米波雷达目标信息或者点云数据。接收毫米波雷达的点云或目标数据由于经过了筛选滤波，一些有用的信息被滤除，导致数据非常的稀疏，无法满足更高阶的ADAS系统对感知的需求。
[0003]传统毫米波雷达受成本和功耗的限制，数字信号处理部分的算力相对有限，无法实现超分辨算法和深度学习算法，无法识别更复杂的路况信息。
[0004]传统智能驾驶控制器无法接收和存储毫米波雷达原始ADC数据或者1DFFT数据，无法实现毫米波雷达数据在自动驾驶域控制器中进行深度学习算法和深度学习算法的闭环迭代，也无法实现毫米波雷达原始数据和摄像头数据的数据级融合，无法满足更高阶自动驾驶对智能感知的要求。

技术实现思路

[0005]本专利技术提供了一种智能感算一体系统、其高速数据接口及其传感器数据融合方法，设计传感器、与传感器连接的中央计算平台和运行在中央计算平台运行的传感器数据深度学习融合算法，实现更高性能的智能感知，形成智能感算一体系统，降低了智能驾驶整体系统成本并提升了智能感知性能。
[0006]本专利技术提供了一种智能感算一体系统、其高速数据接口及其传感器数据融合方法，包括传感器、中央计算平台和传感器数据深度学习融合算法，所述中央计算平台包括高速信号连接器、高速信号串化解串器和中央计算芯片，所述高速信号连接器通过同轴线缆或屏蔽双绞线连接传感器，所述传感器包括摄像头、毫米波雷达，或所述传感器包括摄像头、毫米波雷达和激光雷达；所述高速信号串化解串器连接高速信号连接器接收所述传感器数据并解串输出给所述中央计算芯片；所述传感器数据深度学习融合算法运行在所述中央计算芯片中，并处理通过高速信号串化解串器接收的传感器数据，以实现智能感知。
[0007]进一步地，所述中央计算平台包括一个或多个高速信号连接器；
[0008]所述高速信号连接器采用FAKRA连接器、高速数据连接器、同轴连接器、屏蔽双绞线连接器、双绞线连接器中的一种或多种，用于接收摄像头数据、毫米波雷达原始数据、激光雷达数据；
[0009]所述高速连接器为单端子连接器、双端子连接器、多端子连接器中的一种或多种。
[0010]进一步地，所述中央计算平台包含一个或多个高速信号串化解串器，用于接收摄像头数据、毫米波雷达原始数据、激光雷达数据，一个高速信号串化解串器支持一个通道或
多个通道传感器数据输入。
[0011]进一步地，所述中央计算芯片为系统级SOC芯片、嵌入式神经网络处理器NPU芯片、图形处理器芯片GPU芯片、现场可编辑逻辑门阵列FPGA芯片、专用集成电路ASIC芯片中的一种；
[0012]所述中央计算芯片为一个芯片，或所述中央计算芯片由二个或多个中央计算芯片组成，所述中央计算芯片之间通过高速接口实现芯片之间信号和高速数据的交互。
[0013]进一步地，所述中央计算芯片接收并处理毫米波雷达数据，毫米波雷达数据为ADC数据、1DFFT数据、压缩数据中的一种或多种；
[0014]所述中央计算芯片接收并处理毫米波雷达数据，处理得到的雷达张量数据，分为2D张量、3D张量、4D张量，具体雷达张量数据包括距离、多普勒、方位角和仰角信息，其中，所述方位角和仰角信息通过超分辨率算法计算得到。
[0015]进一步地，所述中央计算芯片接收并处理毫米波雷达数据，支持毫米波雷达数据处理，所述雷达数据处理的算法还包括CFAR、跟踪、聚类、分类。
[0016]进一步地，所述中央计算平台运行的传感器数据深度学习融合算法为基于毫米波雷达原始数据的深度学习算法、基于毫米波雷达原始数据或雷达张量数据的深度学习算法、基于毫米波雷达和摄像头传感器深度学习算法目标级融合、基于毫米波雷达和摄像头传感器深度学习算法数据级融合、基于毫米波雷达和摄像头传感器深度学习算法特征级融合、基于毫米波雷达和摄像头传感器深度学习算法混合级融合中的一种或多种；
[0017]进一步地，所述深度学习算法模型支持毫米波雷达和摄像头数据输入、激光雷达数据输入；
[0018]所述中央计算平台支持传感器影子算法模式和数据训练模型、多传感器非监督学习算法模型的一种或多种。
[0019]进一步地，所述摄像头、毫米波雷达、激光雷达的数量为一个或多个，所述中央计算平台通过同轴线缆、屏蔽双绞线、双绞线中的一种或多种连接毫米波雷达或激光雷达。
[0020]本专利技术的有益效果为：
[0021]1、本专利技术实现共用摄像头高速信号连接器和高速信号串行传输电路接收毫米波雷达数据。
[0022]2、本专利技术实现毫米波雷达从边缘计算向中央计算迈进，提升了毫米波雷达数据的处理能力和性能的提升，降低了系统成本。
[0023]3、本专利技术实现摄像头数据和毫米波雷达原始数据深度学习融合算法，实现更高性能的智能驾驶，实现更高阶智能驾驶。
附图说明
[0024]图1为本专利技术的中央计算平台的硬件结构和示意性框图。
[0025]图2为本专利技术中智能感算一体系统的硬件结构和示意性框图。
[0026]图3为本专利技术中毫米波雷达数据处理示意图。
[0027]图4为本专利技术中毫米波雷达数据处理和目标检测原理示意图。
[0028]图5为本专利技术中毫米波雷达原始ADC数据智能感算示意图。
[0029]图6为本专利技术中毫米波雷达RAD张量数据智能感算示意图。
[0030]图7为本专利技术中多传感器智能感算目标级融合示意图。
[0031]图8为本专利技术中多传感器智能感算数据级融合示意图。
[0032]图9为本专利技术中多传感器智能感算特征级融合示意图。
[0033]图10为本专利技术中多传感器智能感算混合级融合示意图。
[0034]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0035]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0036]本专利技术涉及智能驾驶域控制器、中央计算平台，智能驾驶感知系统、及多个传感器信号接口和多种传感器数据融合方法。
[0037]如图1所示，本专利技术提供了一种智能感算一体系统、其高速数据接口及其传感器数据融合方法，其为具有高速数据接口及传感器数据融合的智能感算一体系统，包括传感器、中央计算平台和传感器数据深度学习融合算法，所述中央计算平台包括高速信号连接器、高速信号串化解串器(SerDes)和中央计算芯片，所述高速信号连接器通过同轴线缆(CoaxCable)或屏蔽双绞线(STP)连接传感器，所述传感器包括摄像头、毫米波雷达，或所述传感器包括摄像头、毫米波雷达和激光雷达；所述摄像头、毫米波雷达、激光雷达的数量为一个或多个，所述中央计算平本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能感算一体系统、其高速数据接口及其传感器数据融合方法，其特征在于，包括传感器、中央计算平台和传感器数据深度学习融合算法，所述中央计算平台包括高速信号连接器、高速信号串化解串器和中央计算芯片，所述高速信号连接器通过同轴线缆或屏蔽双绞线连接传感器，所述传感器包括摄像头、毫米波雷达，或所述传感器包括摄像头、毫米波雷达和激光雷达；所述高速信号串化解串器连接高速信号连接器接收所述传感器数据并解串输出给所述中央计算芯片；所述传感器数据深度学习融合算法运行在所述中央计算芯片中，并处理通过高速信号串化解串器接收的传感器数据，以实现智能感知。2.根据权利要求1所述的智能感算一体系统、其高速数据接口及其传感器数据融合方法，其特征在于，所述中央计算平台包括一个或多个高速信号连接器；所述高速信号连接器采用FAKRA连接器、高速数据连接器、同轴连接器、屏蔽双绞线连接器、双绞线连接器中的一种或多种，用于接收摄像头数据、毫米波雷达原始数据、激光雷达数据；所述高速连接器为单端子连接器、双端子连接器、多端子连接器中的一种或多种。3.根据权利要求1所述的智能感算一体系统、其高速数据接口及其传感器数据融合方法，其特征在于，所述中央计算平台包含一个或多个高速信号串化解串器，用于接收摄像头数据、毫米波雷达原始数据、激光雷达数据，一个高速信号串化解串器支持一个通道或多个通道传感器数据输入。4.根据权利要求1所述的智能感算一体系统、其高速数据接口及其传感器数据融合方法，其特征在于，所述中央计算芯片为系统级SOC芯片、嵌入式神经网络处理器NPU芯片、图形处理器芯片GPU芯片、现场可编辑逻辑门阵列FPGA芯片、专用集成电路ASIC芯片中的一种；所述中央计算芯片为一个芯片，或所述中央计算芯片由二个或多个中央计算芯片组成，所述中央计算芯片之间通过高速接口实现芯片之间信号和高速数据的交互。5.根据权...

【专利技术属性】
技术研发人员：张龙兵，谢飞龙，康世轩，高虎，
申请(专利权)人：领瞳科技上海有限公司，
类型：发明
国别省市：