机载主被动三维影像实时成像装置及方法制造方法及图纸

本公开提供了一种机载主被动三维影像实时成像装置及方法。其中，所述机载主被动三维影像实时成像装置包括：数据管理模块，其包括FPGA，用于完成外部接口通信、数据预处理及数据分发管理；以及并行处理模块，其包括DSP，用于接收所述数据管理模块发送的数据，并完成三维影像生成处理。本公开机载主被动三维影像实时成像装置及方法，采用FPGA与DSP相结合的并行拓扑处理架构，可根据影像数据量灵活调整DSP数量，有效实现了性能与功耗间的平衡，并具有良好的通用性和可扩展性。

Airborne active and passive three dimensional image real-time imaging device and method

The present disclosure provides a real-time imaging device and method for airborne active and passive three-dimensional images. Among them, the airborne active and passive 3D image real-time imaging device includes a data management module, which includes a FPGA for external interface communication, data pre-processing and data distribution management, and a parallel processing module, which includes a DSP for receiving data transmitted by the data management module and completing 3D image generation. Processing. The airborne active and passive 3D image real-time imaging device and method adopts a parallel topology processing architecture combining FPGA and DSP, which can flexibly adjust the number of DSPs according to the image data, effectively realizes the balance between performance and power consumption, and has good versatility and scalability.

【技术实现步骤摘要】
机载主被动三维影像实时成像装置及方法
本公开涉及遥感
，尤其涉及一种机载主被动三维影像实时成像装置及方法。
技术介绍
近年来，利用遥感技术对观测目标的空间、纹理、光谱、材质等多维属性信息快速精准获取，已成为研究热点。激光雷达主动探测和多光谱/高光谱等光学相机被动成像技术作为近年来蓬勃发展的新型遥感探测手段，分别在目标几何空间、纹理光谱信息获取方面具有独特的技术特点，联合搭载激光雷达与高光谱成像仪这两类载荷同时获取地物的三维空间信息和光谱纹理信息，可以满足多种应用需求。然而，同平台搭载激光雷达与光学相机，存在数据配准问题，使得多维数据融合处理精度与信息提取效率都受到了较大的制约。因此，基于共用光路系统的主被动一体化迅捷成像系统应运而生，两类传感器共用光路、采用相同的扫描方式，能够保证高效匹配。由于主被动一体化迅捷成像处理不仅要处理激光雷达、光学相机以及POS/IMU三种不同载荷产生的大量数据，而且其中的配准处理、激光点三维解算、三维融合处理等包含大量浮点运算，且算法复杂、数据交互繁琐，这都就对数据处理系统性能提出了很高的要求。另一方面，在机载平台上，体积、功耗都成为系统设计中必须要考虑的重要要素。因此，机载主被动三维影像实时成像系统应具备功耗到性能的高效转化能力。目前，主被动一体化成像技术在成像算法方面开展了较多研究，但是在机载实时成像处理系统研制方面尚未见报道。传统的机载数据处理系统一般采用单个或多个单核DSP处理器，例如ADI公司的TS201、TI公司的TMS320C6701等。然而，单核DSP较低的运算能力往往难以满足海量数据实时处理的需求；同时单核DSP内较小的缓存空间也不利于遥感图像处理过程中的高速数据交互；另一方面，传统单核DSP的互联方式是将多个DSP用高速接口连接，随着DSP数量的增加，系统的传输带宽会受到极大制约，同时主控制器的资源消耗也会大大增加。因此，单核DSP的设计思路难以满足主被动一体化成像的应用需求，同时采用单核DSP的系统架构也会带来功耗和尺寸方面的问题。
技术实现思路
(一)要解决的技术问题鉴于上述技术问题，本公开提供了一种机载主被动三维影像实时成像装置及方法，以实现共光路主被动一体化成像系统的机载实时成像处理。(二)技术方案根据本公开的一个方面，提供了一种机载主被动三维影像实时成像装置，包括：数据管理模块，其包括FPGA，用于完成外部接口通信、数据预处理及数据分发管理；以及并行处理模块，其包括DSP，用于接收所述数据管理模块发送的数据，并完成三维影像生成处理。在一些实施例中，所述数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、及动态/静态检校参数，并进行数据解析、粗差改正、内插、时间配准预处理；且将配准好的数据进行切分、打包，通过数据传输接口分发给所述并行处理模块中的各处理节点；所述并行处理模块中的各处理节点，分别通过数据传输接口接收所述数据管理模块发送的待处理数据，开展激光点云解算、像方匹配和融合处理，以获得三维影像；并通过数据传输接口，将三维影像数据上传给数据管理模块。在一些实施例中，所述并行处理模块包括2片DSP，每片DSP作为一个独立的并行处理节点，处理节点间采用按数据划分的并行方式。在一些实施例中，每片DSP与FPGA之间均采用多种方式互联，包括：串行快速输入输出口SRIO以及串行总线IIC；其中，利用SRIO实现原始数据的下传和三维影像数据的上传，利用IIC实现指令发送和状态监控。在一些实施例中，所述DSP为多核DSP；所述FPGA包括：主控制器，用于控制FPGA的时序逻辑和状态转移；CCD数据接收单元，用于通过CameraLink接口接收CCD影像数据，并进行数据解析和有效数据提取；CCD数据缓存单元，用于利用BlockRAM实现CCD影像数据的缓存；第一地址控制器，用于根据所述主控制器的控制提供CCD数据缓存的读写地址、使能信号；激光测距数据接收单元，用于通过RS422接口接收激光测距数据，并进行串并转换、数据解析；激光测距数据缓存单元，用于利用BlockRAM实现激光测距数据的缓存；第二地址控制器，用于根据所述主控制器的控制提供激光测距数据缓存的读写地址、使能信号；激光测距数据粗差改正单元，用于根据距离阈值对激光测距数据中的粗差点进行滤除，并采用内插方法对漏点进行补充，以实现粗差改正；位置姿态数据接收单元，用于通过RS232接口接收位置姿态数据；位置姿态数据缓存单元，用于利用FIFO实现位置姿态数据的缓存；位置姿态数据处理单元，用于根据时间码，利用内插方法计算CCD影像获取时刻、激光雷达测距数据获取时刻所对应的位置姿态数据；时间配准及数据打包单元，用于根据时间同步关系，完成CCD影像数据、激光雷达测距数据以及位置姿态数据的配准；SRIO控制器，用于通过SRIO接口与多核DSP互联，以进行原始数据、结果数据的传输；以及PCIe控制器，用于通过PCIe总线实现通信，静态/动态检校辅助数据注入、指令发布、状态监控、结果数据上传。在一些实施例中，所述DSP具有8个处理核，其中，0核作为主控核，用于通过SRIO接口与FPGA通信、数据缓存与分发、任务控制、状态监控；1-5核作为点云解算从核，用于利用激光测距值、位置姿态数据、检校参数进行激光点云解算处理，获得激光点云数据，5个核独立并行处理不同的数据块；6-7核作为融合从核，用于对激光点云进行高程内插，实现与CCD影像的像方匹配，并针对CCD像点，采用正解法按照共线条件方程逐点解算大地坐标，赋上像元CCD影像上的灰度/光谱值，即可得到三维影像。在一些实施例中，核间通信利用MessageQ实现，数据访问采用增强型直接内存访问(EnhancedDirectMemoryAccess3，EDMA3)方式。在一些实施例中，所述FPGA利用PCIe总线与上位机进行数据传输，利用LVDS总线与扩展板卡进行互联，利用CameraLink总线接收光学相机的影像数据，利用RS422串行总线接收激光雷达的测距数据，利用RS232接收POS/IMU的位置姿态数据。根据本公开的另一个方面，还提供了一种机载主被动三维影像实时成像方法，包括：数据管理模块进行外部接口通信、数据预处理及数据分发管理；以及并行处理模块接收所述数据管理模块发送的数据，并进行三维影像生成处理；其中，所述数据管理模块包括FPGA，所述并行处理模块包括DSP。在一些实施例中，数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、动态/静态检校参数数据，进行数据解析、粗差改正、内插、时间配准预处理；并将配准好的数据进行切分、打包，通过数据传输接口分发给并行处理模块中的各处理节点；并行处理模块中的各处理节点，分别通过数据传输接口待处理数据，并开展激光点云解算、像方匹配和融合处理，最终获得三维影像，并通过数据传输接口，将三维影像数据上传给数据管理模块。(三)有益效果从上述技术方案可以看出，本公开机载主被动三维影像实时成像装置及方法具有以下有益效果：(1)本公开采用FPGA与DSP相结合的并行拓扑处理架构，可以根据影像数据量灵活调整DSP数量，有效实现性能与功耗间的平衡，并具有良好的通用性和可扩展性。(2)本公开装置中，由本文档来自技高网...

【技术保护点】
1.一种机载主被动三维影像实时成像装置，包括：数据管理模块，其包括FPGA，用于完成外部接口通信、数据预处理及数据分发管理；以及并行处理模块，其包括DSP，用于接收所述数据管理模块发送的数据，并完成三维影像生成处理。

【技术特征摘要】
1.一种机载主被动三维影像实时成像装置，包括：数据管理模块，其包括FPGA，用于完成外部接口通信、数据预处理及数据分发管理；以及并行处理模块，其包括DSP，用于接收所述数据管理模块发送的数据，并完成三维影像生成处理。2.根据权利要求1所述的机载主被动三维影像实时成像装置，其中，所述数据管理模块通过外部接口接收CCD影像数据、激光测距数据、位置姿态数据、及动态/静态检校参数，并进行数据解析、粗差改正、内插、时间配准预处理；且将配准好的数据进行切分、打包，通过数据传输接口分发给所述并行处理模块中的各处理节点；所述并行处理模块中的各处理节点，分别通过数据传输接口接收所述数据管理模块发送的待处理数据，开展激光点云解算、像方匹配和融合处理，以获得三维影像；并通过数据传输接口，将三维影像数据上传给数据管理模块。3.根据权利要求1所述的机载主被动三维影像实时成像装置，其中，所述并行处理模块包括2片DSP，每片DSP作为一个独立的并行处理节点，处理节点间采用按数据划分的并行方式。4.根据权利要求3所述的机载主被动三维影像实时成像装置，其中，每片DSP与FPGA之间均采用多种方式互联，包括：串行快速输入输出口SRIO以及串行总线IIC；其中，利用SRIO实现原始数据的下传和三维影像数据的上传，利用IIC实现指令发送和状态监控。5.根据权利要求1所述的机载主被动三维影像实时成像装置，其中，所述DSP为多核DSP；所述FPGA包括：主控制器，用于控制FPGA的时序逻辑和状态转移；CCD数据接收单元，用于通过CameraLink接口接收CCD影像数据，并进行数据解析和有效数据提取；CCD数据缓存单元，用于利用BlockRAM实现CCD影像数据的缓存；第一地址控制器，用于根据所述主控制器的控制提供CCD数据缓存的读写地址、使能信号；激光测距数据接收单元，用于通过RS422接口接收激光测距数据，并进行串并转换、数据解析；激光测距数据缓存单元，用于利用BlockRAM实现激光测距数据的缓存；第二地址控制器，用于根据所述主控制器的控制提供激光测距数据缓存的读写地址、使能信号；激光测距数据粗差改正单元，用于根据距离阈值对激光测距数据中的粗差点进行滤除，并采用内插方法对漏点进行补充，以实现粗差改正；位置姿态数据接收单元，用于通过RS232接口接收位置姿态数据；位置姿态数据缓存单元，用于利用FIFO实现位置姿态数据的缓存；位置姿态数据处理单元，用于根据时间码，利用内插方法计算...

【专利技术属性】
技术研发人员：李传荣，贺文静，孟凡荣，黎荆梅，胡坚，唐伶俐，周梅，周春城，吴昊昊，李伟，
申请(专利权)人：中国科学院光电研究院，
类型：发明
国别省市：北京,11