一种便携式高光谱视频实时采集和处理装置及其方法制造方法及图纸

本发明专利技术公开了一种便携式高光谱视频实时采集和处理装置及其方法。装置包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，数据采集模块采集RGB视频和光谱视频并将数据传输到压缩模块；压缩模块并行压缩多路视频信息并将压缩后的数据提供给传输模块；传输模块将数据传输到控制计算模块，并用于控制计算模块向数据采集模块和压缩模块发送指令；控制计算模块用发送指令控制采集模块采集视频和压缩模块，并将接收到的视频数据解码，再实时融合和分析处理数据；显示模块将融合后的视频实时显示。本发明专利技术能实现RGB和光谱视频的采集、压缩、传输和处理分析，具有采集装置小型化和数据处理实时性的特点，便于室外数据的采集。

Portable hyperspectral video real-time acquisition and processing device and method thereof

The invention discloses a portable hyperspectral video real-time acquisition and processing device and a method thereof. The device comprises a data acquisition module, compression module, transmission control module, calculation module and display module, data acquisition module and RGB video spectral video and then transmit the data to the compression module; compression module parallel compression of video information and will provide the compressed data to the transmission module; transmission module transmits the data to the control calculation module. And is used to control the calculation module to the data acquisition module and control module to send compressed instruction; collecting module and video compression module is used to send commands and receive calculation module, video data decoding, and real-time integration and data analysis; the fusion of the video display module to real-time display. The invention can realize the collection, the compression, the transmission and the processing analysis of the RGB and the spectrum video, and has the characteristics of miniaturization of the acquisition device and the real-time property of data processing, so as to facilitate the collection of the outdoor data.

【技术实现步骤摘要】
一种便携式高光谱视频实时采集和处理装置及其方法
本专利技术涉及计算摄像学领域，尤其涉及一种便携式高光谱视频实时采集和处理装置及方法。
技术介绍
近年来，计算摄像学已经成为计算机视觉、数字信号处理、图形学等领域的前沿研究热点，对真实场景的高光谱视频实时采集和处理引起广泛的关注。高光谱图像的相关研究工作对于军事、农业、医学等领域有着重要的意义。传统RGB相机仅仅捕捉红绿蓝(RGB)三个通道信息，失去了光谱维度上的大量细节，而场景中许多物质的很多特质可由光谱中丰富的细节信息来揭示。同时，传统的高光谱视频采集系统质量较大，并需要配备体积庞大的个人电脑，因此对室外光谱视频的采集造成不便，同时也很难实时处理和分析数据，因此需要设计一种便携式高光谱视频实时采集和处理装置。
技术实现思路
针对以上现有技术中存在的缺陷，本专利技术的目的在于提出一种便携式高光谱视频实时采集和处理装置及其方法，能够实现高光谱视频的实时采集、处理和显示，并通过网络实现光谱相机模块与PC端控制计算模块的通信，从而实现光谱相机与外部计算机的分离，能够做到相机的小型化和整个系统的实时性。为达上述目的，本专利技术的装置采用如下技术方案：一种便携式高光谱视频实时采集和处理装置，包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，其中：所述数据采集模块用于采集多路视频数据，视频数据包括光谱视频数据和RGB视频数据；所述压缩模块用于并行压缩所述多路视频数据，并将压缩好的视频数据提供给传输模块；所述传输模块用于将数据传输到控制计算模块，并用于将控制计算模块发出的指令发送到所述数据采集模块和压缩模块；所述控制计算模块用于发送指令控制所述数据采集模块采集视频，并将接收到的视频数据解码，进一步通过降低光谱视频的通道数来实时融合和分析处理数据，然后将该视频提供给显示模块；所述显示模块用于实时显示所述控制计算模块融合后的视频。进一步地，本专利技术的装置还包括输入模块，所述输入模块分别与数据采集模块和压缩模块相连，用于将数据采集模块采集的视频传输给压缩模块。优选地，所述输入模块包括多路USB接口；所述传输模块包括千兆网卡；所述控制计算模块包括CPU和GPU；所述显示模块包括HDMI接口和显示器。进一步地，所述控制计算模块还用于发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。本专利技术利用上述便携式高光谱视频实时采集和处理装置的方法，包括以下步骤：所述控制计算模块发送指令控制数据采集模块采集；所述数据采集模块采集多路视频数据，并将采集的视频数据提供给压缩模块；所述压缩模块对多路视频数据进行并行压缩，其中对于光谱视频的每帧进行切片处理成几十个通道，再将这些通道拼成视频进行压缩；所述传输模块将压缩后的数据通过网络发送到上位机的所述控制计算模块；所述控制计算模块将接收到的压缩后的多路视频数据进行解压，并对多路视频数据进行融合和分析处理，并将融合后的视频提供给显示模块；所述显示模块将计算控制模块融合后的视频实时显示。进一步地，所述压缩模块使用IntelQuickSyncVideo硬件加速视频的编码，以提高视频的压缩速度从而提高整个装置的实时性。所述传输模块采用无线网传输或者有线网传输，其使用的网络传输协议为TCP、UDP、UDT或WiFidirect。所述数据采集模块和压缩模块都在片上系统上实现。所述控制计算模块发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。所述控制计算模块中的数据处理先进行数据的融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。本专利技术通过融合RGB图像和光谱图像可以获取高空间分辨率和高光谱分辨率的光谱视频。本专利技术的装置实现了RGB和光谱视频的实时采集、压缩、传输和处理分析。其中采用IntelQuickSyncVideo硬件加速视频的编码，能实现更快速的编码并减少传输的数据量从而提高系统的实时性；并能对视频中的物体进行实时分割处理，提高整个系统的应用价值。本专利技术具有采集装置小型化和数据处理实时性的特点，便于室外数据的采集。附图说明图1为本专利技术便携式高光谱视频实时采集和处理装置的结构示意图；图2为本专利技术便携式高光谱视频实时采集和处理方法的流程图。具体实施方式下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。如图1所示，本专利技术一个实施例的便携式高光谱视频实时采集和处理装置包括：数据采集模块10、压缩模块30、传输模块40、控制计算模块50、显示模块60。具体地，数据采集模块10用于采集多路视频数据，所述视频数据至少包括光谱视频和RGB视频。压缩模块30用于并行压缩多路视频数据，并将压缩好的视频数据提供给传输模块40。传输模块40用于将数据传输到上位机的控制计算模块50，并用于控制计算模块50向数据采集模块10发送指令，压缩模块30和传输模块40使用两个线程同时处理。控制计算模块50用于发送指令控制数据采集模块10采集视频，并将解码接收到的视频文数据，并通过降低光谱视频的通道数来实时融合和分析处理数据，并将该视频提供给显示模块60。显示模块60用于实时显示计算控制模块50融合后的视频。需要说明的是，本专利技术的实施例中，控制计算模块50还用于发送指令控制压缩模块30以不同压缩率来压缩RGB图像，并控制压缩模块30获取不同的光谱通道图像再进行无损压缩。具体地，在本专利技术的实施例中，该装置还包括：输入模块20，输入模块20分别与数据采集模块10和压缩模块30相连，具体而言，输入模块20用于将数据采集模块10采集的视频传输给压缩模块30。需要说明的是，本专利技术的实施例中，输入模块20包括多路USB接口；数据采集模块10至少包括采集RGB视频和采集光谱相机两路相机；传输模块30包括千兆网卡；计算控制模块50包括CPU和GPU；显示模块60包括HDMI接口和显示器。根据本专利技术一个实施例的便携式高光谱视频实时采集和处理方法，如图2所示，该方法包括：201，控制计算模块50发送指令控制数据采集模块10进行视频采集，并将视频数据提供给压缩模块30；202，压缩模块30利用H264压缩算法并行压缩多路视频数据，并将压缩好的视频数据提供给传输模块40；同时，压缩模块30利用IntelQuickSyncVideo硬件加速视频的编码，以提高视频的压缩速度从而提高整个系统的实时性。203，传输模块40将压缩后的数据通过网络发送到上位机的控制计算模块50；204，控制计算模块50接收到的压缩后的多路视频数据进行解压，并对多路视频数据进行实时融合和分析处理，并将融合后的视频提供给显示模块60；所述多路视频数据至少包括RGB视频和光谱视频。206，控制计算模块50将多路视频数据进行融合获得高光谱视频信息，再利用光谱分割算法对视频中的物体进行准确的分割。205，显示模块60将融合处理后的视频实时显示。具体地，在本专利技术的实施例中，控制计算模块50的数据处理可以使用双边滤波的光谱传算法。本专利技术的实施例中，数据采集模块10还包括以下步骤：场景光线通过分光镜后被分为相同的两束：一束直接通过RGB相机采集到RGB视频；另一束先通过掩膜板进行下采样，再经本文档来自技高网...

【技术保护点】
一种便携式高光谱视频实时采集和处理装置，其特征在于，该装置包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，其中：所述数据采集模块用于采集多路视频数据，视频数据包括光谱视频数据和RGB视频数据；所述压缩模块用于并行压缩所述多路视频数据，并将压缩好的视频数据提供给传输模块；所述传输模块用于将数据传输到控制计算模块，并用于将控制计算模块发出的指令发送到所述数据采集模块和压缩模块；所述控制计算模块用于发送指令控制所述数据采集模块采集视频，并将接收到的视频数据解码，进一步通过降低光谱视频的通道数来实时融合和分析处理数据，然后将该视频提供给显示模块；所述显示模块用于实时显示所述控制计算模块融合后的视频。

【技术特征摘要】
1.一种便携式高光谱视频实时采集和处理装置，其特征在于，该装置包括数据采集模块、压缩模块、传输模块、控制计算模块和显示模块，其中：所述数据采集模块用于采集多路视频数据，视频数据包括光谱视频数据和RGB视频数据；所述压缩模块用于并行压缩所述多路视频数据，并将压缩好的视频数据提供给传输模块；所述传输模块用于将数据传输到控制计算模块，并用于将控制计算模块发出的指令发送到所述数据采集模块和压缩模块；所述控制计算模块用于发送指令控制所述数据采集模块采集视频，并将接收到的视频数据解码，进一步通过降低光谱视频的通道数来实时融合和分析处理数据，然后将该视频提供给显示模块；所述显示模块用于实时显示所述控制计算模块融合后的视频。2.根据权利要求1所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，该装置还包括输入模块，所述输入模块分别与数据采集模块和压缩模块相连，用于将数据采集模块采集的视频传输给压缩模块。3.根据权利要求2所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述输入模块包括多路USB接口；所述传输模块包括千兆网卡；所述控制计算模块包括CPU和GPU；所述显示模块包括HDMI接口和显示器。4.根据权利要求1、2或3所述的一种便携式高光谱视频实时采集和处理装置，其特征在于，所述控制计算模块还用于发送指令控制压缩模块以不同压缩率来压缩RGB图像，并控制压缩模块获取不同的光谱通道图像再进行无损压缩。5.利用如权利要求1所述一种便携...

【专利技术属性】
技术研发人员：马展，陈都，董辰辰，曹汛，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32