基于地面无人平台的图像处理与融合计算方法技术

本发明专利技术属于图像处理、边缘计算和无人驾驶技术领域，为实现地面无人平台低延时、响应快、高敏捷的图像处理和融合处理过程，且同时兼顾平台全天候和本地化处理任务，本发明专利技术提出一种基于地面无人平台的图像处理与融合计算方法，所述方法所基于的装置包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元。该方法充分发挥FPGA和ARM两类计算单元硬件架构特点，利用与软件功能相匹配的并行和流水线计算资源，在视频转换单元的输入输出协同下，极大程度的减少了视频采集与处理延时时间，满足高清、低功耗场景使用需求，可达到较优的图像处理与融合计算效果。可达到较优的图像处理与融合计算效果。可达到较优的图像处理与融合计算效果。

【技术实现步骤摘要】
基于地面无人平台的图像处理与融合计算方法


[0001]本专利技术属于图像处理、边缘计算和无人驾驶
，具体涉及一种基于地面无人平台的图像处理与融合计算方法。

技术介绍

[0002]随着人工智能技术和无人驾驶技术的发展，无人智能化设备数量将迎来爆发式增长，特别是“人
‑
机协同”或“半自主”的应用模式要求地面无人平台自身具备一定的前端探测和昼夜巡航能力，通过将各类图像传感器资源加持于地面无人平台上可显著提升其自主感知决策能力。但由于这些图像传感器种类繁多，受限于各自工作原理、成像方式等不同，造成了不同图像传感器最终成像效果均有较大差异性，比如微光摄像头在白天或弱光环境下能够做到场景细节的完整复原，但对夜间环境中的人员、车辆等信息，无法与场景背景有较强的对比度区分；红外摄像头能够针对人体、发动机、车窗等表面热源做出灵敏探测，但对于道路、树木等无热源背景成像效果较差。因此，可以通过采用特定的图像计算装置对地面无人平台获取到的图像信息进行互补处理和融合利用，实现最佳的成像效果。
[0003]如图1所示，目前业界常采用如下两种方式用于地面无人平台的图像处理与融合计算，方式一是采用传统工控机安装于地面无人平台，工控机内部计算单元由CPU(中央处理器)和具备图形计算能力的GPU(图形处理器)构成，通过PCIE接口连接组成两种异构运算单元。地面无人平台所需的微光、红外摄像头一般采用通用标准USB式接口或以太网接口，方便传感设备接入。GPU负责图像的不同像素标准数据并行解析、图像降噪等预处理操作，CPU负责对摄像头数据的接入读取和结果融合；方式二是地面无人平台只负责前端采集，采集完成后将所有图像信息汇聚至网关，然后通过无线数据链方式发送至背负式或手持式控制台，控制台对地面无人平台采集到前端图像进行图像处理与融合，处理后将融合结果回传给地面无人平台。
[0004]对于方式一，该方式仍然遵循传统计算机使用方式，可支持的摄像头外设接口种类较少，仅包含常规USB接口、以太网接口等，并且常规高清大带宽摄像头通过USB协议或以太网RTSP协议传输时，传输图像信息存在协议层编解码延时问题，在1080P60帧传输质量下，实测单帧视频平均传输延时时间在200ms以上。而对于诸如SDI、PAL等低延时摄像头接口而言，则无法直接接入工控机，无法满足实时性要求。且GPU作为异构并行计算单元，虽然能够很好地满足图像像素遍历、降噪等并行计算使用需求，但在开启GPU计算后，整机功耗基本上保持在百瓦以上，对于地面无人平台电池供电使用方式而言，无疑缩短了整机工作时长，无法满足低功耗使用。对于方式二，该方法将图像计算部分放置于控制台，地面无人平台主要负责采集，虽然地面无人平台整机功耗降低不少，但数据链在传输过程中同样存在延时问题，且该前端采集加远端控制台处理方式，一旦数据链受到干扰无法连接，整个系统必将工作中断无法继续使用。

技术实现思路

[0005](一)要解决的技术问题
[0006]本专利技术要解决的技术问题是：一是如何在满足基本的图像处理与融合计算使用前提下，能够接入低延时的微光、红外车规级摄像头供地面无人平台使用，同时在整个处理过程实现低延时、响应快的敏捷处理效果；二是能够兼顾地面无人平台全天候和本地化处理任务，装置在整机形态上应尽量小巧、完整、独立，应不借助远端控制台，可单独完成图像处理与融合计算，并将计算结果输出至地面无人平台供其使用。
[0007](二)技术方案
[0008]为解决上述技术问题，本专利技术提供一种基于地面无人平台的图像处理与融合计算方法，所述图像处理与融合计算方法基于图像处理与融合计算装置来实施，所述图像处理与融合计算装置包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元、LVDS液晶屏、按键、以太网发送模块；
[0009]所述图像处理与融合计算方法包括如下步骤：
[0010]步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光SDI制式图像信息、红外PAL制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照BT.1120YUV422像素标准和BT.656YUV422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至FPGA预处理计算单元；
[0011]步骤2：FPGA预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为RGB888像素标准数据后，通过FIFO输入缓冲区存储至DDR中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；
[0012]步骤3：视频接出转换单元中的单片机通过I2C总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的MIPI CSI制式图像；
[0013]步骤4：ARM核心计算单元接收所述MIPI CSI制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至LVDS液晶屏以供观察；
[0014]步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致；一致后按下确认按键；
[0015]步骤6：ARM处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的UDP网络数据包传输至地面无人平台。
[0016]其中，所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为SD/HD/3G的SDI制式图像信息和PAL制式图像信息，用于达到低延时传输的目的；
[0017]所述两组同轴端子插座将SDI制式图像信息和PAL制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将SDI制式图像信息按照BT.1120YUV422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将PAL制式图像信息按照BT.656YUV422像素标准进行图像信息的像素数据解
析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为FPGA预处理计算单元可识别的高速图像信号，并通过软排线发送至FPGA预处理计算单元；所述高速图像信号包括表征微光图像信息的YUV422像素标准数据和帧场行标志位、表征红外图像信息的YUV422像素标准数据和帧场行标志位；
[0018]所述FPGA预处理计算单元包括：FPGA可编程逻辑器、两组DDR存储器、FLASH存储器；所述FPGA预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于FLASH存储器中；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于地面无人平台的图像处理与融合计算方法，其特征在于，所述图像处理与融合计算方法基于图像处理与融合计算装置来实施，所述图像处理与融合计算装置包括：视频接入转换单元、FPGA预处理计算单元、视频接出转换单元、ARM核心计算单元、LVDS液晶屏、按键、以太网发送模块；所述图像处理与融合计算方法包括如下步骤：步骤1：无人平台的摄像头图像信息通过同轴电缆线将微光SDI制式图像信息、红外PAL制式图像信息传输至视频接入转换单元，所述视频接入转换单元分别按照BT.1120YUV422像素标准和BT.656YUV422像素标准进行数据位和帧场行标志位信息解析，接着将包含该信息的高速图像信号发送至FPGA预处理计算单元；步骤2：FPGA预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作，先调整图像的亮度和色度，接着转化为RGB888像素标准数据后，通过FIFO输入缓冲区存储至DDR中，存储过程同步做顺序场调整，接着将调整完成后的微光和红外顺序场图像做双边滤波处理，发送至视频接出转换单元；步骤3：视频接出转换单元中的单片机通过I2C总线对视频接出转换器的内部寄存器做功能配置，使转换器能够输出微光和红外的MIPICSI制式图像；步骤4：ARM核心计算单元接收所述MIPICSI制式图像并进行读取，调整和裁剪红外的图像尺寸使其与微光图像保持一致，接着发送至LVDS液晶屏以供观察；步骤5：手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上的拍摄视野保持一致；一致后按下确认按键；步骤6：ARM处理器对红外图像做灰度化处理，并根据平均值计算方法提取出判断阈值，根据阈值依次标记出像素剔除点和像素保留点，并最终将像素保留点的灰度值叠加至微光图像像素点的红色分量，构成完整的微光红外融合图像，并通过以太网发送模块将包含融合图像信息的UDP网络数据包传输至地面无人平台。2.如权利要求1所述的基于地面无人平台的图像处理与融合计算方法，其特征在于，所述视频接入转换单元包括两组视频接入转换器、两组同轴端子插座；所述两组同轴端子插座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息，微光图像信息和红外图像信息的制式分别限定为SD/HD/3G的SDI制式图像信息和PAL制式图像信息，用于达到低延时传输的目的；所述两组同轴端子插座将SDI制式图像信息和PAL制式图像信息分别传输至两组视频接入转换器，两组视频接入转换器接收到图像信息后，一组视频接入转换器用于将SDI制式图像信息按照BT.1120YUV422像素标准进行图像信息的像素数据解析，另一组视频接入转换器用于将PAL制式图像信息按照BT.656YUV422像素标准进行图像信息的像素数据解析，解析过程伴随产生相应频率时钟，图像信息的像素数据位和帧场行标志位跟随频率时钟周期上升沿依次转换为FPGA预处理计算单元可识别的高速图像信号，并通过软排线发送至FPGA预处理计算单元；所述高速图像信号包括表征微光图像信息的YUV422像素标准数据和帧场行标志位、表征红外图像信息的YUV422像素标准数据和帧场行标志位；所述FPGA预处理计算单元包括：FPGA可编程逻辑器、两组DDR存储器、FLASH存储器；所述FPGA预处理计算单元用于负责地面无人平台图像信息的预处理工作，其预处理逻辑程序存储于FLASH存储器中；
所述FPGA可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后，先对其所包含的YUV422像素标准数据的亮度、色度通道进行调整，Y代表亮度通道，UV代表色度通道，使其避免图像过暗或偏色，接着将YUV422像素标准数据转化为RGB888像素标准数据，将转换后的RGB888像素标准数据通过FPGA可编程逻辑器内部定义的FIFO输入缓冲区存至两组DDR存储器中，其中表征微光图像信息的RGB888像素标准数据存储至DDR存储器一，表征红外图像信息的RGB888像素标准数据存储至DDR存储器二；两组DDR存储器所存储的单帧图像数据伴随视频流传输不断刷新，并保持当前最新帧数据；所述DDR存储器一及DDR存储器二在存储过程中，若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为顺序场，则直接将图像场中的每一行数据顺序存入DDR存储器一或DDR存储器二；若FPGA可编程逻辑器检测到帧场行标志位表征的图像场为奇偶场，则先将每帧图像的像素单数行隔行存入DDR存储器一或DDR存储器二，再将每帧图像的像素双数行依...

【专利技术属性】
技术研发人员：陈昭文，郭永红，李旭光，修全发，史超，刘瑞，李理，崔令飞，郏奎奎，张恩帅，徐坤，郭凯杰，刘雨健，张硕阳，李克娜，王东旭，南怀良，
申请(专利权)人：中国兵器工业计算机应用技术研究所，
类型：发明
国别省市：