一种GPU架构机载视频实时处理系统技术方案

本发明专利技术公开了一种GPU架构机载视频实时处理系统，视频解码模块通过DDR存储器与ARM CPU处理器相连，ARM CPU处理器与第一FLASH存储器、GPU计算单元、网络交互模块均相互连接，ARM CPU处理器负责计算算法执行，GPU计算单元负责完成算法加速，DDR存储器为系统运行、目标特征检测处理、数据转换的内部存储，第一FLASH存储器中保存操作系统，第二FLASH存储器存储目标特征数据库，视频解码模块负责完成视频流数据和图像帧数据的转换，网络交互模块实现与外部系统的数据交互，输出检出目标图像位置信息。本发明专利技术在低功耗CPU+GPU架构下，实现对无人机平台载荷输入视频数据源中的目标进行实时检测识别、跟踪、定位，最终输出目标的类型、经度、纬度、高度位置信息。

A GPU Architecture Airborne Video Real-time Processing System

The invention discloses a GPU-based airborne video real-time processing system. Video decoding module is connected with ARM CPU processor through DDR memory, ARM CPU processor is connected with the first FLASH memory, GPU computing unit and network interaction module, ARM CPU processor is responsible for computing algorithm execution, GPU computing unit is responsible for accelerating algorithm, DDR memory is the system operation and object. The first FLASH memory stores the operating system, the second FLASH memory stores the target feature database, and the video decoding module completes the conversion of video stream data and image frame data. The network interaction module realizes the data interaction with the external system and outputs the location information of the detected target image. The invention realizes real-time detection, identification, tracking and positioning of the target in the video data source of the UAV platform load input under the low power CPU+GPU framework, and finally outputs the position information of the type, longitude, latitude and altitude of the target.

【技术实现步骤摘要】
一种GPU架构机载视频实时处理系统
本专利技术涉及的是无人机
，具体涉及一种GPU架构机载视频实时处理系统。
技术介绍
随着无人机行业的发展，其应用领域日益扩展，基于视频流数据的应用也日趋丰富。在诸多应用场景中，用户对实时视频载荷数据中所发现的目标进行识别、跟踪、定位的需求非常强烈。例如，在应用无人机进行航空拍摄边防安全数据时，发现一些可疑车辆和人员，这时需要实时对可疑目标进行自动识别检出、跟踪定位以确定其是否越境。再如，利用无人机进行森林巡防，当发现异常情况需要进行实施检测、识别、定位，以安排人员进行现场勘察。在无人机视频目标检测领域，当前技术主要通过实时回传视频载荷数据，并在地面端实现目标检测。而在目标定位上，现有技术主要采用“空中激光有源测距”定位设备及方法，此种方法主要在视频载荷设备端加装激光测距仪，通过载荷内置的惯导设备获取载荷照射方向角度，通过激光测距获取目标位置距离无人机平台的空间距离，再通过飞机空间位置来计算目标位置。现有技术主要缺点为以下几方面：1、识别、跟踪、定位功能分散，没有形成系统；2、识别系统需要将数据传回地面处理，数据链路时延大，且不稳定；3、激光测量定位方式距离误差较大，未采用系统误差修正手段；4、增加载荷能源消耗，在目标距离较远时尤其显著；5、依赖载荷平台和飞机平台的惯导设备精度；可见当前技术没有形成一个整体解决方案，不易于整合后扩展应用。综上所述，本专利技术设计了一种GPU架构机载视频实时处理系统。
技术实现思路
针对现有技术上存在的不足，本专利技术目的是在于提供一种GPU架构机载视频实时处理系统，在低功耗CPU+GPU架构下，实现对无人机平台载荷输入视频数据源中的目标进行实时检测识别、跟踪、定位，最终输出目标的类型、经度、纬度、高度位置信息。为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种GPU架构机载视频实时处理系统，包括ARMCPU处理器、DDR存储器、第一FLASH存储器、第二FLASH存储器、视频解码模块、GPU计算单元、网络交互模块和电源模块，视频解码模块通过DDR存储器与ARMCPU处理器相连，ARMCPU处理器与第一FLASH存储器、GPU计算单元、网络交互模块均相互连接，第二FLASH存储器与ARMCPU处理器相连，ARMCPU处理器还与电源模块相连，ARMCPU处理器负责计算算法执行，GPU计算单元负责完成算法加速，DDR存储器为系统运行、目标特征检测处理、数据转换的内部存储，第一FLASH存储器中保存操作系统，第二FLASH存储器存储目标特征数据库，视频解码模块负责完成视频流数据和图像帧数据的转换，网络交互模块实现与外部系统的数据交互，输出检出目标图像位置信息。所述的目标检测识别流程为：1、获取视频帧图像数据；2、搜索全视图窗口，是否存在已检出目标，若没检测，进入下一步；若检出，进入步骤4；3、搜索目标周围窗口；4、目标特征匹配计算；5、输出检出目标位置。所述的目标定位计算流程：1、获取载荷及平台参数；2、构建透视模型；3、与地球空间模型计算；4、载荷是否为跟踪态，若是进入步骤5，若不是则修正视场中心点，计算云台误差角度，进入步骤2；5、输出计算结果。本专利技术具有以下有益效果：1、采用低功耗CPU+GPU架构设备，实现多目标检测功能，有效减少空地数据链路传输压力；2、在设备端实时处理，屏蔽了无线数据传输的缺陷，增强系统的稳定性，可以脱离地面站运行；3、采用无源观测模型与地表模型进行定位；4、在已知云台目标锁定的条件下可以利用反复迭代的方式进行系统修正；5、采用低功耗CPU进行数据处理计算，节省载荷能源消耗，可灵活部署在机载端。附图说明下面结合附图和具体实施方式来详细说明本专利技术；图1为本专利技术的系统框图；图2为本专利技术的系统启动初始化时序图；图3为本专利技术的目标检测识别流程图；图4为本专利技术的目标定位计算流程图。具体实施方式为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。参照图1-4，本具体实施方式采用以下技术方案：一种GPU架构机载视频实时处理系统，包括ARMCPU处理器1、DDR存储器2、第一FLASH存储器3、第二FLASH存储器4、视频解码模块5、GPU计算单元6、网络交互模块7和电源模块，视频解码模块5通过DDR存储器2与ARMCPU处理器1相连，ARMCPU处理器1与第一FLASH存储器3、GPU计算单元6、网络交互模块7均相互连接，第二FLASH存储器4与ARMCPU处理器1相连，ARMCPU处理器1还与电源模块相连，ARMCPU处理器1负责计算算法执行，GPU计算单元6负责完成算法加速，DDR存储器2为系统运行、目标特征检测处理、数据转换的内部存储，第一FLASH存储器3中保存操作系统，第二FLASH存储器4存储目标特征数据库，视频解码模块5负责完成视频流数据和图像帧数据的转换，网络交互模块7实现与外部系统的数据交互，输出检出目标图像位置信息。所述的目标检测识别流程为：1、获取视频帧图像数据；2、搜索全视图窗口，是否存在已检出目标，若没检测，进入下一步；若检出，进入步骤4；3、搜索目标周围窗口，4、目标特征匹配计算；5、输出检出目标位置。所述的目标定位计算流程：1、获取载荷及平台参数；2、构建透视模型；3、与地球空间模型计算；4、载荷是否为跟踪态，若是进入步骤5，若不是则修正视场中心点，计算云台误差角度，进入步骤2；5、输出计算结果。本具体实施方式工作主体模式，系统启动初始化时序：设备上电；ARMCPU启动，视频编码模块自检，视频解码模块自检；加载FLASH中操作系统；加载FLASH中处理算法并运行；加载FLASH中数据模型，通过串口检测载荷工作状态。本具体实施方式在低功耗CPU+GPU架构下，实现对无人机平台载荷输入视频数据源中的目标进行实时检测识别、跟踪、定位，最终输出目标的类型、经度、纬度、高度位置信息。以上显示和描述了本专利技术的基本原理和主要特征和本专利技术的优点。本行业的技术人员应该了解，本专利技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本专利技术的原理，在不脱离本专利技术精神和范围的前提下，本专利技术还会有各种变化和改进，这些变化和改进都落入要求保护的本专利技术范围内。本专利技术要求保护范围由所附的权利要求书及其等效物界定。本文档来自技高网...

【技术保护点】
1.一种GPU架构机载视频实时处理系统，其特征在于，包括ARM CPU处理器(1)、DDR存储器(2)、第一FLASH存储器(3)、第二FLASH存储器(4)、视频解码模块(5)、GPU计算单元(6)、网络交互模块(7)和电源模块，视频解码模块(5)通过DDR存储器(2)与ARM CPU处理器(1)相连，ARM CPU处理器(1)与第一FLASH存储器(3)、GPU计算单元(6)、网络交互模块(7)均相互连接，第二FLASH存储器(4)与ARM CPU处理器(1)相连，ARM CPU处理器(1)还与电源模块相连，ARM CPU处理器(1)负责计算算法执行，GPU计算单元(6)负责完成算法加速，DDR存储器(2)为系统运行、目标特征检测处理、数据转换的内部存储，第一FLASH存储器(3)中保存操作系统，第二FLASH存储器(4)存储目标特征数据库，视频解码模块(5)负责完成视频流数据和图像帧数据的转换，网络交互模块(7)实现与外部系统的数据交互，输出检出目标图像位置信息。

【技术特征摘要】
1.一种GPU架构机载视频实时处理系统，其特征在于，包括ARMCPU处理器(1)、DDR存储器(2)、第一FLASH存储器(3)、第二FLASH存储器(4)、视频解码模块(5)、GPU计算单元(6)、网络交互模块(7)和电源模块，视频解码模块(5)通过DDR存储器(2)与ARMCPU处理器(1)相连，ARMCPU处理器(1)与第一FLASH存储器(3)、GPU计算单元(6)、网络交互模块(7)均相互连接，第二FLASH存储器(4)与ARMCPU处理器(1)相连，ARMCPU处理器(1)还与电源模块相连，ARMCPU处理器(1)负责计算算法执行，GPU计算单元(6)负责完成算法加速，DDR存储器(2)为系统运行、目标特征检测处理、数据转换的内部存储，第一FLASH存储器(3)中保存操作系统，第二FLASH存储器(4)存...

【专利技术属性】
技术研发人员：杨旭，
申请(专利权)人：北京中电联达信息技术有限公司，
类型：发明
国别省市：北京,11