一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备技术

本发明专利技术公开了一种ARM‑FPGA协同的广域视频实时融合方法及嵌入式设备，ARM‑FPGA协同的广域视频实时融合方法包括读取Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载；获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像；基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表。实现运用查找表文件，用于缝合线拼接方式下不同场景、监控视角、位置视频影像间的融合，具有良好的通用性。

A real-time video fusion method and embedded device based on arm-fpga

【技术实现步骤摘要】
一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备
本专利技术涉及安防监控
，尤其涉及一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备。
技术介绍
作为有效的监控手段，视频网络摄像机早已在城市安防、公共交通管理、生产控制等众多应用邻域中发挥了不可替代的作用，尤其是新一代网络摄像机IPC，可将采集的模拟视频信号编码压缩成数字信号并通过网络总线传送到Web服务器，授权用户可直接用浏览器实时观看网络摄像机视频，还可控制网络摄像机云台转动镜头或对系统配置进行操作，使得远程监控实施以及施工、维护更简单。然而，单个网络摄像机只能采集有限位置、视角的视频信息，其空间信息割裂、碎片化，不利于全面了解目标在区域行为状态，这极大地限制了监控系统作用的发挥。目前扩大视频监控视角、位置范围主要有两种方案：一是采用超广角的全景网络摄像机(如鱼眼相机)直接获得360°视野的全景视频，二是在监控区域内规划设置多个固定摄像头，后台再通过全景拼接技术融合不同位置监控设备采集的多路视频流以实现宏大场景视觉信息的集中呈现。两种方案相比，前者采集视频图像几何畸变较大，不符合人眼观察习惯；后者应用更灵活，可充分利用已有的传统监控设备，且大景深、高分辨率全景网络摄像机本身也是以特定方式组合多个普通摄像头得到。因此急需一种监控广域视频实时融合的图像拼接技术。
技术实现思路
本专利技术的目的在于提供一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备，旨在解决急需一种监控广域视频实时融合的图像拼接技术的问题。>为实现上述目的，第一方面，本专利技术提供了一种ARM-FPGA协同的广域视频实时融合方法，包括：读取与第一处理器连接的安全数码卡的Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载；获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像，并存储至与所述第一处理器连接的第一DDR存储芯片内；基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，所述查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表。在一实施方式中，在基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之前，所述方法还包括：转换第一数量路视频的帧图像的数据格式为DDR存储格式，并存储至与第二处理器连接的第二DDR存储芯片内。在一实施方式中，基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，包括：读取同一时刻的第一数量路帧图像，并对第一数量路的每一路帧图像进行分块处理，得到每一路帧图像对应的三个图像块，所述图像块包括每一路帧图像的独立区域和相邻两路的重合区域；获取每一路帧图像的独立图像块，并基于第一坐标映射表和第二坐标映射表对独立图像块的每个像素点进行双线线性插值处理，得到全景图像上的第二数量个独立部分；获取相邻两路帧图像的重合图像块，并基于加权融合权重列表对重合区域的图像块的每个像素点进行双线性插值处理，得到全景图像上的第三数量个重合部分；其中，所述第二数量等于所述第一数量，所述第三数量等于第一数量减去一。在一实施方式中，在基于存储至存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之后，所述方法还包括：传输所述全景图像至与所述第一处理器连接的第一DDR存储芯片内缓存；获取所述全景图像，并转换处理为RGB888格式，同时生成所述全景图像进行HDMI显示需要的视频时序，所述视频时序包括行同步、场同步和像素时钟；对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。第二方面，本专利技术提供一种嵌入式设备，包括第一处理器、以太网控制器、DDR控制器、安全数码卡、多个第一DDR存储芯片、第二处理器和第二DDR存储芯片，所述以太网控制器、所述DDR控制器和所述安全数码卡分别与所述第一处理器电性连接，多个所述第一DDR存储芯片与所述DDR控制器电性连接，所述第二处理器通过AXI总线协议与所述第一处理器进行数据通信，所述第二DDR存储芯片与所述第二处理器电性连接；其中，所述第一处理器，用于整体调度、视频流传输与解码、查找表文件数据加载与保存以及拼接视频存储与推送；所述以太网控制器，用于通过网口访问网络摄像机、控制网络视频流的传输，基于开源库对视频流进行解码；所述DDR控制器，用于启动Linux嵌入式操作系统本地运行、缓存视频流解码得到的各路帧图像、缓存同一时刻各路帧图像拼接结果；所述安全数码卡，用于存放查找表文件数据和Linux操作系统镜像文件；所述第一DDR存储芯片，用于存储解码后的帧图像；所述第二处理器，用于视频帧采样、帧图像及查找表文件分块、帧图像融合及视频拼接结果本地显示；所述第二DDR存储芯片，用于缓存从所述第一DDR存储芯片读取的同一时刻的各路帧图像。在一实施方式中，所述第二处理器包括VDMA视频流搬运模块、第一视频流格式转换模块、视频时序控制模块、图像融合处理模块、第二视频流格式转换模块和HDMI显示控制模块，所述VDMA视频流搬运模块、所述图像融合处理模块和所述视频时序控制模块均通过AXI总线传输协议与所述第一处理器进行数据通信，所述VDMA视频流搬运模块、所述第一视频流格式转换模块、所述第二DDR存储芯片、所述图像融合处理模块、所述第二视频流格式转换模块和所述HDMI显示控制模块依次电性连接，所述VDMA视频流搬运模块和所述视频时序控制模块均与所述第二视频流格式转换模块电性连接；其中，所述VDMA视频流搬运模块，用于读取所述第一DDR存储芯片内存储的各路帧图像数据和全景图像；所述第一视频流格式转换模块，用于将各路帧图像数据转化为DDR存储格式；所述图像融合处理模块，用于实现各路帧图像实时融合；所述第二视频流格式转换模块，用于将全景图像的数据格式转换处理为RGB888格式；所述视频时序控制模块，用于生成所述全景图像进行HDMI显示需要的视频时序；所述HDMI显示控制模块，用于对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。在一实施方式中，所述VDMA视频流搬运模块包括配置单元和访问单元，所述配置单元，用于配置VDMA视频图像传输通道，包括读、写通道的图像宽度、图像高度、单个像素占用的内存字节以及图像数据的颜色空间；所述访问单元，用于主动访问与第一处理器连接的第一DDR存储芯片的内存，并根据配置的参数对第一DDR存储芯片缓存的视频图像数据进行搬运。本专利技术的一种ARM-FPGA协同的广域视频实时融合方法及嵌入式设备，通过本文档来自技高网...

【技术保护点】
1.一种ARM-FPGA协同的广域视频实时融合方法，其特征在于，包括：/n读取与第一处理器连接的安全数码卡的Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载；/n获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像，并存储至与所述第一处理器连接的第一DDR存储芯片内；/n基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，所述查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表。/n

【技术特征摘要】
20190829 CN 201910806801X1.一种ARM-FPGA协同的广域视频实时融合方法，其特征在于，包括：
读取与第一处理器连接的安全数码卡的Linux操作系统的镜像文件，启动整个Linux嵌入式操作系统，并完成系统的Linux内核、文件系统以及设备树的初始化配置和视频流解码库的加载；
获取第一数量路网络摄像机视频流，并基于视频流解码库进行解码，得到第一数量路视频的帧图像，并存储至与所述第一处理器连接的第一DDR存储芯片内；
基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，其中，所述查找表文件包括第一坐标映射表、第二坐标映射表和加权融合权重列表。


2.如权利要求1所述的ARM-FPGA协同的广域视频实时融合方法，其特征在于，在基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之前，所述方法还包括：
转换第一数量路视频的帧图像的数据格式为DDR存储格式，并存储至与第二处理器连接的第二DDR存储芯片内。


3.如权利要求1所述的ARM-FPGA协同的广域视频实时融合方法，其特征在于，基于存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像，包括：
读取同一时刻的第一数量路帧图像，并对第一数量路的每一路帧图像进行分块处理，得到每一路帧图像对应的三个图像块，所述图像块包括每一路帧图像的独立区域和相邻两路的重合区域；
获取每一路帧图像的独立图像块，并基于第一坐标映射表和第二坐标映射表对独立图像块的每个像素点进行双线线性插值处理，得到全景图像上的第二数量个独立部分；
获取相邻两路帧图像的重合图像块，并基于加权融合权重列表对重合区域的图像块的每个像素点进行双线性插值处理，得到全景图像上的第三数量个重合部分；其中，所述第二数量等于所述第一数量，所述第三数量等于第一数量减去一。


4.如权利要求1所述的ARM-FPGA协同的广域视频实时融合方法，其特征在于，在基于存储至存储至安全数码卡内的查找表文件对第一数量路视频的帧图像进行融合处理，得到全景图像之后，所述方法还包括：
传输所述全景图像至与所述第一处理器连接的第一DDR存储芯片内缓存；
获取所述全景图像，并转换处理为RGB888格式，同时生成所述全景图像进行HDMI显示需要的视频时序，所述视频时序包括行同步、场同步和像素时钟；
对每一帧RGB888格式全景图像信号进行差分转换和对像素时钟进行编码之后，将全景图像和时钟信号送至显示器进行解码并实时显示视频图像。


5.一种嵌入式设备，其特征在于，
包括第一处理器、以太网控制器、DDR控制器、安全数码卡、多个第一DDR存储芯片、第二处理器和第二DDR存储芯片，所述以...

【专利技术属性】
技术研发人员：吴军，林贤华，王新杰，罗瀛，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45