一种基于无人机视频的飞参数据可视化编码传输方法技术

本发明专利技术属于图像处理技术领域，具体涉及一种基于无人机视频的飞参数据可视化编码传输方法。包括以下步骤：(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；(S2)对飞参数据进行可视化编码，得到飞参编码图像；(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。将编码后的飞参数据与视频数据一起传送，降低了数据带宽要求，统一了数据形式，减少了硬件要求，较好的满足了在无人机机载处理器上利用飞参数据进行视频处理和飞行控制的需求。

Method for visual coding transmission of flight data based on UAV video

The invention belongs to the technical field of image processing, in particular to a visual coding transmission method based on UAV video. Includes the following steps: (S1) to obtain the video frame and flight data: real-time access to video frames from the UAV camera sends the first line monitoring of each frame of the video at the time, and obtain the flight data of the time; (S2) the visual encoding of the flight data, get flight image encoding (S3;) UAV video frames and the corresponding time of flight encoding image fusion image synthesis, the new video frame; (S4) a new video frame image extraction from UAV video receiver, the decoding of flight data. Will the flight data and video data encoding the transmitted together, reduces the data bandwidth requirements, unified data format, reduce hardware requirements, meet in the UAV airborne processor using video processing and flight control requirements of flight data.

【技术实现步骤摘要】

本专利技术属于图像处理
，具体涉及一种基于无人机视频的飞参数据可视化编码传输方法。
技术介绍
随着无人机技术的发展，借助无人机进行视频采集的需求领域不断拓展，基于无人机视频进行无人机智能应用逐渐成为相关领域亟待解决的技术问题，具体包括视频压缩、无线传输、视频稳像、几何重建、自动避障等。其中视频稳像、几何重建、自动避障和无人机的飞行姿态紧密相关，将无人机飞参和视频处理技术相结合，有助于提高无人机上视频处理的效率和精度，对提高无人机智能应用水平具有意义。以视频稳像技术为例，视频稳像方法大体可以分为机械稳像、光学稳像和电子稳像。其中前两者存在设备制造难度大、成本高、体积大等缺点，电子稳像包括基于图像匹配和基于飞参传感器数据两种途径。图像匹配方法需要不断在图像序列中重复搜索像素空间，效率受限，特别是在大角度旋转和抖动时算法效率与稳定性降低，难以满足无人机平台实时计算的应用需求。基于飞参传感器数据的稳像方法通过在无人机平台集成GPS、重力计、加速计等传感器，实时获取无人机的空间位置、俯仰、翻滚和偏航数据，利用飞参数据直接用于稳像计算，也可以用于视频的粗校正，实现前后帧视频的大致配准，配合基于图像匹配的稳像方法，从而大大降低基于图像匹配稳像算法的搜索空间，相对单纯图像匹配方法具有技术优势。飞参数据在无人机视频几何重建、自动避障等视频处理应用方面具有类似的价值。基于飞参数据传感器的稳像方法的关键是准确和实时获取每一帧图像对应的飞参数据，实现视频帧和飞参数据两个数据序列的匹配，即完成视频帧的稳像时，即时获取每一帧图像准确对应的飞参数据。大型和商用无人机依托搭载较多和高性能计算、传输、控制硬件设备来完成飞参与视频数据的融合、传输和应用，小型无人机受限于重量、续航电力、成本等因素，需要尽可能压缩各类设备的数量、重量和成本。因此小型无人机机载设备少，计算能力有限，需要一种简单高效的飞参数据处理方法；同时由于机上硬件设备相对简单，机载处理系统芯片接入数据的通道和接入方式受限，而不同视频与各类飞参传感器在数据生成频率、推送模式等存在较大差异，难以准确确定每一帧图像拍摄时刻对应的飞参数据，进而影响基于飞参数据进行视频处理的质量。目前尚无在线处理算法解决此难题。
技术实现思路
本专利技术采用将拍摄时刻飞参数据进行可视化编码，合成到视频帧中进行传输的方法，解决了现有技术中无人机视频处理和基于视频的飞行控制中无法精确获取飞参数据的技术问题。具体技术方案如下：一种基于无人机视频的飞参数据可视化编码传输方法，包括以下步骤。(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；(S2)对飞参数据进行可视化编码，得到飞参编码图像；(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。进一步地，所述步骤(S2)具体过程为：(S21)在收到飞参数据的每一时刻，将飞参数据拆分为一组数据片段，构造双射函数f，对每一个数据片段，将其映射到像素空间，输出由若干个像素色彩值表示的编码块，并对编码块进行顺序编号；(S22)构建有限个已知确定长宽的空白图像作为编码区，按照编号顺序遍历所有编码块，在编码区上依次排列合并所有编码块，形成飞参编码图像。进一步地，所述步骤(S3)具体过程为：在视频帧上确定有限个与编码区同样大小的矩形区域作为融合区，依次将每个飞参编码图像首行首列与视频帧上融合区左下角对齐，然后将飞参编码数据与当前帧的图像数据按照对齐位置进行融合，以两幅图像逐像素的叠加运算结果作为新的视频帧图像数据并输出。进一步地，所述步骤(S4)具体过程为：实时获取新视频帧图像，从视频帧上提取已知长宽的飞参编码图像；按照已知的规定顺序和换行方式，对飞参编码图像分割重组所有编码块，按照双射函数的逆函数f-1，解码重构所有飞参数据。采用本专利技术获得的有益效果：本专利技术涉及图像与飞参数据融合处理器、飞参数据可视化编码算法、编码与视频图像融合算法、飞参数据解码算法；使用可视化编码方法，对包括多种飞参数据进行编码传输，具体包括：时间、飞行姿态、温压湿风、重力、加速度、光照、噪声。将编码后的飞参数据与视频数据一起传送，降低了数据带宽要求，统一了数据形式，减少了硬件要求，较好的满足了在无人机机载处理器上利用飞参数据进行视频处理和飞行控制的需求。附图说明图1是本专利技术步骤流程示意图；图2是本专利技术具体实施例示意图。具体实施方式下面结合附图和具体实施例，对本专利技术作进一步说明。参见图1，本专利技术的具体步骤的流程图。实施本专利技术方法之前，对于数据的获取需要进行准备，在无人机机载平台上集成视频、位置与运动传感器。(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；实施例中，通过在机载处理系统上接入，实时采集的视频和飞参数据。设定无人机视频帧的分辨率为W×H，W、H为正整数，将需要编码输入的飞参数据表示为Data[M]，记为Data，M表示飞参数据的个数。设定可视化编码的颜色空间为用ov表示为预设颜色值，v取值自然数且1≤v≤Co，Co取值为2的正整数幂：Co∈[21，22，23，…，28]。如图2(a)所示，M取值为6，需要编码输入的六自由度飞参数据为Data[6]；如图2(f)所示，Co取值为2。(S2)对飞参数据进行可视化编码，得到飞参编码图像；(S21)在收到飞参数据的每一时刻，将飞参数据拆分为一组可单独编码的数据片段，如：单个数组元素Data[r],r∈[1,M]，其二进制长度为Lenr，r为整数。将Data[r]的二进制序列切分为fSize＝Lenr/(log2CO)个二进制序列片段BinSeg[fSize]，记为BinSeg。每个片段上的二进制序列长度为log2CO。令为二进制位顺序连接符，则从二进制位序列角度有：BinSeg[1]⊕BinSeg[2]⊕...⊕BinSeg[fSize]=Data[r]]]>对BinSeg中每个内存片段BinSeg[j]，j∈[1,fSize]，计算其十进制的值，记为gj，得到十进制值序列G＝{g1,g2,…,gfSize本文档来自技高网...

【技术保护点】
一种基于无人机视频的飞参数据可视化编码传输方法，其特征在于，包括以下步骤：(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧视频的首行到达时刻，并获取该时刻的飞参数据；(S2)对飞参数据进行可视化编码，得到飞参编码图像；(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。

【技术特征摘要】
1.一种基于无人机视频的飞参数据可视化编码传输方法，其特征在于，包括以下步骤：
(S1)获取视频帧和飞参数据：实时获取来自无人机摄像机发送的视频帧，监控每一帧
视频的首行到达时刻，并获取该时刻的飞参数据；
(S2)对飞参数据进行可视化编码，得到飞参编码图像；
(S3)将无人机视频帧与对应时刻的飞参编码图像进行融合合成，得到新视频帧图像；
(S4)接收端从无人机视频中提取新视频帧图像，解码恢复飞参数据。
2.如权利要求1所述的一种基于无人机视频的飞参数据可视化编码传输方法，其特征
在于，所述步骤(S2)具体过程为：
(S21)在收到飞参数据的每一时刻，将飞参数据拆分为一组数据片段，构造双射函数f，
对每一个数据片段，将其映射到像素空间，输出由若干个像素色彩值表示的编码块，并对编
码块进行顺序编号；
(S22)构建有限个已知确定长宽的空白...

【专利技术属性】
技术研发人员：罗文峰，
申请(专利权)人：湖南优象科技有限公司，
类型：发明
国别省市：湖南;43