一种无人机机载多路视频与POS数据的同步系统与方法技术方案

本发明专利技术公开了一种无人机机载多路视频与POS数据的同步系统与方法，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据，以完成多路图像/视频与POS数据的严格同步，支持地面站实时接收解码后快速动态地区域正射拼接和三维建模并智能识别分析等深度应用。

A synchronization system and method of UAV airborne multi-channel video and POS data

【技术实现步骤摘要】
一种无人机机载多路视频与POS数据的同步系统与方法
本专利技术涉及数据同步，具体是一种无人机机载多路视频与POS数据的同步系统与方法。
技术介绍
随着无人机在应急、安保、巡检等行业中的规模应用，机载吊舱不再局限于可见光视频传感器，开始更多地组合红外光视频以及多光谱视频等传感器；应用深度也不再局限于机载吊舱视频的简单观看，开始更多地需要地面站实时接收、快速动态的区域正射拼接和三维建模并智能识别分析等深度应用，因此要求机载多路视频基本达到同步，且要带有POS(位置、姿态等)属性信息。但现行机载视频的同步技术只是简单的通过数传链路和图传链路分别下传POS数据和视频，在地面端进行简单的文件关联对齐以达到基本同步的效果。进一步的会将多路视频经过画中画处理，形成一路视频输出。但现行的方案需要额外增加数传或图传设备，且无法做到严格的同步，与POS数据也很难做到严格的对齐，不能支持更高精度和速度的正射拼接和三维建模并智能识别分析等深度应用。
技术实现思路
本专利技术的目的在于提供一种无人机机载多路视频与POS数据的同步系统与方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种无人机机载多路视频与POS数据的同步系统，包括编码模块和解码模块，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。作为本专利技术进一步的方案：所述无人机机载多路视频通过可见光相机、红外相机以及多光谱相机拍摄。作为本专利技术进一步的方案：所述POS数据包括飞机的GPS、航向和机载吊舱的姿态，通过串口接入到编码模块中。作为本专利技术进一步的方案：所述POS数据的发送频率通常以GPS的接收频率为参考基准。作为本专利技术进一步的方案：当所述POS数据的发送频率无法与视频帧的每一帧匹配时，采用插值的方法对POS数据进行处理。作为本专利技术进一步的方案：所述图像/视频信号与POS数据的同步编码采用H.264、H.265编码算法或硬件编码方法。作为本专利技术进一步的方案：所述同步编码的具体步骤为：(1)由HDMI接口接收相机发送的视频数据；(2)调用通用的软解码/硬解码模块解码生成YUV422数据；(3)对解码后的YUV422数据在内存中进行拼接，生成单一的完整数据包；(4)接收POS数据，并对POS数据根据视频帧率进行插值处理，使得视频帧率与POS数据的帧率完全一致；(5)调用软编码/硬编码模块，在数据包中添加POS数据，并对每帧数据进行编码处理。在调用软编码模块时，根据发送数据量的大小选择H.264或H.265编码算法，当调用硬编码模块时，根据使用芯片的不同，在编码前的数据包中追加POS数据；(6)在数据包编码完成后，通过USB/网口的方式调用图传，同时将编码后的数据包发送给图传，在调用图传的过程中，为了图传传输的稳定性，需要根据图传信号发送强度来动态调整编码的码率；(7)向地面端发送编码数据。作为本专利技术进一步的方案：所述地面端的同步解码分为两个线程：数据接收线程和解码线程：在数据接收线程中，首先启动串口，创建数据管道池，从图传端获取数据填充至据管道池，然后对接收到的数据进行转发；解码线程首先注册组件，并对从串口转发的数据进行预处理，查找视频编码格式的定义，之后查找对应的解码器对视频进行解码。进一步的，本专利技术还提供一种采用所述无人机机载多路视频与POS数据的同步系统进行同步的方法，包括如下步骤：(1)所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据；(2)在所述编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。与现有技术相比，本专利技术的有益效果是：本专利技术无人机机载多路视频与POS数据的同步系统与方法，多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据，以完成多路图像/视频与POS数据的严格同步。附图说明图1为无人机机载多路视频与POS数据的同步系统的原理示意图。图2为无人机机载多路视频与POS数据的同步系统与方法中采用的接口转换示意图。图3为无人机机载多路视频与POS数据的同步系统与方法中同步编码流程示意图。图4为无人机机载多路视频与POS数据的同步系统与方法中同步解码流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，一种无人机机载多路视频与POS数据的同步系统，包括编码模块和解码模块，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。同步编码方法主要使用的数据有两类，一类是图片/视频；一类是POS数据。由于机载视频相机包括可见光相机、红外相机以及多光谱相机，其图像/视频输出接口通常包含CVBS、HDMI、SDI、cameraLink等，在图像/视频数据接入编码模块时，通常需要进行接口转换。接口转换示意图如图2所示。POS数据通常包括飞机的GPS、航向和机载吊舱的姿态，通过串口接入到编码模块中。由于POS数据的发送频率受GPS接收频率的制约，因此在POS数据的发送频率通常以GPS的接收频率为参考基准，而视频的帧率通常是25帧/秒，当POS数据的发送频率无法与视频帧的每一帧匹配时，采用插值的方法对POS数据进行处理。为了提高编码效率及压缩率，图像/视频信号与POS的同步编码采用H.264、H.265编码算法或硬件编码方法，具体的实现流程如图3所示。作为本专利技术进本文档来自技高网...

【技术保护点】
1.一种无人机机载多路视频与POS数据的同步系统，其特征在于，包括编码模块和解码模块，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。/n

【技术特征摘要】
1.一种无人机机载多路视频与POS数据的同步系统，其特征在于，包括编码模块和解码模块，所述多路视频通过HDMI接口与编码模块连接，并传输图像/视频信号，POS数据通过串口与编码模块连接，并按一定频率传输POS数据，在编码模块中，通过同步编码方法将POS数据、多路视频进行同步帧编码，同步编码后的数据通过USB/网口调用图传模块，向地面端发送，地面端在接收到同步编码的数据后，调用同步解码方法对接收数据进行解码，生成同步编码前的数据。


2.根据权利要求1所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述机载多路视频通过可见光相机、红外相机以及多光谱相机拍摄。


3.根据权利要求1所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述POS数据包括飞机的GPS、航向和机载吊舱的姿态，通过串口接入到编码模块中。


4.根据权利要求3所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述POS数据的发送频率通常以GPS的接收频率为参考基准。


5.根据权利要求4所述的无人机机载多路视频与POS数据的同步系统，其特征在于，当所述POS数据的发送频率无法与视频帧的每一帧匹配时，采用插值的方法对POS数据进行处理。


6.根据权利要求5所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述图像/视频信号与POS数据的同步编码采用H.264、H.265编码算法或硬件编码方法。


7.根据权利要求6所述的无人机机载多路视频与POS数据的同步系统，其特征在于，所述同步编码的具体步骤为：
(1)由HDMI接口接收相机发送的视频数据；
(2)调用通用的软解码/硬解码模块解码生成YUV42...

【专利技术属性】
技术研发人员：王永威，穆龙飞，彭齐路，
申请(专利权)人：航天图景北京科技有限公司，
类型：发明
国别省市：北京;11