一种实现高清视频超低延迟编解码及传输的方法及系统技术方案

本发明专利技术提供了一种实现高清图像超低延迟编解码及传输的方法及系统，该方法包括：编码器接收高清视频，并将构成所述高清视频的每一帧图像分割成若干切割帧，以每个所述切割帧为单位逐个顺次完成缓存、压缩编码和上传；以太网传输所述切割帧的压缩编码数据；解码器接收所述切割帧的压缩编码数据，以每个所述切割帧为单位顺次完成缓存和独立解码，通过对独立解码后的图像进行拼接完成每一帧图像的还原，解决现有编解码系统不能灵活裁剪和难以调整优化从而导致无法满足高实时视频传输应用的问题，实现了从编码到传输到解码的总延时小于50ms，能够满足高实时性应用的低延迟要求。

【技术实现步骤摘要】
一种实现高清视频超低延迟编解码及传输的方法及系统
本专利技术涉及FPGA图像编解码
，尤其是涉及一种可用于实时图像超低延迟传输的编解码系统。
技术介绍
无人飞行器实时遥控、CCTV（闭路电视）监视系统、实时的赛况转播等应用领域都需要近乎实时的视频图像传输技术支持。如FPV(第一人称视角遥控飞行器)的控制，是基于飞行装置发回的流媒体图像反馈。为了控制飞行装置，从传感器发送视频至压缩引擎到解码图像显示(称为“玻璃对玻璃”)之间的时延通常要小于60毫秒。视频编码是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式的文件。目前图像编解码系统的方案一类是采用通用的视频编解码芯片，由于使用便捷，开发周期短，被市场大规模用于实现图像压缩后到视频流的处理。如华为公司的HISILICON（海思）系列图像编解码芯片，采用H.264（数字视频压缩格式）CODEC核(图像编解码器核）和ARM嵌入式处理器结合的方式。该类方案一方面由于其编解码芯片作为一种ASIC(专用芯片)，难以调整优化，另一方面由于其网络协议栈采用行业标准，而不是为了最小化时延单独开发设计。因此，延时多超过400ms，难以满足高实时性应用的要求，架构的不灵活性也影响了其在部分更高要求领域的应用。另一类方案是采用SOC(片上系统)芯片方案实现。如图1所示，采用赛灵思公司的ZYNQ系列芯片，其通过可编程逻辑实现CODEC核与处理器的联合，使得CODEC与处理器的耦合更加紧密，同时由于其硬件加速的特性，其延迟相比通用编解码器也有一定提升，但由于其处理器架构不能灵活裁剪和定向优化，导致其不能很好的裁剪适应定制化的低延迟协议，也难以实现高清视频超低延迟编解码。
技术实现思路
针对现有高清视频编解码系统中难以实现的超低延迟问题，本专利技术提供了一种实现高清视频超低延迟编解码及传输的方法及系统，能够满足无人飞行器实时遥控、CCTV（闭路电视）监视系统、实时的赛况转播等领域的图像传输需求。本专利技术提出了一种实现高清视频超低延迟编解码及传输的方法，包括以下步骤：步骤1，编码器接收高清视频，并将构成所述高清视频的每一帧图像分割成若干分割帧（sliceframe），以每个所述分割帧为单位逐个顺次完成缓存、压缩编码和直接存储；步骤2，以太网传输所述分割帧的压缩编码数据；步骤3，解码器接收所述分割帧的压缩编码数据，以每个所述分割帧为单位顺次完成缓存和独立解码，通过对独立解码后的图像进行同步流水拼接完成每一帧图像的还原。本专利技术提供一种实现高清视频超低延迟编解码及传输的系统，所述系统包括硬件编码器，所述编码器包括存储器和嵌入式处理器，所述存储器存储有计算机程序，所述嵌入式处理器执行所述计算机程序时实现上述方法的步骤。所述系统还包括以太网传输模块，所述以太网传输模块包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。所述系统包括解码器，所述解码器包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。本专利技术的有益效果包括：本专利技术有别于传统的编解码系统，具体体现在以下几个方面：1.基于全帧分割技术和FPGA全硬件方式实现高清图像的H.264并行处理编解码压缩算法，是一种对硬件H264编码器的低延迟改进方法，从而实现编解码的低延迟，具体地，传统的硬件H264编码器编码一帧高清H.264图像需要一帧时间（从图像输入编码器到编码完成中断的时间），对于30hz的视频图像，需要的时间为33.3ms，采用图像分割帧方式，将完整一帧1920*1080图像的列进行拆分的方式，可减少缓存等待的时间，如采用16分割的方式，可将33.3ms的编码等待时间缩减到2.1ms左右；2.基于FPGA硬件可配置的特性，自定义私有的以太网视频传输协议，采用多次小包发送的形式代替全部一次发送的形式缩短数据传输时间，实现视频流传输的超低延迟；3.系统从编码到传输到解码总延时小于40ms，能够满足高实时性应用（如无人飞行器）的低延迟要求。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为传统基于SOC的编解码系统结构示意图；图2是本专利技术实施例提供的超低延迟编解码及传输系统的结构示意图；图3是本专利技术实施例提供的对硬件H264编码器的低延迟改进的电路结构图4是本专利技术实施例提供的超低延迟编解码及传输方法中编解码处理过程示意图；图5是本专利技术实施例提供的超低延迟编解码及传输方法中编码器帧分割后运行示意图；图6是本专利技术实施例提供的超低延迟编解码及传输方法中基于图像分割和拼接的并行编解码示意图；图7是现有技术中网络视频流传输结构；图8是本专利技术实施例提供的超低延迟编解码及传输方法中码流传输结构；图9本专利技术实施例提供的超低延迟编解码及传输方法的具体流程图。具体实施方式为了使本专利技术的技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供一种实现高清视频超低延迟编解码及传输的方法及系统。实施例一步骤1，编码器接收高清视频，并将构成所述高清视频的每一帧图像分割成若干分割帧，以每个所述分割帧为单位逐个顺次完成缓存、压缩编码和上传；所述步骤1包括：步骤11，编码器接收到高清视频后，将构成所述高清视频的每一帧图像分割成N个分割帧；步骤12，完成第一分割帧的缓存后，进行第二分割帧的缓存同时对第一分割帧进行压缩编码；对属于同一图像帧内的每一分割帧进行独立编码；步骤13，完成第一分割帧的压缩编码后上传，在此期间，在完成第二分割帧的缓存时对第二分割帧进行压缩编码；步骤14，依次循环，完成第N分割帧的压缩编码后上传，至此完成一帧图像的编码和上传；在此期间，在完成第N+1分割帧的缓存时对第N+1分割帧进行压缩编码，对属于不同帧图像内的分割帧参照上一帧图像内相应位置的分割帧进行编码；步骤15，依次循环，完成高清视频的编码和上传；步骤2，以太网传输所述分割帧的压缩编码数据；步骤3，解码器接收所述分割帧的压缩编码数据，以每个所述分割帧为单位顺次完成缓存和独立解码，通过对独立解码后的图像进行拼接完成每一帧图像的还原。所述步骤3包括：步骤31，解码器接收所述分割帧的压缩编码数据；步骤32，完成第一分割帧的缓存后，进行第二分割帧缓存的同时对第一分割帧进行独立解码；步骤33，完成第一分割帧的解码后并显示图像，在此期间，在完成第二分割帧的缓存时对第二分割帧进行解码；步骤34，依次循环，完成第N分割帧的解码后并显示图像，至此完成一帧图像的解码及图像显示，对每一所述分割帧显示的图像进行拼接完成一帧图像的还原；在此期间，在完成第N+1分割帧的缓存时对第N+1分割帧进行解码；步骤35，依次循环，完成高清视频的解码。本专利技术采用FPGA全硬件RTL(寄存器传输级)方式实现。1.基于图像分割和图像拼接的并行编解码通常的H.264图像编码流程是，缓存一帧高清图像后启动编码器，编码器参数配置1920*1080，在整副图像编码完成后，将输出帧编码完成中断，一般编码压缩一帧1920*10本文档来自技高网...

【技术保护点】
1.一种实现高清视频超低延迟编解码及传输的方法，其特征在于，包括以下步骤：步骤1，编码器接收高清视频，并将构成所述高清视频的每一帧图像分割成若干切割帧，以每个所述切割帧为单位逐个顺次完成缓存、压缩编码和上传；步骤2，以太网传输所述切割帧的压缩编码数据；步骤3，解码器接收所述切割帧的压缩编码数据，以每个所述切割帧为单位顺次完成缓存和独立解码，通过对独立解码后的图像进行拼接完成每一帧图像的还原。

【技术特征摘要】
1.一种实现高清视频超低延迟编解码及传输的方法，其特征在于，包括以下步骤：步骤1，编码器接收高清视频，并将构成所述高清视频的每一帧图像分割成若干切割帧，以每个所述切割帧为单位逐个顺次完成缓存、压缩编码和上传；步骤2，以太网传输所述切割帧的压缩编码数据；步骤3，解码器接收所述切割帧的压缩编码数据，以每个所述切割帧为单位顺次完成缓存和独立解码，通过对独立解码后的图像进行拼接完成每一帧图像的还原。2.根据权利要求1所述的实现高清图像超低延迟编解码及传输的方法，其特征在于，所述步骤1包括：步骤11，编码器接收到高清视频后，将构成所述高清视频的每一帧图像分割成N个切割帧；步骤12，完成第一切割帧的缓存后，进行第二切割帧的缓存同时对第一切割帧进行压缩编码；对属于同一图像帧内的每一切割帧进行独立编码；步骤13，完成第一切割帧的压缩编码后上传，在此期间，在完成第二切割帧的缓存时对第二切割帧进行压缩编码；步骤14，依次循环，完成第N切割帧的压缩编码后上传，至此完成一帧图像的编码和上传；在此期间，在完成第N+1切割帧的缓存时对第N+1切割帧进行压缩编码，对属于不同帧图像内的切割帧参照上一帧图像内相应位置的切割帧进行编码；步骤15，依次循环，完成高清视频的编码和上传。3.根据权利要求2所述的实现高清图像超低延迟编解码及传输的方法，其特征在于，所述的以太网采用自定义的以太网视频传输协议实现所述切割帧的压缩编码数据即H.264数据的传输，所述的以太网视频传输协议采用网络层级中链路层的UDP协议。4.根据权利要求3所述的实现高清图像超低延迟编解码及传输的方法，其特征在于，所述以太网视频传输协议的数据流采用数据包不定长的传输方式。5.根据权利要求3或4所述的实现高清图像超...

【专利技术属性】
技术研发人员：陈俊，焦斌，
申请(专利权)人：湖南君瀚信息技术有限公司，
类型：发明
国别省市：湖南,43