一种视频流水线的处理方法及装置制造方法及图纸

本发明专利技术实施例提供了一种视频流水线的处理方法及装置。所述方法包括：获取空间飞行器对应的长曝光图像和短曝光图像；获取所述长曝光图像对应的第一曝光时间，及所述短曝光图像对应的第二曝光时间；根据所述第一曝光时间和所述第二曝光时间，计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区；根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，生成合成图像；根据所述合成图像的图像参数，确定所述空间飞行器对应的高动态范围图像。本发明专利技术实施例可根据视频图像数据自适应调整映射参数，能够满足实时性要求。

A processing method and device of video pipeline

【技术实现步骤摘要】
一种视频流水线的处理方法及装置
本专利技术涉及图像处理
，特别是一种视频流水线的处理方法及装置。
技术介绍
星上HDR(High-DynamicRange，高动态范围图像)技术因为处理的视频流，图像以数据串的形式，将每次成像结果以行格式源源不断输出。相比于图像算法，HDR视频流算法，包括HDR视频流的生成、视频流的编码算法以及解码算法、合成和色调映射算法。因此，流水线处理HDR视频算法要求更高的实时性，在有限资源的硬件平台上如何减少内存占用也是一直研究的问题。罗雪梅等利用色外观模型重新再现高动态范围图像，陈怀章等人使用带有DMD和FPGA器件的实验平台拓展成像的动态范围，赵再骞利用GPU协处理器完成航天飞船交会对接时训练电视图像的HDR渲染。但是，上述方法无法满足当前嵌入式领域对HDR图像的实时性要求，主要存在的问题有：1、存储资源要求高，对于分辨率为1920×1080的彩色图像，采用RGB(Red/Green/Blue，红/绿/蓝)格式对HDR图像数据进行存储，使用Reinhard色调映射需要消耗1920×1080×4＝7.9MB的片上存储资源来存储一帧图像，这对片上存储资源有限的PFGA(FieldProgrammableGateArray，元件可编程逻辑闸阵列)器件不能接受。2、实时性难以保证，HDR视频存储每个像素点的流明值，大量的运算过程基于浮点值进行.因此，其算法不仅需要更多的存储资源，且需要调用FPGA器件内部的DSP(DigitalSignalProcessing，数字信号处理)资源对加法、乘法操作进行处理。对于分辨率为1920×1080的彩色图像，3帧LDR图像融合1帧HDR图像情况下，使用Debevec算法需要计算55987200次。在100MHz时钟频率下，其需要0.559872s(1.8f/s)，无法满足实时性要求。业界方面，苹果、华为、三星等科技厂商的移动终端设备均具有HDR功能，但合成与色调映射算法大都采用软件实现的方式，硬件实现的较少。学术方面，国内天津大学姚素英教授团队对两帧曝光图像的合成进行了研究，采用权重值函数取平均的方法，适用的场景有一定限制。国内很少看到色调映射算法硬件实现的例子，国外有部分学者进行了这方面的研究。Lapray等利用FPGAVirtexV实现算法：能完成30fps帧率、100万分辨率的视频处理，但是该方法利用常量参数；Urena等人应用全局算子和局部算子结合的算法，在XilinxSpartanIII上实现，能够完成60fps帧率、640x480分辨率的视频处理，该方法采用人工调节参数的方法，这两种方法都不利于实时视频处理，另外，算法都较为复杂，虽然经过一定的简化，仍需要耗费大量的硬件资源，不利于集成到图像传感器芯片上。
技术实现思路
本专利技术解决的技术问题是：克服现有技术中的不足，提供了一种视频流水线的处理方法及装置。为了解决上述技术问题，本专利技术实施例提供了一种视频流水线的处理方法，包括：获取空间飞行器对应的长曝光图像和短曝光图像；获取所述长曝光图像对应的第一曝光时间，及所述短曝光图像对应的第二曝光时间；根据所述第一曝光时间和所述第二曝光时间，计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区；根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，生成合成图像；根据所述合成图像的图像参数，确定所述空间飞行器对应的高动态范围图像。优选地，所述根据所述第一曝光时间和所述第二曝光时间，计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区的步骤，包括：根据所述第一曝光时间，计算得到所述欠曝光区域；根据所述第二曝光时间，计算得到所述过曝光区域；根据所述第一曝光时间和所述第二曝光时间，计算得到所述曝光良好区域；根据所述欠曝光区域和所述过曝光区域，计算得到所述曝光盲区。优选地，所述根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，生成合成图像的步骤，包括：根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域，及所述短曝光图像的第二正常曝光区域和第二异常曝光区域；根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域，生成所述合成图像。优选地，所述根据所述合成图像的图像参数，确定所述空间飞行器对应的高动态范围图像的步骤，包括：计算得到所述合成图像对应的对数平均亮度；计算得到所述合成图像对应的最大亮度值和最小亮度值；根据所述对数平均亮度中的最大亮度值和最小亮度值，计算得到所述合成图像的图像映射参数；根据所述图像映射参数和所述对数平均亮度，确定所述高动态范围图像。为了解决上述技术问题，本专利技术实施例提供了一种视频流水线的处理装置，包括：曝光图像获取模块，用于获取空间飞行器对应的长曝光图像和短曝光图像；曝光时间获取模块，用于获取所述长曝光图像对应的第一曝光时间，及所述短曝光图像对应的第二曝光时间；曝光区域计算模块，用于根据所述第一曝光时间和所述第二曝光时间，计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区；合成图像生成模块，用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，生成合成图像；高动态图像确定模块，用于根据所述合成图像的图像参数，确定所述空间飞行器对应的高动态范围图像。优选地，所述曝光区域计算模块包括：欠曝区域计算子模块，用于根据所述第一曝光时间，计算得到所述欠曝光区域；过曝区域计算子模块，用于根据所述第二曝光时间，计算得到所述过曝光区域；良好区域计算子模块，用于根据所述第一曝光时间和所述第二曝光时间，计算得到所述曝光良好区域；曝光盲区计算子模块，用于根据所述欠曝光区域和所述过曝光区域，计算得到所述曝光盲区。优选地，所述合成图像生成模块包括：曝光区域计算子模块，用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域，及所述短曝光图像的第二正常曝光区域和第二异常曝光区域；合成图像生成子模块，用于根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域，生成所述合成图像。优选地，所述高动态图像确定模块包括：平均亮度计算子模块，用于计算得到所述合成图像对应的对数平均亮度；亮度值计算子模块，用于计算得到所述合成图像对应的最大亮度值和最小亮度值；映射参数计算子模块，用于根据所述对数平均亮度中的最大亮度值和最小亮度值，计算得到所述合成图像的图像映射参数；高动态范围图像确定子模块，用于根据所述图像映射参数和所述对数平均亮度，确定所述高动态范围图像。本专利技术与现有技术相比的优点在于：...

【技术保护点】
1.一种视频流水线的处理方法，其特征在于，包括：/n获取空间飞行器对应的长曝光图像和短曝光图像；/n获取所述长曝光图像对应的第一曝光时间，及所述短曝光图像对应的第二曝光时间；/n根据所述第一曝光时间和所述第二曝光时间，计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区；/n根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，生成合成图像；/n根据所述合成图像的图像参数，确定所述空间飞行器对应的高动态范围图像。/n

【技术特征摘要】
1.一种视频流水线的处理方法，其特征在于，包括：
获取空间飞行器对应的长曝光图像和短曝光图像；
获取所述长曝光图像对应的第一曝光时间，及所述短曝光图像对应的第二曝光时间；
根据所述第一曝光时间和所述第二曝光时间，计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区；
根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，生成合成图像；
根据所述合成图像的图像参数，确定所述空间飞行器对应的高动态范围图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一曝光时间和所述第二曝光时间，计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区的步骤，包括：
根据所述第一曝光时间，计算得到所述欠曝光区域；
根据所述第二曝光时间，计算得到所述过曝光区域；
根据所述第一曝光时间和所述第二曝光时间，计算得到所述曝光良好区域；
根据所述欠曝光区域和所述过曝光区域，计算得到所述曝光盲区。


3.根据权利要求1所述的方法，其特征在于，所述根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，生成合成图像的步骤，包括：
根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区，计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域，及所述短曝光图像的第二正常曝光区域和第二异常曝光区域；
根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域，生成所述合成图像。


4.根据权利要求1所述的方法，其特征在于，所述根据所述合成图像的图像参数，确定所述空间飞行器对应的高动态范围图像的步骤，包括：
计算得到所述合成图像对应的对数平均亮度；
计算得到所述合成图像对应的最大亮度值和最小亮度值；
根据所述对数平均亮度中的最大亮度值和最小亮度值，计算得到所述合成图像的图像映射参数；
根据所述图像映射参数和所述对数平均亮度，确定所述高动态范围图像。


5.一种视频流水线的处理装置，其特征在于，包括：
曝...

【专利技术属性】
技术研发人员：董书莉，郭进一，董方，刘冰洁，张润鑫，李阳，杨翊东，张斐然，常淞泓，武文波，李春梅，
申请(专利权)人：北京空间机电研究所，
类型：发明
国别省市：北京;11