基于多曝光融合与回溯算法的图像处理方法及其系统技术方案

本发明专利技术涉及基于多曝光融合与回溯算法的图像处理方法及其系统，该方法包括获取高动态拍照模式的原始图像数据；采用回溯算法对原始图像数据进行粗定位，获取关键帧；采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤；若是，则采用多曝光融合算法针对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。本发明专利技术实现有效抑制手臂抖动带来的照片动态折叠以及伪影问题，消除边缘模糊问题，提高数据的处理运算速度，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。

Image processing method and system based on multi exposure fusion and backtracking algorithm

The present invention relates to a multi exposure fusion and backtracking algorithm of image processing method and system based on this method, including the original image data acquisition of high dynamic camera mode; using backtracking algorithm for coarse positioning of the original image data, obtaining key frame; using the Euclidean distance based on key frame into several image frames starting point of precise positioning to obtain the optimal image data; judging whether the image data acquisition is optimal; if not, it returns the backtracking algorithm for coarse positioning of the original image data, obtaining key frames; if so, the optimal fusion algorithm for image data fusion image exposure, and combined with the Laplasse product processing, to obtain image data fusion. The invention can effectively suppress the photo dynamic folding and artifact caused by the shaking of the arm, eliminate the problem of edge blur, improve the processing speed of data, speed up the real-time performance of HDR photography, and avoid the appearance of black screen and crash when the camera is under pressure test.

【技术实现步骤摘要】
基于多曝光融合与回溯算法的图像处理方法及其系统
本专利技术涉及HDR图像处理方法，更具体地说是指基于多曝光融合与回溯算法的图像处理方法及其系统。
技术介绍
相机拍照已成为现状，目前相机拍摄的图像质量高低不一，为了凸显相机的成像质量，应考虑多曝光融合技术来形成高动态的图像质量。但是，由于拍照者的个人生物特性差异，存在手臂动抖动的现象，会对成像的质量影响导致合成图片不自然，存在伪影和重叠现象，且在打开相机会存在自动对焦，必然会导致拍照的时候边缘拍摄合成的结果模糊的现象。目前人们大多采用手机相机来拍照，而手机相机作为现有移动终端最关键的三个要素之一，虽然有一些高质量的HDR算法对手机相机拍照的图像进行处理，但是若处理速度耗时严重，手机相机非常容易导致卡死，黑屏，甚至引发系统重启。另外，现有的算法偏多于理论研究，少有成功移植到手机整体相机模块的成熟方案，现有的高质量的HDR方案也并非基于手机CPU的实时处理器上，比如基于达芬奇平台的HDR合成算法；现有的算法并没有熟悉了解手机相机APK的对应行为规范，导致很多图像处理算法在提出时，无法与应用产品协调好；对于打开相机存在自动对焦导致拍照时边缘拍摄合成的结果模糊的现象，现有算法初步解决该问题，如郭剑桥提出的过渡区溢出修正方案，但是，目前并没有任何算法从个人生物特性差异出发对图像进行修正，从而忽略了手动抖动会对成像的质量影响，存在合成图片不自然以及伪影和重叠现象。因此，有必要设计一种基于多曝光融合与回溯算法的图像处理方法，实现最大化抑制手抖动问题带来的动态折叠问题，弥补轮廓现象易造成的模糊问题，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供基于多曝光融合与回溯算法的图像处理方法及其系统。为实现上述目的，本专利技术采用以下技术方案：基于多曝光融合与回溯算法的图像处理方法，所述方法包括：获取高动态拍照模式的原始图像数据；采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤；若是，则采用多曝光融合算法针对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。其进一步技术方案为：获取高动态拍照模式的原始图像数据的步骤，包括以下具体步骤：获取高动态拍照模式下的原始图像；提取原始图像对应的RAW数据；将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。其进一步技术方案为：采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤，包括以下具体步骤：获取拍照动作下发所对应的图像帧；保留动作下发所对应的图像帧前端的若干帧原始图像；标记动作下发所对应的图像帧前端的若干帧原始图像；获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。其进一步技术方案为：采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据的步骤，包括以下具体步骤：获取若干个与所述图像帧相连的连续帧图像；针对所述连续帧图像提取特征点；定义基准图像，设定固定阈值；对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功；若成功，则将特征向量对应的特征点存入指定特征点集合，并进入下一步骤；若不成功，则直接进入下一步骤；获取存入指定特征点集合内的特征点最多的图像，作为最优图像数据。其进一步技术方案为：对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功的步骤，包括以下具体步骤：获取所述特征点所对应的特征向量；计算特征向量与基准图像的特征点的欧式距离；判断最小欧式距离与次最小欧式距离的差值是否小于固定阈值；若是，则匹配成功；若否，则匹配不成功。其进一步技术方案为：其特征在于，若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据的步骤，包括以下具体步骤：对所述最优图像数据进行归一化处理；计算最优图像数据对应的图像帧的每个像素的权重；基于所述权重建立对应的高斯金字塔；利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据；融合多张拉普拉斯某一层的图像数据，形成融合图像数据。其进一步技术方案为：利用高斯金字塔获取高斯模糊图像，结合高斯模糊图像以及拉普拉斯乘积处理，获取拉普拉斯某一层的图像数据的步骤，包括以下具体步骤：对图像利用高斯金字塔进行高斯模糊，并减二采样，获取高斯模糊图像数据；采用拉普拉斯按照高斯模糊来处理图像，获取拉普拉斯图像数据；高斯模糊图像数据减去拉普拉斯图像数据，获取拉普拉斯某一层的图像数据。本专利技术还提供了基于多曝光融合与回溯算法的图像处理系统，包括数据获取单元、粗定位单元、精准定位单元、判断单元以及融合单元；所述数据获取单元，用于获取高动态拍照模式的原始图像数据；所述粗定位单元，用于采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；所述精准定位单元，用于采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；所述判断单元，用于判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；所述融合单元，用于若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。其进一步技术方案为：所述数据获取单元包括原始图像获取模块、RAW数据提取模块以及转换模块；所述原始图像获取模块，用于获取高动态拍照模式下的原始图像；所述RAW数据提取模块，用于提取原始图像对应的RAW数据；所述转换模块，用于将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。其进一步技术方案为：所述粗定位单元包括图像帧获取模块、保留模块、标记模块以及关键帧获取模块；所述图像帧获取模块，用于获取拍照动作下发所对应的图像帧；所述保留模块，用于保留动作下发所对应的图像帧前端的若干帧原始图像；所述标记模块，用于标记动作下发所对应的图像帧前端的若干帧原始图像；所述关键帧获取模块，用于获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。本专利技术与现有技术相比的有益效果是：本专利技术的基于多曝光融合与回溯算法的图像处理方法，通过获取HDR的原始图像数据，对原始图像数据进行粗定位以及精准定位的分步处理，有效的抑制人体生物特性手臂抖动带来的照片动态折叠以及伪影问题，对精准定位后的图像数据进行分权重融合处理，获取融合图像数据，有效的消除边缘模糊问题，相机架构植入多曝光融合和回溯算法，能提高数据的处理运算速度，增快HDR拍照的实时性，避免了相机压力测试下的黑屏与死机情况的出现。下面结合附图和具体实施例对本专利技术作进一步描述。附图说明图1为本专利技术具体实施例提供的基于多曝光融合与回溯算法的图像处理方法的流程图；图2为本专利技术具体实施例提供的获取高动态拍照模式的原始图像数据的流程图；图3为本专利技术具体实施例提供的采用回溯算法对所述原始图像数据进行粗定位的流程图；图4为本专利技术具体实施例提供的采用欧式距离对所述关键帧进行精准定位的流程图；图5为本专利技术具体实施例提供的对所述特征点与所述基准图像进行本文档来自技高网...

【技术保护点】
基于多曝光融合与回溯算法的图像处理方法，其特征在于，所述方法包括：获取高动态拍照模式的原始图像数据；采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤；若是，则采用多曝光融合算法针对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。

【技术特征摘要】
1.基于多曝光融合与回溯算法的图像处理方法，其特征在于，所述方法包括：获取高动态拍照模式的原始图像数据；采用回溯算法对所述原始图像数据进行粗定位，获取关键帧；采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据；判断最优图像数据是否获取完毕；若否，则返回采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤；若是，则采用多曝光融合算法针对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像数据。2.根据权利要求1所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，获取高动态拍照模式的原始图像数据的步骤，包括以下具体步骤：获取高动态拍照模式下的原始图像；提取原始图像对应的RAW数据；将RAW数据转换成YUV数据，以YUV数据作为原始图像数据。3.根据权利要求1所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，采用回溯算法对所述原始图像数据进行粗定位，获取关键帧的步骤，包括以下具体步骤：获取拍照动作下发所对应的图像帧；保留动作下发所对应的图像帧前端的若干帧原始图像；标记动作下发所对应的图像帧前端的若干帧原始图像；获取标记的若干帧所述原始图像中的第一帧原始图像数据，作为关键帧。4.根据权利要求1所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，采用欧式距离对以关键帧为起点的若干个图像帧进行精准定位，获取最优图像数据的步骤，包括以下具体步骤：获取若干个与所述图像帧相连的连续帧图像；针对所述连续帧图像提取特征点；定义基准图像，设定固定阈值；对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功；若成功，则将特征向量对应的特征点存入指定特征点集合，并进入下一步骤；若不成功，则直接进入下一步骤；获取存入指定特征点集合内的特征点最多的图像，作为最优图像数据。5.根据权利要求4述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，对所述特征点与所述基准图像进行欧式距离匹配，判断匹配是否成功的步骤，包括以下具体步骤：获取所述特征点所对应的特征向量；计算特征向量与基准图像的特征点的欧式距离；判断最小欧式距离与次最小欧式距离的差值是否小于固定阈值；若是，则匹配成功；若否，则匹配不成功。6.根据权利要求1至5任一项所述的基于多曝光融合与回溯算法的图像处理方法，其特征在于，若是，则采用多曝光融合算法对最优图像数据进行图像融合，并结合拉普拉斯乘积处理，获取融合图像...

【专利技术属性】
技术研发人员：沈程慧，
申请(专利权)人：深圳市欧唯科技有限公司，
类型：发明
国别省市：广东,44