图像处理方法及装置制造方法及图纸

本公开涉及图像处理方法及装置，所述方法包括：针对以预设参考图像为基础进行整体对齐后的多帧图像，以所述预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合；对每帧图像的图像块位移集合进行上采样，得到上采样后的图像块位移集合；利用所述上采样后的图像块位移集合中的每个图像块位移对每个图像块进行图像块对齐，得到对齐后的多帧图像；将对齐后的多帧图像进行融合，得到融合图像；利用所述融合图像进行超分辨率重建，得到重建后的图像。本公开可以利用该多帧图像进行融合、对齐、超分辨率重建得到重建后的高分辨率、高信噪比图像，从而提高了图像处理的环境适应性及灵活性。

Image processing method and device

【技术实现步骤摘要】
图像处理方法及装置
本公开涉及图像处理领域，尤其涉及一种图像处理方法及装置。
技术介绍
由于体积和成本的限制，移动终端（手机相机等）的拍摄能力往往比专业相机要低，具体表现在低分辨率和低信噪比上。得益于计算成像的快速发展，通过算法的方式提高成像质量成为了可能，并逐渐发展成一门科学——计算成像。然而，相关技术在对移动终端拍摄的图像进行图像处理以提高图像的分辨率、信噪比时，采用的图像处理模型较为复杂，且对拍摄的图像的要求较高（例如，一些相关技术要求拍摄的图像需要随机抖动）。
技术实现思路
有鉴于此，本公开提出了一种图像处理方法，所述方法包括：针对以预设参考图像为基础进行整体对齐后的多帧图像，以所述预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，其中，每个图像块与每个参考图像块一一对应；对每帧图像的图像块位移集合进行上采样，得到上采样后的图像块位移集合；利用所述上采样后的图像块位移集合中的每个图像块位移对每个图像块进行图像块对齐，得到对齐后的多帧图像；将对齐后的多帧图像进行融合，得到融合图像；利用所述融合图像进行超分辨率重建，得到重建后的图像。在一种可能的实施方式中，所述以预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，包括：针对每帧图像的每个图像块，得到该帧图像的该图像块相对于对应的参考图像块的图像块位移。在一种可能的实施方式中，所述方法还包括：针对每帧图像的每个图像块，判断该帧图像的该图像块与所述预设参考图像的参考图像块是否存在错误对齐；在存在错误对齐的情况下，利用该图像块的多个邻域图像块的位移更新该图像块的位移。在一种可能的实施方式中，所述判断该帧图像的该图像块与所述预设参考图像的参考图像块是否存在错误对齐，包括：在该图像块的图像块位移与所述多个邻域图像块的图像块位移均值的差异达到预设值、该图像块与对应的参考图像块不相似、且参考图像块为高频区域的情况下，判断该图像块与对应的参考图像块存在错误对齐；或在该图像块的图像块位移与所述多个邻域图像块的图像块位移均值的差异达到预设值、该图像块与对应的参考图像块不相似、且参考图像块为低频区域的情况下，判断该图像块与对应的参考图像块存在错误对齐。在一种可能的实施方式中，在得到融合图像后，所述方法还包括：根据预设参考图像对所述融合图像进行导向滤波，得到导向滤波后的融合图像；其中，所述利用所述融合图像进行超分辨率重建，包括：利用所述导向滤波后的融合图像进行超分辨率重建。在一种可能的实施方式中，所述利用所述融合图像进行超分辨率重建，包括：确定待重建像素的邻域像素；利用所述待重建像素的邻域像素对所述待重建像素进行重建。在一种可能的实施方式中，所述利用所述待重建像素的邻域像素对所述待重建像素进行重建，包括：利用如下公式对所述待重建像素进行重建：，其中，I（i，j）表示待重建像素，i、j表示待重建像素的坐标，In（i，j）表示待重建像素的邻域像素，wn表示重建权重，n表示索引，Num表示待重建像素的邻域像素的数目，其中，Wn=eT(HTGH)-1HG，eT表示各个元素都为1的行向量，G表示预设高斯滤波核，H表示所述待重建像素的像素值相对于邻域像素线性拟合后的二阶泰勒展开。根据本公开的另一方面，提出了一种图像处理装置，所述装置包括：对齐模块，针对以预设参考图像为基础进行整体对齐后的多帧图像，以所述预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，其中，每个图像块与每个参考图像块一一对应；对每帧图像的图像块位移集合进行上采样，得到上采样后的图像块位移集合；利用所述上采样后的图像块位移集合中的每个图像块位移对每个图像块进行图像块对齐，得到对齐后的多帧图像；融合模块，连接于所述对齐模块，用于将对齐后的多帧图像进行融合，得到融合图像；重建模块，连接于所述融合模块，用于利用所述融合图像进行超分辨率重建，得到重建后的图像。在一种可能的实施方式中，所述以预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，包括：针对每帧图像的每个图像块，得到该帧图像的该图像块相对于对应的参考图像块的图像块位移。在一种可能的实施方式中，所述装置还包括：纠正模块，连接于所述对齐模块，用于：针对每帧图像的每个图像块，判断该帧图像的该图像块与所述预设参考图像的参考图像块是否存在错误对齐；在存在错误对齐的情况下，利用该图像块的多个邻域图像块的位移更新该图像块的位移。在一种可能的实施方式中，所述判断该帧图像的该图像块与所述预设参考图像的参考图像块是否存在错误对齐，包括：在该图像块的图像块位移与所述多个邻域图像块的图像块位移均值的差异达到预设值、该图像块与对应的参考图像块不相似、且参考图像块为高频区域的情况下，判断该图像块与对应的参考图像块存在错误对齐；或在该图像块的图像块位移与所述多个邻域图像块的图像块位移均值的差异达到预设值、该图像块与对应的参考图像块不相似、且参考图像块为低频区域的情况下，判断该图像块与对应的参考图像块存在错误对齐。在一种可能的实施方式中，在得到融合图像后，所述装置还包括：滤波模块，连接于所述融合模块，用于根据预设参考图像对所述融合图像进行导向滤波，得到导向滤波后的融合图像；其中，所述利用所述融合图像进行超分辨率重建，包括：利用所述导向滤波后的融合图像进行超分辨率重建。在一种可能的实施方式中，所述利用所述融合图像进行超分辨率重建，包括：确定待重建像素的邻域像素；利用所述待重建像素的邻域像素对所述待重建像素进行重建。在一种可能的实施方式中，所述利用所述待重建像素的邻域像素对所述待重建像素进行重建，包括：利用如下公式对所述待重建像素进行重建：，其中，I（i，j）表示待重建像素，i、j表示待重建像素的坐标，In（i，j）表示待重建像素的邻域像素，wn表示重建权重，n表示索引，Num表示待重建像素的邻域像素的数目，其中，Wn=eT(HTGH)-1HG，eT表示各个元素都为1的行向量，G表示预设高斯滤波核，H表示所述待重建像素的像素值相对于邻域像素线性拟合后的二阶泰勒展开。通过以上方法及装置，本公开实施例可以针对以预设参考图像为基础进行整体对齐后的多帧图像，以所述预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，其中，每个图像块与每个参考图像块一一对应；对每帧图像的图像块位移集合进行上采样，得到上采样后的图像块位移集合；利用所述上采样后的图像块位移集合中的每个图像块位移对每个图像块进行图像块对齐，得到对齐后的多帧图像，将对齐后的多帧图像进行融合，得到融合图像，并利用所述融合图像进行超分辨率重建，得到重建后的图像。本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n针对以预设参考图像为基础进行整体对齐后的多帧图像，以所述预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，其中，每个图像块与每个参考图像块一一对应；对每帧图像的图像块位移集合进行上采样，得到上采样后的图像块位移集合；利用所述上采样后的图像块位移集合中的每个图像块位移对每个图像块进行图像块对齐，得到对齐后的多帧图像；/n将对齐后的多帧图像进行融合，得到融合图像；/n利用所述融合图像进行超分辨率重建，得到重建后的图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
针对以预设参考图像为基础进行整体对齐后的多帧图像，以所述预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，其中，每个图像块与每个参考图像块一一对应；对每帧图像的图像块位移集合进行上采样，得到上采样后的图像块位移集合；利用所述上采样后的图像块位移集合中的每个图像块位移对每个图像块进行图像块对齐，得到对齐后的多帧图像；
将对齐后的多帧图像进行融合，得到融合图像；
利用所述融合图像进行超分辨率重建，得到重建后的图像。


2.根据权利要求1所述的方法，其特征在于，所述以预设参考图像的每个参考图像块为基础得到每帧图像的多个图像块的图像块位移集合，包括：
针对每帧图像的每个图像块，得到该帧图像的该图像块相对于对应的参考图像块的图像块位移。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
针对每帧图像的每个图像块，判断该帧图像的该图像块与所述预设参考图像的参考图像块是否存在错误对齐；
在存在错误对齐的情况下，利用该图像块的多个邻域图像块的位移更新该图像块的位移。


4.根据权利要求3所述的方法，其特征在于，所述判断该帧图像的该图像块与所述预设参考图像的参考图像块是否存在错误对齐，包括：
在该图像块的图像块位移与所述多个邻域图像块的图像块位移均值的差异达到预设值、该图像块与对应的参考图像块不相似、且参考图像块为高频区域的情况下，判断该图像块与对应的参考图像块存在错误对齐；或
在该图像块的图像块位移与所述多个邻域图像块的图像块位移均值的差异达到预设值、该图像块与对应的参考图像块不相似、且参考图像块为低频区域的情况下，判断该图像块与对应的参考图像块存在错误对齐。


5.根据权利要求1所述的方法，其特征在于，在得到融合图像后，所述方法还包括：
根据预设参考图像对所述融合图像进行导向滤波，得到导向滤波后的融合图像；
其中，所述利用所述融合图像进行超分辨率重建，包括：
利用所述导向滤波后的融合图像进行超分辨率重建。


6.根据权利要求1所述的方法，其特征在于，所述利用所述融合图像进行超分辨率重建，包括：
确定待重建像素的邻域像素；
利用所述待重建像素的邻域像素对所述待重建像素进行重建。


7.根据权利要求6所述的方法，其特征在于，所述利用所述待重建像素的邻域像素对所述待重建像素进行重建，包括：
利用如下公式对所述待重建像素进行重建：

，其中，I（i，j）表示待重建像素，i、j表示待重建像素的坐标，In（i，j）表示待重建像素的邻域像素，wn表示重建权重，n表示索引，Num表示待重建像素的邻域像素的数目，
其中，Wn=eT(HTGH)-1HG，eT表示各个元素都为1的行向量，G表示预设高斯滤波核，H表示所述待重建像素的像素值相对于邻域像素线性拟合后的二阶泰勒展开。


8.一种图像处理装置，其特征在于，所述装置包括：
对齐模块，用于针对以...

【专利技术属性】
技术研发人员：冯召东，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：上海;31