图像处理方法及装置制造方法及图纸

本发明专利技术提供了一种图像处理方法及装置，应用于配置有多个摄像头的移动终端，其中，每个摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的PSF数据，该方法包括：控制多个摄像头对同一对象进行拍摄，生成多个第一图像；将多个第一图像分别与对应的镜头的PSF数据作反卷积操作，生成与每个镜头对应的第二图像；根据多个镜头之间的空间位置关系，对多个第二图像进行图像像素的初次对齐；将经过初次对齐的多个第二图像和多个镜头的多个PSF数据，输入至预先经过训练的像素对齐模型，以使得像素对齐模型根据多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。本发明专利技术能够对图像像素进行准确对齐。

Image processing method and device

The invention provides an image processing method and device, which is applied to a mobile terminal equipped with a plurality of cameras, wherein the lens of each camera respectively stores PSF data without noise calibrated by a calibrated model in advance, the method includes: controlling a plurality of cameras to shoot the same object, generating a plurality of first images; and respectively matching a plurality of first images with corresponding ones The PSF data of a lens is deconvoluted to generate a second image corresponding to each lens; according to the spatial position relationship between multiple lenses, the first alignment of image pixels is performed for multiple second images; the PSF data of multiple second images and multiple lenses that have been initially aligned are input to the pre trained pixel alignment model to align the pixels to the model roots According to the PSF data, the second alignment of image pixels is performed on the first aligned second images to generate a third image of image pixel alignment. The invention can accurately align image pixels.

【技术实现步骤摘要】
图像处理方法及装置
本专利技术涉及数据处理
，特别是涉及一种图像处理方法及装置。
技术介绍
目前，受终端的体积与成本等因素的限制，终端采用的光学器件如摄像头的分辨率通常有限。那么为了获得包含更多细节的高分辨率照片，需要使用超分辨率技术来提升摄像头拍摄的图像的分辨率。其中，利用光学成像系统(如镜头)的点扩散函数(pointspreadfunction，PSF)是一种获得高分辨率图像的方法。PSF刻画了光学成像系统对点光源的响应情况，PSF通常由光学成像系统本身的材料与构成所决定。而镜头精准的不含噪声的PSF需要在理想的校准环境下进行，例如唯一的且无额外光源等噪声的点光源，以及光学成像系统满足线性特性的假设。但是实际的校准环境却是存在额外光源等噪声干扰、且光学成像系统不满足线性特性的假设前提。如果想要使校准环境达到理想的校准环境，则需要较高的成本，那么如何在低成本的校准环境下完成对镜头的PSF校准，进而提升镜头拍摄得到的图像的分辨率，目前尚未不存在解决方案。此外，由于同一个手机的多个摄像头具有不同的PSF以及不同的空间本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的点扩散函数PSF数据，所述方法包括：/n控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；/n将所述多个第一图像分别与对应的镜头的所述PSF数据作反卷积操作，生成与每个镜头对应的第二图像；/n根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；/n将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过...

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的点扩散函数PSF数据，所述方法包括：
控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像；
将所述多个第一图像分别与对应的镜头的所述PSF数据作反卷积操作，生成与每个镜头对应的第二图像；
根据所述多个摄像头的多个镜头之间的空间位置关系，对与所述多个镜头对应的多个所述第二图像进行图像像素的初次对齐；
将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型，以使得所述像素对齐模型根据所述多个PSF数据对经过初次对齐的多个第二图像进行图像像素的二次对齐，生成图像像素对齐的第三图像。


2.根据权利要求1所述的图像处理方法，其特征在于，所述控制所述多个摄像头对同一对象进行拍摄，生成多个第一图像之前，所述方法还包括：
针对所述每个摄像头的镜头，获取所述镜头的含噪声的多组第一图像数据；
将所述多组第一图像数据输入至预先经过训练的校准模型，以使得所述校准模型对所述多组第一图像数据进行点扩散函数PSF校准，生成所述镜头的不含噪声的PSF数据，其中，所述镜头的类型与所述校准模型用于校准的镜头的类型一致；
将所述PSF数据存储至所述镜头，以使每个所述摄像头的镜头各自存储有预先经过对应的校准模型校准的不含噪声的PSF数据。


3.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述镜头的含噪声的多组第一图像数据，包括：
获取所述镜头所属的摄像头对每次分布在不同位置的点光源分别拍摄得到的多组第一测试图像，其中，所述点光源分别所处的多个位置与所述校准模型训练时所采用的点光源分别所处的多个位置相同；
获取所述多组第一测试图像的矩阵序列，其中，所述多组第一测试图像的矩阵序列为所述镜头的含噪声的多组第一图像数据。


4.根据权利要求3所述的图像处理方法，其特征在于，所述点光源分别所处的多个位置等距设置于所述镜头的同一侧且关于所述镜头的中心线对称。


5.根据权利要求1所述的图像处理方法，其特征在于，所述将经过所述初次对齐的多个第二图像和所述多个镜头的多个所述PSF数据，输入至预先经过训练的像素对齐模型之前，所述方法还包括：
获取训练样本集，所述训练样本集包括所述多个镜头的图像像素经过初次对齐的多个第二测试图像、所述多个镜头的不含噪声的多组PSF测试数据、由分辨率高于所述多个镜头的分辨率的测试镜头拍摄的第三测试图像，其中，所述多个第二测试图像与所述第三测试图像对应同一拍摄对象；
将所述多个第二测试图像和所述多组PSF测试数据输入至第一神经网络模型，得到所述第一神经网络输出的第四测试图像，其中，所述第一神经网络模型用于基于所述多组PSF测试数据对所述多个第二测试图像进行二次像素对齐，生成所述第四测试图像；
将所述第三测试图像和所述第四测试图像输入至第二神经网络模型，得到所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像是否相同的判别结果；
若所述判别结果为所述第三测试图像与所述第四测试图像不相同，则根据对抗训练的方法，对所述第一神经网络模型和所述第二神经网络模型进行对抗训练，直至所述第二神经网络模型输出的表示所述第三测试图像与所述第四测试图像相同的判别结果，其中，经过对抗训练的所述第一神经网络模型为所述预先经过训练的像素对齐模型。


6.一种图像处理装置，其特征在于，应用于配置有多个摄像头的移动终端，其中，每个所述摄像头的镜头各自存储有预先经过校准模型校准的不含噪声的点扩散函数PSF数据，所述装置包括：
控制模块，用于控制所...

【专利技术属性】
技术研发人员：罗天歌，范浩强，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11