基于透镜阵列成像的图像处理方法、装置及成像系统制造方法及图纸

本发明专利技术公开了基于透镜阵列成像的图像处理方法、装置及成像系统。该图像处理方法主要包括：S100对各子透镜生成的像圆，每一距离矩阵的元素集合与相应每一像圆的外接四边形大小相同；S200基于像圆的距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵；S300将各像圆相应的中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵；S400对每一像圆，获取加权像圆；S500将各加权像圆按照预设的拼接间距,依次排列、叠加生成场景拼接图像。本发明专利技术通过对透镜阵列所成初始图像的重叠区域进行处理，在子图像拼接成最终完整图像时不会出现失真，提高了透镜阵列的成像质量。

Image processing method, device and imaging system based on lens array imaging

The invention discloses an image processing method, a device and an imaging system based on a lens array imaging. The image processing method includes: S100 of each lens generated as a circle, each set of elements and the corresponding distance matrix of each circle like external quadrilateral S200 the same size; as the distance matrix based on the circle, the establishment of a given weight coefficient of each element in the middle of the S300 coefficient matrix; as a corresponding intermediate coefficient matrix according to the distance between the preset circle like splicing are arranged and superimposed to form a plurality of sub blocks are arranged in arrays, generating image mosaic S400 matrix; for each round like, like S500 will obtain a weighted round; the weighted round according to the preset splicing space, are respectively arranged, the superimposed image mosaic scene. The invention processes the overlapping area of the initial image of the lens array, and does not distort when the sub image is spliced into the final complete image, thereby improving the imaging quality of the lens array.

【技术实现步骤摘要】
基于透镜阵列成像的图像处理方法、装置及成像系统
本专利技术涉及图像处理
，尤其涉及一种基于透镜阵列成像的图像处理方法、装置及成像系统。
技术介绍
透镜阵列是一种包含有多个呈阵列排布的子透镜的光学器件，现已广泛应用于光场相机、复眼相机以及大视野的显微相机中。其子透镜在透镜阵列内以有序的、等间隔的方形\矩形阵列形式排布。每个子透镜都可以对自身视野范围内的物体成像，每个子透镜所呈图像称作子图像。因此透镜阵列在一次成像中得到的像图(通过透镜阵列后成像得到的初始图像)内包含了多个子图像，且子图像在像图内的排布形式对应子透镜在透镜阵列内的排布形式。透镜阵列成像的任务是对包含有多个子图像的像图进行处理，最终输出的结果是由子图像拼接形成的完整图像。在透镜阵列成像后进行图像拼接时，常常从子图像中选取一个适当大小的圆形区域也叫作像圆来完成拼接，相邻的像圆会产生部分重叠区域，如何处理重叠区域内的图像，使之在相邻的像圆间自然过渡、无失真感，这也是影响微透镜阵列成像质量的一个关键步骤。现有技术中，一种处理重叠区域内图像的方法是在重叠区域内，每个像素点的取值为该像素点在相邻的像圆内的取值的平均值(下文中将把这种方法称为“重叠区域平均加权融合”)。具体举例来说，在一种情况下，若重叠区域为相邻两个像圆重叠形成(此时重叠区域形状为叶形)，则该重叠区域内的像素点的取值为相邻两个像圆内该像素点的对应点的取值的平均值。在另一种情况下，若重叠区域为相邻四个像圆重叠形成(此时重叠区域形状为凸边正方形)，则该重叠区域内的像素点的取值为相邻四个像圆内该像素点的对应点的取值的平均值。这种方法具有计算简便的优点，但当像圆内光照不均匀、或像圆边缘图像畸变较大、成像质量不佳时，重叠区域平均加权融合的效果将存在较大失真，导致最终成像质量较差。
技术实现思路
有鉴于此，本专利技术提供一种基于透镜阵列成像的图像处理方法、图像处理装置以及成像系统，用于解决现有技术中在子图像拼接成最终完整图像时出现失真，而导致成像质量不佳的问题。本专利技术提供一种基于透镜阵列成像的图像处理方法，所述透镜阵列包括多个呈阵列排布的子透镜，其中，所述图像处理方法包括以下步骤：S100建立距离矩阵步骤：对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。本专利技术还提供一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置包括：距离矩阵建立模块，用于对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；中间系数矩阵建立模块，用于基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；图像拼接矩阵生成模块，用于将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；加权像圆获取模块，用于对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；场景拼接图像生成模块，用于将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。本专利技术还提供一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，所述图像处理装置包括：图像处理器以及存储器；其中，所述图像处理器调用所述存储器中存储的一段程序指令以执行如前面所述的基于透镜阵列成像的图像处理方法。本专利技术还提供一种成像系统，包括主透镜、透镜阵列和图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置用于处理所述主透镜、所述透镜阵列获取的场景图像，所述图像处理装置为前面所述的基于透镜阵列成像的图像处理装置。本专利技术还提供一种计算机存储介质，包括与具有透镜阵列结合使用的计算机程序，所述透镜阵列包括呈阵列排布的子透镜，所述计算机程序可被图像处理器执行以完成以下步骤：S100建立距离矩阵步骤：对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。为达成上述目的，本专利技术提出的基于透镜阵列成像的图像处理方法、装置及成像系统，通过对透镜阵列所成初始图像的重叠区域进行处理，在子图像拼接成最终完整图像时不会出现失真，提高了透镜阵列的成像质量。附图说明图1为本专利技术实施方式一的基于透镜阵列成像的图像处理方法的流程示意图。图2为图1中步骤S100的流程示意图。图3为图1中步骤S200的流程示意图。图4为图1中步骤S300的流程示意图。图4(a)为图像拼接矩阵的图像化表达示意图。图5为图1中步骤S400的流程示意图。图5(a)为叠加矩阵的图像化表达示意图。图5(b)为权重矩阵的图像化表达示意图。图5(c)为左上角像圆初始图与其加权像圆图在图像化表达下的对比示意图。图5(d)为中心处像圆初始图与其加权像圆图在图像化表达下的对比示意图。图5(e)为右下角像圆初始图与其加权像圆图在图像化表达下的对比示意图。图6为图1中步骤S500的流程示意图。图6(a)为场景拼接图像的示意图。图7为本专利技术实施方式二的基于透镜阵列成像的图像处理装置的结构示意图。图8为本专利技术实施方式三的基于透镜阵列成像的图像处理装置的结构示意图。图9为本专利技术实施方式四的成像系统的结构示意图。具体实施方式下面结合附图和实施例对本专利技术进行详细说明。需要说明的是，如果不冲突，本专利技术实施例以及实施例中的各个特征可以相互结合，均在本专利技术的保护范围之内。请参见图1，图1为本专利技术较佳实施方式的基于透镜阵列成像的图像处理方法的流程示意图。如图1所示，本专利技术较佳实施方式的基于透镜阵列成像的图像处理方法，其中，透镜阵列包括多个本文档来自技高网...

【技术保护点】
一种基于透镜阵列成像的图像处理方法，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理方法包括以下步骤：S100建立距离矩阵步骤：对各所述子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的所述子块之间的关系获取加权像圆；S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

【技术特征摘要】
1.一种基于透镜阵列成像的图像处理方法，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理方法包括以下步骤：S100建立距离矩阵步骤：对各所述子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的所述子块之间的关系获取加权像圆；S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。2.如权利要求1所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S100具体包括：S110获取各子透镜生成的像圆，包括各像圆的圆心、半径和各像圆的外接四边形的大小；S120计算所述外接四边形内各像素至所述像圆圆心的距离作为所述距离矩阵的各对应元素的值。3.如权利要求2所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S200具体包括：S210判断所述距离矩阵中各元素对应的像素位于所在像圆内还是所在像圆外；S220分别对对应所述像圆外像素的元素赋值和所述像圆内像素的元素赋予权重值，建立所述中间系数矩阵。4.如权利要求3所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S220具体包括：S221构造一个单调递减函数f(x)＝y或常值函数f(x)＝c，其中，y＞0，c为大于0的恒定常数，r为所述像圆半径，所述单调递减函数表征各元素对应的像素与对应像圆圆心距离x与该元素的权重值y之间的关系，x越小，表明距离对应像圆圆心越近，则权重值y越大；S222依据所述单调递减函数f(x)＝y或常值函数f(x)＝c，确定所述中间系数矩阵的各元素值mij＝f(dij)*δij，其中，dij表示各元素对应的像素距离像圆圆心的距离，δij为一个符号函数，用于表征各元素对应像素位于对应像圆内还是像圆外，在像圆外取值为0，在像圆内取值为1；S230依次排列对应所述距离矩阵的中间系数矩阵的各元素值，生成所述中间系数矩阵。5.如权利要求1所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S300具体包括：S310将全部中间系数矩阵按照各像圆之间的预设拼接间距依次排列；S320获取相邻中间系数矩阵的重叠区域，所述重叠区域内的元素的取值为所述相邻两个中间系数矩阵的各自对应位置处的元素值叠加后的总值；S330生成所述图像拼接矩阵。6.如权利要求5所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S400具体包括：S410对每一像圆，从所述图像拼接矩阵中取出对应所述像圆的子块，记为所述像圆的叠加矩阵；S420依据各所述中间系数矩阵中各元素的值与相应所述叠加矩阵中对应元素的值之间的比值获取生成的权重矩阵中各元素的权重值；S430获取各所述像圆中的各元素值与对应的权重矩阵中各对应元素的权重值的乘积，之后生成所述加权像圆。7.如权利要求6所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S500具体包括：S510将所述加权像圆按照所述预设的拼接间距依次排列；S520在相邻两个所述加权像圆的重叠区域内，各像素点的取值为所述像素点在相邻两个所述加权像圆内的对应处取值叠加后的和值；S530生成所述场景拼接图像。8.如权利要求4所述的基于透镜阵列成像的图像处理方法，其特征在于，所述单调递减函数f(x)＝y可以是以下几种中的任意一种：(1)f(x)＝r-x+ε，其中r为像圆半径，ε为接近0的正数；(2)f(x)＝exp(-x/σ)，其中σ为正数，σ取值为0.15*r；(3)f(x)＝exp(-(x/σ)m)，其中σ、m均为正数，m小于1；(4)f(x)＝2/(1+exp(k*x))，其中k为正数，k取值为10/r。9.一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置包括：距离矩阵建立模块，用于对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；中间系数矩阵建立模块，用于基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；图像拼接矩阵生成模块，用于将各像圆相...

【专利技术属性】
技术研发人员：李其昌，
申请(专利权)人：成都微晶景泰科技有限公司，
类型：发明
国别省市：四川,51