The invention discloses a real-time reconstruction method of a dual camera spectral imaging system based on interpolation, which relates to a method for obtaining high resolution hyperspectral images in real time, and belongs to the field of computational photography. The method of realizing the present invention is as follows: applying to the dual-camera spectral imaging system based on panchromatic camera, the hyperspectral reconstruction is divided into three stages: low-resolution hyperspectral reconstruction, up-sampling interpolation and high-resolution hyperspectral reconstruction. According to the principle of the system and the working characteristics of GPU, a fast interpolation model, a fast response model and a fast difference model are established to complete the three stages of the above-mentioned reconstruction. It can guarantee the high spatial resolution and high spectral fidelity of the reconstruction results, greatly improve the efficiency of hyperspectral image reconstruction, achieve the purpose of real-time reconstruction of hyperspectral images, and greatly expand the application scope of hyperspectral images. The invention can be used in geological exploration, biological research, artificial intelligence and other fields.
【技术实现步骤摘要】
一种基于插值的双相机光谱成像系统的实时重建方法
本专利技术涉及一种用于双相机光谱成像系统的高光谱图像重建方法，尤其涉及一种能够实时获取高分辨率高光谱图像的方法，属于计算摄像学领域。
技术介绍
得益于成像技术和光谱技术的成熟，高光谱成像技术能够获取目标场景的连续光谱曲线。该技术得到的图像包含目标场景的二维空间信息和一维光谱信息，被称为数据立方体。相比传统彩色成像，高光谱成像技术能够获得内容更为丰富，细节更为显著的有用信息。由于不同物质反射出不同的光谱曲线，高光谱图像能够很好地完成分类和识别等任务。目前该技术已经在地质勘探、农业生产和生物医学等众多领域得到广泛的应用。近年来，快照式光谱成像系统将计算和成像相结合，能够完成高分辨率高光谱图像的获取，具有非常广阔的应用前景。AshwinWagadarikar等人提出的编码孔径快照光谱成像仪(CodedApertureSnapshotSpectralImager,CASSI)使用编码孔径和色散介质来对三维高光谱图像分别进行空间和光谱调制，通过探测器获取二维混叠投影。基于全色相机的双相机光谱成像系统(Panchromaticc...
【技术保护点】
1.一种基于插值的双相机光谱成像系统的实时重建方法，其特征在于：包括以下步骤，步骤101：输入双相机光谱成像系统的采样图像Y、标定后的前向响应矩阵H、正则化系数τ，下采样比例β，低分辨率重建迭代次数Id，高分辨率重建迭代次数Ih；步骤102：使用快速插值模型对采样图像Y和前向响应矩阵H进行下采样，得到低分辨率采样Yd和低分辨率前向响应矩阵Hd，空间和光谱的下采样因子均为β；步骤103：初始化低分辨率高光谱图像
【技术特征摘要】
1.一种基于插值的双相机光谱成像系统的实时重建方法，其特征在于：包括以下步骤，步骤101：输入双相机光谱成像系统的采样图像Y、标定后的前向响应矩阵H、正则化系数τ，下采样比例β，低分辨率重建迭代次数Id，高分辨率重建迭代次数Ih；步骤102：使用快速插值模型对采样图像Y和前向响应矩阵H进行下采样，得到低分辨率采样Yd和低分辨率前向响应矩阵Hd，空间和光谱的下采样因子均为β；步骤103：初始化低分辨率高光谱图像以及低分辨率辅助矩阵和步骤104：初始化优化目标函数的初始值辅助因子ρ；初始化当前迭代次数t＝0；步骤105：使用快速响应模型和快速差分模型更新低分辨率高光谱图像Xd；步骤106：使用快速差分模型更新低分辨率辅助矩阵Sd和Ud；步骤107：更新辅助因子ρ和当前迭代次数t，并转至步骤105进行迭代，直至t＝I1，完成低分辨率高光谱图像Xd的重建；步骤108：对Xd，Sd和Ud均使用快速插值模型进行双线性上采样插值，插值比例为1/β，插值结果分别为高分辨率高光谱图像Xu,高分辨率辅助矩阵Su和Uu；步骤108所述快速插值模型为步骤102所述的快速插值模型；步骤109：初始化高分辨率高光谱图像X0＝Xu，高分辨率辅助矩阵S0＝Su，U0＝Uu，辅助因子ρ，迭代次数t＝0；步骤110：使用快速响应模型和快速差分模型更新高分辨率高光谱图像X；步骤111：使用快速差分模型更新高分辨率辅助矩阵S和U；步骤112：更新辅助因子ρ和当前迭代次数t，并转至步骤110进行迭代，进行高分辨率高光谱图像X的重建，直至t＝I2，从而完成双相机光谱成像系统的实时重建，得到高质量的实时高光谱重建图像。2.如权利要求1所述的一种基于插值的双相机光谱成像系统的实时重建方法，其特征在于：步骤101中所述双相机光谱成像仪为基于全色相机的双相机光谱成像系统；双相机光谱成像系统主要由分光镜、物镜、编码模版、中继镜、色散棱镜和全色相机部件构成，包含一个编码孔径快照光谱成像系统和一个全色相机分支；目标场景的高光谱图像X大小为M×N×Ω，高光谱图像X上任意一点的像素值为x(i,j,λ)，且1≤i≤M，1≤j≤N，1≤λ≤Ω；其中，M×N表示高光谱图像的空间分辨率，Ω表示高光谱图像的谱段数；入射光首先到达分光镜被一分为二，一半进入编码孔径快照光谱成像系统CASSI分支，一半进入全色相机分支；进入编码孔径快照光谱成像系统CASSI分支的光会到达编码模版进行随机的0-1编码；经编码后的图像到达色散棱镜后，不同频段的图像会沿着竖直方向进行偏移；最后所有频段的图像到达灰度相机后进行叠加，得到压缩的二维混叠光谱图像；编码孔径快照光谱成像系统CASSI的数学模型为：其中ω(λ)表示CCD相机的频谱响应函数，Cu(i,j)表示编码模版函数，φ(λ)表示色散棱镜的波段偏移函数，yc(i,j)为二维混叠采样图像；进入全色相机分支的入射光会直接到达灰度相机得到目标场景的二维灰度投影，数学模型为：将式(1)和式(2)联立，并写成矩阵的形式为：Y＝HX(3)其中Y＝[Yc；Yp]表示二维压缩光谱采样图像+二维灰度图像；X表示三维数据立方体，H表示对编码孔径快照光谱成像系统CASSI分支+全色分支的前向响应矩阵，为编码模版函数、色散棱镜偏移函数和CCD相机频谱响应的综合作用。3.如权利要求2所述的一种基于插值的双相机光谱成像系统的实时重建方法，其特征在于：步骤102所述快速插值模型算法为统一化插值算法；线性图像插值过程都能够看作是源图像像素的线性叠加过程，故用统一的数学模型表示为：其中d和s分别表示目标图像和源图像，j表示像素点索引；K表示插值所需要的源像素点个数；I(j,m)和W(j,m)表示索引矩阵和权值矩阵；一旦图像分辨率和采样比例确定以后，I(j,m)和W(j,m)就能够提前生成并作为查找表存储在内存中，从而完成快速图像插值模型。4.如权利要求3所述的一种基于插值的双相机光谱成像系统的实时重建方法...
【专利技术属性】
技术研发人员：王立志，张仕鹏，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。