基于卷积稀疏编码的单相机RGB-NIR成像系统技术方案

本发明专利技术公开了一种基于卷积稀疏编码的单相机RGB‑NIR成像系统，包括：基于OV4682的传感器的相机，传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在相机的光学部门没有红外滤波片时，使得近红外光通过红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，且复用的被传感器复用采集可见光和近红外光；RGB‑NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB‑NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。该系统具有简单易行、采集系统简单、成本低、误差小的优点。

【技术实现步骤摘要】
基于卷积稀疏编码的单相机RGB-NIR成像系统
本专利技术涉及
，特别涉及一种基于卷积稀疏编码的单相机RGB-NIR成像系统。
技术介绍
RGB和NIR成像技术是对可见波段和近红外波段的图像的采集，已经被广泛的应用到临床医学中的癌症手术，计算机视觉中的材质分类和检测，阴影检测，农业中的植被健康监测等。RGB和NIR成像技术的实现方式一般是通过两个相机采集实现，其中一个相机的成像光学透镜前置有NIR滤波片，从而实现可见光图像的采集，另一个相机的成像透镜前有可见光滤波片，从而实现近红外光图像的采集。通过两个相机的位置校准，可以实现RGB和近红外图像的采集，一方面这种成像技术需要至少两个相机的采集，另一方面，不同相机之间的校准算法计算复杂度比较高，而且会引入校准误差，给图像带来误差。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于卷积稀疏编码的单相机RGB-NIR成像系统，具有简单易行、采集系统简单、成本低、误差小的优点。为达到上述目的，本专利技术的实施例提出了一种基于卷积稀疏编码的单相机RGB-NIR成像系统，包括：基于OV4682的传感器的相机，所述传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光；RGB-NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。根据本专利技术实施例提出的基于卷积稀疏编码的单相机RGB-NIR成像系统，通过新型贝尔滤光片的相机传感器，复用的采集RGB和NIR的图像，最终通过优化重构算法实现可见光波段RGB通道和近红外波段NIR通道的计算重建，具有简单易行、采集系统简单，成本低的优点，只需要标定一次不同通道的噪声和模糊核就能够达到成像目的，且能够实现单相机RGB和近红外的同时成像，降低对准和矫正误差。另外，根据本专利技术上述实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述基于OV4682的传感器的相机的传感器前的贝尔滤波片为R-G-B-IR排列，且没有红外滤波片。进一步地，在本专利技术的一个实施例中，所述RGB-NIR分离重构模块具体用于通道间串扰矩阵的估计、逐通道噪声估计、逐通道模糊核估计、基于卷积稀疏编码的RGB-NIR颜色通道的图像的结构先验的学习和单张马赛克图像中分离和重构出RGB和NIR图像。进一步地，在本专利技术的一个实施例中，所述通道间串扰矩阵的估计，包括：标定出相机的光谱透过率曲线R，其中，R＝[rR,rG,rB,rI]，其中，rR,rG,rB,rI分别是RGB和近红外通道的光谱透过率向量，向量的长度为N。进一步地，在本专利技术的一个实施例中，所述矩阵R的维度是N×4。进一步地，在本专利技术的一个实施例中，所述RGB-NIR分离重构模块具体用于求解如下双凸优化问题，估计NIR通道对可见光通道RGB通道的影响：其中，估计通道间串扰模型C为一个4×4的矩阵,Cij代表j理想通道的光串扰到i通道的系数。已知R估计C和Q是个双凸优化问题，通过固定其中一个位置变量，优化另一个优化变量，以在迭代后得到收敛的解：subjecttoC≥0,Q≥0,其中，C为不同理想的光谱通道间串扰矩阵C，，Ip是惩罚矩阵，Q为理想光谱透过率曲线，目标函数的第三项是对光谱透过率曲线的梯度的平滑约束。进一步地，在本专利技术的一个实施例中，所述RGB-NIR分离重构模块通过噪声估计算法对不同通道的噪声进行估计，以估计不同通道的噪声得到最终的RGB-NIR重构优化算法中，数据项中不同通道的加权系数：进一步地，在本专利技术的一个实施例中，所述RGB-NIR分离重构模块通过盲卷积算法估计得到不同通道的卷积核KR,KG,KB,KI。进一步地，在本专利技术的一个实施例中，，所述RGB-NIR分离重构模块通过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像块的基元结构集合。进一步地，在本专利技术的一个实施例中，单张马赛克图像中分离和重构出RGB和NIR图像，所述RGB-NIR分离重构模块通过求解如下优化公式实现：subjecttoy＝KDz,v＝z,其中，目标函数中的第一项是数据约束项，第二项和第三项是约束重构的不同通道的图像在学到的结构字典基上的稀疏性。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统的结构示意图；图2为根据本专利技术一个实施例的实际光谱透过率曲线和理想光谱透过率曲线示意图；图3为根据本专利技术一个实施例的通过卷积稀疏编码得到的不同通道的统计结构基元字典的示意图；图4为根据本专利技术一个实施例的单个相机的传感器OV4682和RGBI贝尔滤波片以及不同通道的光谱透过率曲线示意图；图5是根据本专利技术一个实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统的最终成像效果示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于卷积稀疏编码的单相机RGB-NIR成像系统。图1为根据本专利技术实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统的结构示意图。如图1所示，该基于卷积稀疏编码的单相机RGB-NIR成像系统10包括：基于OV4682的传感器的相机100和RGB-NIR分离重构模块200。其中，基于OV4682的传感器的相机10的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光。RGB-NIR分离重构模块200用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。该系统具有简单易行、采集系统简单、成本低、误差小的优点。在本专利技术的一个是实施例中，实验采集的相机相较于传统的相机，有两点变化：第一，相机传感器前的贝尔滤波片，从传统的“R-G-G-B”排列，变成了“R-G-B-IR”。光学成像部分，实验采用的相机的光学成像镜头相较于传统的相机镜头，没有红外滤波片。进一步地，RGB-NIR重构算法，主要涉及到四本文档来自技高网...

【技术保护点】
1.一种基于卷积稀疏编码的单相机RGB‑NIR成像系统，其特征在于，包括：基于OV4682的传感器的相机，所述传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光；RGB‑NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB‑NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。

【技术特征摘要】
1.一种基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，包括：基于OV4682的传感器的相机，所述传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光；RGB-NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。2.根据权利要求1所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述基于OV4682的传感器的相机的传感器前的贝尔滤波片为R-G-B-IR排列，且没有红外滤波片。3.根据权利要求1所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述RGB-NIR分离重构模块具体用于通道间串扰矩阵的估计、逐通道噪声估计、逐通道模糊核估计、基于卷积稀疏编码的RGB-NIR颜色通道的图像的结构先验的学习和单张马赛克图像中分离和重构出RGB和NIR图像。4.根据权利要求3所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述通道间串扰矩阵的估计，包括：标定出相机的光谱透过率曲线R，其中，R＝[rR,rG,rB,rI]，其中，rR,rG,rB,rI分别是RGB和近红外通道的光谱透过率向量，向量的长度为N。5.根据权利要求3所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述矩阵R的维度是N×4。6.根据权利要求...

【专利技术属性】
技术研发人员：戴琼海，胡雪梅，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11