基于计算机视觉与色彩滤波阵列的图像处理方法技术

本发明专利技术提供了一种基于计算机视觉与色彩滤波阵列的图像处理方法，该方法包括：构建第一损失函数和第二损失函数，利用第一损失函数和第二损失函数对神经网络进行训练；获取图像采集目标的拜耳图像和第一灰度图像，基于拜耳图像和第一灰度图像得到R像素频谱图、G像素频谱图、B像素频谱图、第一灰度频谱图，将R像素频谱图、G像素频谱图、B像素频谱图、第一灰度频谱图输入训练好的神经网络中，得到无摩尔纹的RGB图像；其中，拜耳图像的分辨率小于第一灰度图像，无摩尔纹的RGB图像的分辨率和第一灰度图像相同。本发明专利技术利用高分辨率灰色相机、低分辨率彩色相机采集的图像来重建高分辨率彩色图像，节约了采集成本，适用性强。适用性强。适用性强。

【技术实现步骤摘要】
基于计算机视觉与色彩滤波阵列的图像处理方法


[0001]本专利技术涉及相机成像、计算机视觉
，具体为一种基于计算机视觉与色彩滤波阵列的图像处理方法。

技术介绍

[0002]在数字影像中，如果被拍摄的物体中有密纹的纹理，则常常会出现如水波一样的条纹和奇怪的色彩，这就是摩尔纹。无论是用高级数字相机拍摄的影像，或是扫描的影像，均有可能出现摩尔纹现象。当物体上的细致图样比如织物上的编织纹路，或建筑物上非常靠近的并行线与成像组件上的图样相重叠时，则可能会产生摩尔纹。
[0003]目前消除摩尔纹的方法是通过提升图像传感器的分辨率或采用其它CFA阵列的相机或加入低通滤镜，然而摩尔纹通常只会在密集纹理下出现，从硬件上入手会存在成本高的问题，从算法上入手通常会导致处理后的图像纹理缺失或丢失信息严重。因此如何低成本、高精确地消除图像摩尔纹的影响是一个值得探讨的问题。

技术实现思路

[0004]为了解决上述问题，本专利技术提出一种基于计算机视觉与色彩滤波阵列的图像处理方法，该方法包括：
[0005]获取图像采集目标的第一RGB图像、拜耳图像和第一灰度图像，第一RGB图像和拜耳图像的分辨率相同且小于第一灰度图像；
[0006]对所述拜耳图像进行颜色分离，得到R像素阵列、G像素阵列、B像素阵列，对所述像素阵列进行处理获取R像素频谱图、G像素频谱图、B像素频谱图；
[0007]对所述第一灰度图像进行处理，获取第一灰度频谱图；
[0008]将所述R像素频谱图、G像素频谱图、B像素频谱图、第一灰度频谱图输入神经网络，得到无摩尔纹的第二RGB图像，所述第二RGB图像和所述第一灰度图像分辨率相同；其中，所述神经网络包括第一神经网络和第二神经网络，构建第一损失函数和第二损失函数，用所述第一损失函数对所述第一神经网络进行训练，用所述第二损失函数对所述第二神经网络进行训练。
[0009]所述第一灰度图像通过灰色相机采集得到。
[0010]所述第一神经网络包括第一编码器和第一解码器，第一编码器的输入为R像素频谱图、G像素频谱图、B像素频谱图联合后得到的第一三通道频谱图，输出为第一特征图；第一解码器的输入为第一特征图，输出分辨率与第一灰度频谱图相同的第二灰度频谱图。
[0011]所述第二神经网络包括第二编码器和第二解码器，第二编码器的输入为第一灰度频谱图，输出为第二特征图；所述第一特征图和所述第二特征图相乘得到第三特征图，第二解码器的输入为第三特征图，输出分辨率与第一灰度频谱图相同的第二三通道频谱图。
[0012]所述第一神经网络还用于对所述第二三通道频谱图进行傅里叶逆变换，得到所述第二RGB图像。
[0013]所述第一损失函数为：
[0014][0015]第一解码器包括中间层和输出层，获取多个中间层的输出结果以及输出层的输出结果，共得到R个输出结果，CV
p
表示第p个输出结果的变异系数；基于第一灰度频谱图得到与每个输出结果分辨率相对应的频谱特征图，表示第p个输出结果对应的频谱特征图的变异系数；表示第p个输出结果的第i个像素的像素值，表示第p个输出结果对应的频谱特征图的第i个像素的像素值，M
p
为第p个输出结果的像素数量。
[0016]所述第二损失函数结合了改进的均方误差损失函数和结构相似性损失函数。
[0017]所述改进的均方误差损失函数为：
[0018][0019]对第一RGB图像进行处理得到第二灰度图像，所述第二灰度图像的分辨率与所述第一灰度图像相同，对所述第二灰度图像以及训练第二神经网络的标签图像进行角点检测，并利用滑动窗口分别对所述第一灰度图像、所述第二灰度图像、所述标签图像、所述第二RGB图像进行Q个图像块的提取，滑动窗口大小为k*k，B
x
表示第二灰度图像中第x个图像块的角点数量与标签图像中第x个图像块的角点数量的比值；W
x
为第一灰度图像中第x个图像块的纹理特征权重，具体地，计算第一灰度图像中每个像素点对应的ASM能量、熵ENT，基于第一灰度图像第x个图像块中所有像素点对应的ASM能量、熵计算该图像块的纹理权重；分别表示第二神经网络输出的第二RGB图像、标签图像中第x个图像块的第c个通道中第j个像素的像素值，γ、δ为预设缩放系数。
[0020]其中，ASM
j
、ENT
j
分别表示第一灰度图像的第x个图像块中第j个像素点的ASM能量、熵ENT；α、β为预设权重因子。
[0021]所述标签图像为通过彩色相机采集的与第一灰度图像分辨率相同的彩色图像；对所述标签图像进行角点检测之前需要对标签图像进行灰度化处理。
[0022]本专利技术的有益效果在于：
[0023]1.本专利技术对相机的Raw文件进行处理，实现图像的超分辨率以及摩尔纹的去除，简单准确高效且通过高分辨率灰色相机、低分辨率彩色相机采集的图像来重建高分辨率彩色图像可以节约采集成本，本专利技术所述方法适用性强。
[0024]2.本专利技术通过傅里叶变换将拜耳图像转化为频谱图，并对频谱图进行重建，可以更好地滤除摩尔纹，且可以固定网络的拟合方向，提高网络收敛速度。
[0025]3.本专利技术根据摩尔纹的特征构建损失函数，可以提高重建图像的质量与细节，提高网络的拟合能力和特征提取能力，使网络收敛更快。
附图说明
[0026]图1为本专利技术的实施流程图。
具体实施方式
[0027]为了让本领域技术人员更好的理解本专利技术，下面结合实施例对本专利技术进行详细描述。
[0028]现有的ISP pipeline这种图像处理流水线的方法主要只适合于特定一种相机或一家相机厂商生产的相机，没有普适性，本专利技术直接从相机传感器的Raw文件入手，其实施流程如图1所示，对拜耳图像进行频谱处理，并通过端到端的神经网络直接实现在消除低分辨率彩色图像中摩尔纹、噪声影响的同时实现低分辨率彩色图像的重建，得到不包括摩尔纹的高分辨率彩色图像。
[0029]实施例：
[0030]本专利技术需要利用多个相机对图像采集目标进行图像采集，基于低分辨率彩色相机获取图像采集目标的第一RGB图像、拜耳图像，第一RGB图像和拜耳图像的分辨率相同，实施例中低分辨率彩色相机采用拜耳型颜色滤波阵列，为常见相机的色彩滤波阵列，低分辨率彩色相机的分辨率经验值为1024*1024；利用高分辨率灰色相机获取图像采集目标的第一灰度图像，基于灰色相机得到的第一灰度图像不会因为密集纹理而出现摩尔纹现象，原因为灰色相机通过单层滤镜采集所有波长的光子直接成像，因此不会存在摩尔纹，从而得到更清晰的图像，实施例中高分辨率灰色相机分辨率的大小为低分辨率彩色相机的4倍，即2048*2048；利用能够在一定程度上规避摩尔纹的高分辨率多层滤镜彩色相机获取图像采集目标的高分辨率彩色图像，高分辨率彩色图像为神经网络训练时的其中一个标签图像，实施例中高分辨率多层滤镜彩色相机可以采用适马Foveon X3的三层滤镜的结构，也可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉与色彩滤波阵列的图像处理方法，其特征在于，该方法包括：获取图像采集目标的第一RGB图像、拜耳图像和第一灰度图像，第一RGB图像和拜耳图像的分辨率相同且小于第一灰度图像；对所述拜耳图像进行颜色分离，得到R像素阵列、G像素阵列、B像素阵列，对所述像素阵列进行处理获取R像素频谱图、G像素频谱图、B像素频谱图；对所述第一灰度图像进行处理，获取第一灰度频谱图；将所述R像素频谱图、G像素频谱图、B像素频谱图、第一灰度频谱图输入神经网络，得到无摩尔纹的第二RGB图像，所述第二RGB图像和所述第一灰度图像分辨率相同；其中，所述神经网络包括第一神经网络和第二神经网络，构建第一损失函数和第二损失函数，用所述第一损失函数对所述第一神经网络进行训练，用所述第二损失函数对所述第二神经网络进行训练。2.如权利要求1所述的方法，其特征在于，所述第一灰度图像通过灰色相机采集得到。3.如权利要求1所述的方法，其特征在于，所述第一神经网络包括第一编码器和第一解码器，第一编码器的输入为R像素频谱图、G像素频谱图、B像素频谱图联合后得到的第一三通道频谱图，输出为第一特征图；第一解码器的输入为第一特征图，输出分辨率与第一灰度频谱图相同的第二灰度频谱图。4.如权利要求3所述的方法，其特征在于，所述第二神经网络包括第二编码器和第二解码器，第二编码器的输入为第一灰度频谱图，输出为第二特征图；所述第一特征图和所述第二特征图相乘得到第三特征图，第二解码器的输入为第三特征图，输出分辨率与第一灰度频谱图相同的第二三通道频谱图。5.如权利要求4所述的方法，其特征在于，所述第一神经网络还用于对所述第二三通道频谱图进行傅里叶逆变换，得到所述第二RGB图像。6.如权利要求5所述的方法，其特征在于，所述第一损失函数为：第一解码器包括中间层和输出层，获取多个中间层的输出结果以及输出层的输出结果，共得到R个输出结果，CV
p
...

【专利技术属性】
技术研发人员：周斌，赵明举，张王卫，张亚超，赵明冬，
申请(专利权)人：郑州科技学院，
类型：发明
国别省市：