【技术实现步骤摘要】
一种基于Neighborhood注意力机制的阴影去除方法
[0001]本专利技术涉及一种图像分析方法，尤其是涉及一种基于Neighborhood注意力机制的阴影去除方法，属于图像识别
技术介绍
[0002]随着我国智慧城市建设不断深入，对智慧交通、智能安防的需求越来越强，从而对图像的质量要求也越来越高。在复杂光照下，如黄昏太阳光会使图像中存在大量的物体阴影(如图1左所示)，由于阴影的存在，图像分割、目标跟踪性能会有所下降。在图像分割任务中，阴影的“假边”会混淆物体的边缘，影响分割的效果，使其分割精度大大降低；在目标检测与识别任务中，目标物体与其阴影“融为一体”，导致识别精度大大降低。
[0003]图像阴影去除是计算机视觉领域中既基本又重要的任务之一，其处理结果的好坏决定着后续任务的性能(如图1右所示)，是计算机视觉领域重要预处理阶段，具有重要的研究意义。但目前专门为此问题而构建的数据集还很少，如应用最广的数据集仅包含76对阴影/无阴影图像对(LRSS)和37对阴影/无阴影图像对(UIUC)。标记无阴影数据集...
【技术保护点】
【技术特征摘要】
1.一种基于Neighborhood注意力机制的阴影去除方法，其特征在于：利用循环GAN有效克服方法对三元组阴影数据集的依赖，利用neighborhood注意力机制构建生成网络，对不同尺度的图像特征进行感知，该方法能够有效去除阴影，保留更多的场景细节信息；包括以下步骤：步骤1：构建生成器：(1)：提取输入图像底层特征：采用块嵌入Patch Embedding来实现，采用3
×
3卷积、步长为1的卷积操作获得图像底层特征图；(2)提取图像的高层语义特征：把获取的底层特征图作为输入，利用neighborhood注意力机制实现高层语义信息提取；根据固定尺寸且带有重叠的窗口划分计算注意力分数，每个q都是和一个局部的窗口内的k和v来计算注意力值；窗口滑动的过程类似于卷积操作的过程，对输入图像的尺寸没有约束；(3)图像重构，利用3
×
3卷积，步长为1，通道数为3，重构彩色图像；步骤1是完成生成器的构建，输入带有阴影的图像，经过图像的底层特征提取、高层语义特征提取和图像重构三个步骤能够生成一张不带阴影图像，生成网络构建过程中没有改变图像尺寸；步骤2：构建判别器：构建8层全卷积网络，最后一层采用Average Pooling，使得判别网络能够对不同尺度的图像进行处理，该网络输出结果为生成图像是真实图像的概率值；提出一种结合全局判别和局部判别方式进行生成图像好坏的判别策略，使得生成图像能够很好保持图像的颜色和纹理信息；步骤3：设计损失函数，利用SRD数据集进行模型训练，该SRD数据集的数据包括2680个阴影图像对；在循环GAN中，采用基于neighborhood自注意力机制构建生成网络，能够利用更多的上下文信息获得注意力信息，从而获取更多的图像高层语义特征；针对循环GAN中判别网络的设计，采用一种双判别策略，结合全局判别和局部判别进行生成图像质量好坏的判别，全局判别对图像整体进行评估，局部判别是将图像进行N采样，得到一系列子图像组，然后对这些子图像组进行进一步判别；该方法能够有效去除阴影，最终使得生成的图像从全局到细节更加逼真。2.根据权利要求1所述的一种基于Neighborhood注意力机制的阴影去除方法，其特征在于：循环GAN采用两个对称的生成对抗网络组成的一个环状模型，图像生成是双向的；阴影去除方法框架包括两个GAN共享两个生成器G
X2Y
和G
Y2X
，对于要进行转换的图像域X带阴影和图像域Y不带阴影，有对应的判别器D
X
和D
Y
来判断所在域的图像是否真实；生成器G
X2Y
接收图像域X带阴影的图像x，将其转换成图像域Y不带阴影风格的图像，紧接着G
X2Y<...
【专利技术属性】
技术研发人员：王金华，徐光美，张敬尊，胡新，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。