基于随机生成样本的图像畸变评价网络训练方法及装置制造方法及图纸

本发明专利技术公开了一种基于随机生成样本的图像畸变评价网络训练方法及装置，其中，该方法包括：获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，利用随机畸变和RGB图像中生成畸变RGB图像；通过畸变RGB图像训练深度神经网络生成图像畸变评价网络；将待评价任务图像输入图像畸变评价网络，输出待评价任务图像中各区域的畸变强度。该方法可以根据图片的语义信息判断图片的畸变，减轻训练过程中对于真实数据的依赖，训练使用的数据集中的畸变为随机生成的，易获得且具有随机性，可以解决训练过程中过拟合的问题。

Network training method and device for image distortion evaluation based on randomly generated samples

【技术实现步骤摘要】
基于随机生成样本的图像畸变评价网络训练方法及装置
本专利技术涉及三维重建
，特别涉及一种基于随机生成样本的图像畸变评价网络训练方法及装置。
技术介绍
在进行中间视角合成、三维重建以及全景图拼接的任务中，大量基于深度学习的方法在网络训练的过程中，往往需要对合成图像进行评价，从而进行训练。然而，目前这一领域中对合成图像进行评价的方法中通常需要借助真实数据(groundtruth)，在真实数据有限的情形下，网络的性能可能因此受到限制。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于随机生成样本的图像畸变评价网络训练方法，该方法在不依靠真实数据的情况下给出图像各部分的畸变程度指数。本专利技术的另一个目的在于提出一种基于随机生成样本的图像畸变评价网络训练装置。为达到上述目的，本专利技术一方面实施例提出了一种基于随机生成样本的图像畸变评价网络训练方法，包括：获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，利用所述随机畸变和所述RGB图像中生成畸变RGB图像；通过所述畸变RGB图像训练深度神经网络生成图像畸变评价网络；将所述待评价任务图像输入所述图像畸变评价网络，输出所述待评价任务图像中各区域的畸变强度。本专利技术实施例的基于随机生成样本的图像畸变评价网络训练方法，通过获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，将随机畸变施加于RGB图像中生成畸变RGB图像；通过畸变RGB图像训练深度神经网络生成图像畸变评价网络；将待评价任务图像输入图像畸变评价网络，输出待评价任务图像中各区域的畸变强度。训练数据随机生成，具有随机性，从而在不依靠真实数据的情况下给出图像各部分的畸变程度指数。另外，根据本专利技术上述实施例的基于随机生成样本的图像畸变评价网络训练方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：对所述待评价任务图像中的畸变进行正确标注，将标注后的待评价任务图像与所述图像畸变评价网络输出的所述待评价任务图像中各区域的畸变强度进行对比，根据对比结果对所述图像畸变评价网络进行调整。进一步地，在本专利技术的一个实施例中，还包括：根据所述待评价任务图像对应的不同任务，选择不同的随机算法生成所述随机畸变。进一步地，在本专利技术的一个实施例中，所述畸变RGB图像中的畸变包括：稠密程度、平滑程度和畸变形状，其中，稠密程度为所述畸变RGB图像中发生畸变的区域数量，平滑程度为在所述畸变RGB图像的同一畸变中，光流的平滑程度，畸变形状为所述畸变RGB图像中畸变的形状。进一步地，在本专利技术的一个实施例中，所述图像畸变评价网络的损失函数为所述图像畸变评价网络输出的图像畸变强度与图像真实畸变强度的二范数。为达到上述目的，本专利技术另一方面实施例提出了一种基于随机生成样本的图像畸变评价网络训练装置，包括：处理模块，用于获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，利用所述随机畸变和所述RGB图像中生成畸变RGB图像；训练模块，用于通过所述畸变RGB图像训练深度神经网络生成图像畸变评价网络；输出模块，用于将所述待评价任务图像输入所述图像畸变评价网络，输出所述待评价任务图像中各区域的畸变强度。本专利技术实施例的基于随机生成样本的图像畸变评价网络训练装置，通过获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，将随机畸变施加于RGB图像中生成畸变RGB图像；通过畸变RGB图像训练深度神经网络生成图像畸变评价网络；将待评价任务图像输入图像畸变评价网络，输出待评价任务图像中各区域的畸变强度。训练数据随机生成，具有随机性，从而在不依靠真实数据的情况下给出图像各部分的畸变程度指数。另外，根据本专利技术上述实施例的基于随机生成样本的图像畸变评价网络训练装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：调整模块，所述调整模块，用于对所述待评价任务图像中的畸变进行正确标注，将标注后的待评价任务图像与所述图像畸变评价网络输出的所述待评价任务图像中各区域的畸变强度进行对比，根据对比结果对所述图像畸变评价网络进行调整。进一步地，在本专利技术的一个实施例中，所述处理模块，还用于：根据所述待评价任务图像对应的不同任务，选择不同的随机算法生成所述随机畸变。进一步地，在本专利技术的一个实施例中，所述畸变RGB图像中的畸变包括：稠密程度、平滑程度和畸变形状，其中，稠密程度为所述畸变RGB图像中发生畸变的区域数量，平滑程度为在所述畸变RGB图像的同一畸变中，光流的平滑程度，畸变形状为所述畸变RGB图像中畸变的形状。进一步地，在本专利技术的一个实施例中，所述图像畸变评价网络的损失函数为所述图像畸变评价网络输出的图像畸变强度与图像真实畸变强度的二范数。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于随机生成样本的图像畸变评价网络训练方法流程图；图2为根据本专利技术又一个实施例的基于随机生成样本的图像畸变评价网络训练方法流程图；图3为根据本专利技术又一个实施例的基于随机生成样本的图像畸变评价网络训练装置结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于随机生成样本的图像畸变评价网络训练方法及装置。首先将参照附图描述根据本专利技术实施例提出的基于随机生成样本的图像畸变评价网络训练方法。图1为根据本专利技术一个实施例的基于随机生成样本的图像畸变评价网络训练方法流程图。如图1所示，该基于随机生成样本的图像畸变评价网络训练方法包括以下步骤：在步骤S101中，获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，利用随机畸变和RGB图像中生成畸变RGB图像。在没有真实数据的情况下，单张图片中所包含的语义信息也能够为图像畸变程度的判断提供指导，例如，图片中扭曲的车辆、拦腰折断的电线杆都足以判断该区域存在畸变。通过深度学习的方法可以提取出图像语义信息，因此利用深度学习的方法判断图像各部分的畸变程度。获取分辨率为256×256的RGB图像，通过随机算法随机生成畸变，将生成的畸变施加于RGB图像中，使得RGB图像中存在随机畸变，由于畸变RGB图像由随机算法根据原图生成，因此畸变RGB图像中的畸变位置以及强度已知。进一步地，根据待评价任务图像对应的不同任务，选择不同的随机算法生成本文档来自技高网...

【技术保护点】
1.一种基于随机生成样本的图像畸变评价网络训练方法，其特征在于，包括以下步骤：/n获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，利用所述随机畸变和所述RGB图像中生成畸变RGB图像；/n通过所述畸变RGB图像训练深度神经网络生成图像畸变评价网络；/n将所述待评价任务图像输入所述图像畸变评价网络，输出所述待评价任务图像中各区域的畸变强度。/n

【技术特征摘要】
1.一种基于随机生成样本的图像畸变评价网络训练方法，其特征在于，包括以下步骤：
获取RGB图像和待评价任务图像，通过随机算法生成随机畸变，利用所述随机畸变和所述RGB图像中生成畸变RGB图像；
通过所述畸变RGB图像训练深度神经网络生成图像畸变评价网络；
将所述待评价任务图像输入所述图像畸变评价网络，输出所述待评价任务图像中各区域的畸变强度。


2.根据权利要求1所述的基于随机生成样本的图像畸变评价网络训练方法，其特征在于，还包括：
对所述待评价任务图像中的畸变进行正确标注，将标注后的待评价任务图像与所述图像畸变评价网络输出的所述待评价任务图像中各区域的畸变强度进行对比，根据对比结果对所述图像畸变评价网络进行调整。


3.根据权利要求1所述的基于随机生成样本的图像畸变评价网络训练方法，其特征在于，还包括：
根据所述待评价任务图像对应的不同任务，选择不同的随机算法生成所述随机畸变。


4.根据权利要求1所述的基于随机生成样本的图像畸变评价网络训练方法，其特征在于，
所述畸变RGB图像中的畸变包括：稠密程度、平滑程度和畸变形状，其中，稠密程度为所述畸变RGB图像中发生畸变的区域数量，平滑程度为在所述畸变RGB图像的同一畸变中，光流的平滑程度，畸变形状为所述畸变RGB图像中畸变的形状。


5.根据权利要求1所述的基于随机生成样本的图像畸变评价网络训练方法，其特征在于，
所述图像畸变评价网络的损失函数为所述图像畸变评价网络输出的图像畸变强度与图像真实畸变强度的二范数。


6.一种基于随机生成样本的...

【专利技术属性】
技术研发人员：徐枫，武笑石，娄昕，杨东，兰怡娜，戴琼海，
申请(专利权)人：清华大学，中国人民解放军总医院，
类型：发明
国别省市：北京;11