一种基于卷积神经网络模型的图像融合方法及系统技术方案

本发明专利技术公开了一种基于卷积神经网络模型的图像融合方法及系统，其中，所述图像融合方法包括：获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。在本发明专利技术实施例中，满足用户对图像融合需求，提高图像融合速度。

Image fusion method and system based on convolution neural network model

The invention discloses a method and a system for the fusion, the image model based on convolutional neural network, including the image fusion method: obtaining at least one fused style image information and at least one fused image information, and the style of fusion image information and the content of image information fusion zoom into the same size; the style of fusion image information and the fusion image information fusion for initialization of the uniform size, obtain the initial fused image information; calculating the initial image information fusion and uniform size the style of fusion image information and the fusion image information loss gradient in the convolutional neural network model, gets the total loss total loss according to the gradient; the gradient of the initial fused image is updated and the volume of The neural network model is used for parameter preservation. In the embodiment of the invention, the requirement of image fusion for users is satisfied, and the speed of image fusion is improved.

【技术实现步骤摘要】
一种基于卷积神经网络模型的图像融合方法及系统
本专利技术涉及图像处理技术，尤其涉及一种基于卷积神经网络模型的图像融合方法及系统。
技术介绍
当今社会，由于手机摄影越发流行，各种的后期图像处理的软件随着之盛行，软件所提供的修图等图像融合技术的需求也越发扩大，一个快速的，有效的，并且带有趣味性的图像融合技术成为该类行业所追求的目标，从而进一步的吸引更多的用户使用自身的产品。但是现存的图像融合技术并非十分完美，算法复杂度，有效性，耗时都仍然处于一个急需优化的水平。极大的用户需求量需要更完善更丰富的技术支持才能得以填补，但是当前的技术模型却无法在短时间内完成图片的融合以及图片融合的丰富度上给予人群更好的用户体验。因此，在这种情况下，希望有一种技术，能在短时间内解决用户的图片融合需求，并同时能够提供大量的融合风格让用户自主进行选择，进而完成相关产品的适用性和可靠性，从而克服上述的问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于卷积神经网络模型的图像融合方法及系统，在本专利技术实施例中，满足用户对图像融合需求，提高图像融合速度。为了解决上述技术问题，本专利技术实施例提供了一种基于卷积神经网络模型的图像融合方法，所述图像融合方法包括：获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。优选地，所述对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，包括：采用均匀分布对所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；所述均匀分布为K＝1,2,…,m，则称X服从离散的均匀分布，将所述离散均匀分布值加128，获取所述初始融合图像信息像素值，所述像素值在0到256之间；其中，P表示分布概率，X表示所述待融合风格图像信息和所述待融合内容图像信息的像素值，K＝1,2,…,m。优选地，所述卷积神经网络模型为21个神经网络层的卷积神经网络架构，其中包括16个卷积层，5降采样层。优选地，所述在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，包括：对所述卷积神经网络模型进行参数设定，所述参数包括待融合风格图像信息的影响比重、待融合内容图像信息影响比重和循环次数；计算所述初始融合图像信息与统一大小的所述待融合风格图像信息的损失梯度，获取第一损失梯度；计算所述初始融合图像信息与统一大小的所述待融合内容图像信息的损失梯度，获取第二损失梯度；根据所述第一损失梯度和所述第二损失梯度计算，获取总损失梯度。优选地，所述待融合风格图像信息的影响比重为0.5、所述待融合内容图像信息影响比重0.5和所述循环次数为120。另外，本专利技术实施例还提供了一种基于卷积神经网络模型的图像融合系统，所述图像融合系统包括：信息获取模块：用于获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；融合模块：用于对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；梯度计算模块：用于在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；信息更新模块：用于根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。优选地，所述融合模块包括：均匀融合单元：用于采用均匀分布对所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；所述均匀分布为K＝1,2,…,m，则称X服从离散的均匀分布，将所述离散均匀分布值加128，获取所述初始融合图像信息像素值，所述像素值在0到256之间；其中，P表示分布概率，X表示所述待融合风格图像信息和所述待融合内容图像信息的像素值，K＝1,2,…,m。优选地，所述卷积神经网络模型为21个神经网络层的卷积神经网络架构，其中包括16个卷积层，5降采样层。优选地，所述梯度计算模块包括：参数设定单元：用于对所述卷积神经网络模型进行参数设定，所述参数包括待融合风格图像信息的影响比重、待融合内容图像信息影响比重和循环次数；第一梯度计算单元：用于计算所述初始融合图像信息与统一大小的所述待融合风格图像信息的损失梯度，获取第一损失梯度；第二梯度计算单元：用于计算所述初始融合图像信息与统一大小的所述待融合内容图像信息的损失梯度，获取第二损失梯度；总梯度计算单元：用于根据所述第一损失梯度和所述第二损失梯度计算，获取总损失梯度。优选地，所述待融合风格图像信息的影响比重为0.5、所述待融合内容图像信息影响比重0.5和所述循环次数为120。在专利技术实施例中，采用本专利技术实施例满足用户对图像融合风格的需求，同时该模型的适应性强，只需要提供不同的风格图像，就可以得到不同方式的图像融合处理，极大的丰富了用户体验；同时该模型因为是一个自学习模型，只需要在模型前期学习的过程中投入计算量和运算时间成本，当一个模型已经完全学习完毕并将对应的参数进行保存之后，再进行新的图像融合时不需要消耗额外的时间，因此比以往的模型都极大的提高了图像融合的效率，迎合用户即时图像融合的需求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术实施例中的基于卷积神经网络模型的图像融合方法的流程示意图；图2是本专利技术实施例中的基于卷积神经网络模型的图像融合系统的系统组成结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。图1是本专利技术实施例中的基于卷积神经网络模型的图像融合方法的流程示意图，如图1所述，所述图像融合方法包括：S11：获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；S12：对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；S13：在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；S14：根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。对S11作进一本文档来自技高网...

【技术保护点】
一种基于卷积神经网络模型的图像融合方法，奇特在于，所述图像融合方法包括：获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。

【技术特征摘要】
1.一种基于卷积神经网络模型的图像融合方法，奇特在于，所述图像融合方法包括：获取至少一张待融合风格图像信息和至少一张待融合内容图像信息，并将所述待融合风格图像信息和所述待融合内容图像信息放缩到统一大小；对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，获取总损失梯度；根据所述总损失梯度对所述初始融合图像信息进行更新和对所述卷积神经网络模型进行参数保存。2.根据权利要求1所述的图像融合方法，奇特在于，所述对统一大小的所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，包括：采用均匀分布对所述待融合风格图像信息和所述待融合内容图像信息进行初始化融合处理，获取初始融合图像信息；所述均匀分布为则称X服从离散的均匀分布，将所述离散均匀分布值加128，获取所述初始融合图像信息像素值，所述像素值在0到256之间；其中，P表示分布概率，X表示所述待融合风格图像信息和所述待融合内容图像信息的像素值，K＝1,2,…,m。3.根据权利要求1所述的图像融合方法，奇特在于，所述卷积神经网络模型为21个神经网络层的卷积神经网络架构，其中包括16个卷积层，5降采样层。4.根据权利要求1所述的图像融合方法，奇特在于，所述在卷积神经网络模型内计算所述初始融合图像信息与统一大小的所述待融合风格图像信息和所述待融合内容图像信息损失梯度，包括：对所述卷积神经网络模型进行参数设定，所述参数包括待融合风格图像信息的影响比重、待融合内容图像信息影响比重和循环次数；计算所述初始融合图像信息与统一大小的所述待融合风格图像信息的损失梯度，获取第一损失梯度；计算所述初始融合图像信息与统一大小的所述待融合内容图像信息的损失梯度，获取第二损失梯度；根据所述第一损失梯度和所述第二损失梯度计算，获取总损失梯度。5.根据权利要求4所述的图像融合方法，奇特在于，所述待融合风格图像信息的影响比重为0.5、所述待融合内容图像信息影响比重0.5和所述循环次数为120。...

【专利技术属性】
技术研发人员：胡建国，商家煜，黄俊威，李仕仁，梁津铨，
申请(专利权)人：广州智慧城市发展研究院，广州搏创信息科技有限公司，
类型：发明
国别省市：广东,44