基于天空识别的图像替换方法及系统技术方案

本发明专利技术提供了一种基于天空识别的图像替换方法及系统，包括：天空识别步骤：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取步骤：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合步骤：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。本发明专利技术使用天空识别算法，能够得到天空区域的分割图；本发明专利技术能够提供大量的炫丽的天空素材模板供应用选择；本发明专利技术能够根据用户选择的天空模板图，对天空区域进行替换和融合，生成最终的更换天空后的图。

Image replacement method and system based on sky recognition

【技术实现步骤摘要】
基于天空识别的图像替换方法及系统
本专利技术涉及图像修正领域，具体地，涉及一种基于天空识别的图像替换方法及系统。
技术介绍
在日常摄影中，天空做为最常见的背景之一，会很大概率的出现在日常照片中，但由于天气存在不可控性，想要在拍摄的照片中出现美丽的天空往往是可遇而不可求的事情。专利文献CN106792147A公开了一种图像替换方法及装置，用于实现视频中头像的替换效果，从而提高用户的兴趣体验。所述方法包括：捕获到对当前视频界面中的第一人脸图像的选择操作，所述当前视频界面中包括至少一个人脸图像；获取待替换照片，并识别出所述待替换照片中的第二人脸图像；利用所述第二人脸图像替换所述第一人脸图像。该专利并不能很好地适用于天空背景的替换中。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于天空识别的图像替换方法及系统。根据本专利技术提供的一种基于天空识别的图像替换方法，包括：天空识别步骤：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取步骤：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合步骤：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。优选地，所述天空识别步骤包括：卷积神经网络模型获取步骤：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；粗粒度天空区域获取步骤：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。优选地，所述天空识别步骤还包括：待定区域获取步骤：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；所述待定区域信息匹配于天空与非天空边界区域信息。优选地，所述天空识别步骤还包括：待定区域划分步骤：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分；最优分割线获取步骤：定义一个能量函数，用于计算划分的合理性。上述分割可以看成是一个两分类问题，为了使分割更加合理，需要使得类内的差异尽可能小，即协方差要尽可能的小。因此我们定义能量函数原则如下：即计算天空和地面区域协方差的最小值，使得能量函数最大，取能量函数最大的边界线作为最优的分割线；马氏距离判断步骤：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素，从而可以进一步改进天空边界线的效果。优选地，天空素材获取步骤：直观效果展示步骤：根据系统默认参数或者用户选择信息，获取直观效果展示信息，方便用户直观看到效果。根据本专利技术提供的一种基于天空识别的图像替换系统，包括：天空识别模块：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取模块：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合模块：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。优选地，所述天空识别模块包括：卷积神经网络模型获取模块：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；粗粒度天空区域获取模块：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。优选地，所述天空识别模块还包括：待定区域获取模块：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；所述待定区域信息匹配于天空与非天空边界区域信息。优选地，所述天空识别模块还包括：待定区域划分模块：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分；最优分割线获取模块：定义一个能量函数，用于计算划分的合理性。上述分割可以看成是一个两分类问题，为了使分割更加合理，需要使得类内的差异尽可能小，即协方差要尽可能的小。因此我们定义能量函数原则如下：即计算天空和地面区域协方差的最小值，使得能量函数最大，取能量函数最大的边界线作为最优的分割线；马氏距离判断模块：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素，从而可以进一步改进天空边界线的效果。优选地，天空素材获取模块：直观效果展示模块：根据系统默认参数或者用户选择信息，获取直观效果展示信息，方便用户直观看到效果。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术使用天空识别算法，能够得到天空区域的分割图；2、本专利技术能够提供大量的炫丽的天空素材模板供应用选择；3、本专利技术能够根据用户选择的天空模板图，对天空区域进行替换和融合，生成最终的更换天空后的图。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术的流程示意图。图2为本专利技术的系统框架示意图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。如图1、图2所示，根据本专利技术提供的一种基于天空识别的图像替换方法，包括：天空识别步骤：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取步骤：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合步骤：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。优选地，所述天空识别步骤包括：卷积神经网络模型获取步骤：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；粗粒度天空区域获取步骤：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。优选地，所述天空识别步骤还包括：待定区域获取步骤：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；所述待定区域信息匹配于天空与非天空边界区域信息。优选地，所述天空识别步骤还包括：待定区域划分步骤：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，本文档来自技高网...

【技术保护点】
1.一种基于天空识别的图像替换方法，其特征在于，包括：/n天空识别步骤：根据原始输入图像参数，获取天空区域分割图信息；/n天空素材获取步骤：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；/n替换融合步骤：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。/n

【技术特征摘要】
1.一种基于天空识别的图像替换方法，其特征在于，包括：
天空识别步骤：根据原始输入图像参数，获取天空区域分割图信息；
天空素材获取步骤：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；
替换融合步骤：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。


2.根据权利要求1所述的基于天空识别的图像替换方法，其特征在于，所述天空识别步骤包括：
卷积神经网络模型获取步骤：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；
粗粒度天空区域获取步骤：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。


3.根据权利要求2所述的基于天空识别的图像替换方法，其特征在于，所述天空识别步骤还包括：
待定区域获取步骤：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；
所述待定区域信息匹配于天空与非天空边界区域信息。


4.根据权利要求3所述的基于天空识别的图像替换方法，其特征在于，所述天空识别步骤还包括：
待定区域划分步骤：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分；
最优分割线获取步骤：定义一个能量函数，计算天空和地面区域协方差的最小值，使得能量函数最大，取能量函数最大的边界线作为最优的分割线；
马氏距离判断步骤：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素。


5.根据权利要求1所述的基于天空识别的图像替换方法，其特征在于，天空素材获取步骤：
直观效果展示步骤：根据系统默认参数或者用户选择信息，获取直观效果展示信息。

【专利技术属性】
技术研发人员：吴航，张仁贵，包铭聪，
申请(专利权)人：上海艾麒信息科技有限公司，
类型：发明
国别省市：上海;31