【技术实现步骤摘要】
一种图像处理方法和装置
本专利技术涉及计算机
,具体涉及一种图像处理方法和装置。
技术介绍
随着智能移动终端的普及,随时随地进行拍摄记录已经逐渐成为人们生活的一种方式,以此同时,图像处理,比如对图像进行美化或特效等处理也越来越受到人们的欢迎。在特效处理中,元素替换是最为常见的技术之一。以替换天空元素为例,在现有技术中,一般可以基于图像中天空的颜色和位置等信息,进行阈值判断,然后,根据判断结果对图像进行天空分割,并将分割后得到的天空区域替换为其他的元素,比如烟火、驯鹿、或二次元太空,等等,从而使得处理后的图像可以达到一种特殊的效果。在对现有技术的研究和实践过程中,本专利技术的专利技术人发现,由于现有方案在对图像进行区域划分时,主要是基于颜色和位置等信息进行阈值判断,因此,容易造成误检和漏检,大大影响分割的精准性、以及图像的融合效果,比如产生失真或不够平滑,等等。
技术实现思路
本专利技术实施例提供一种图像处理方法和装置;可以提高分割的精准性,以及改善融合效果。本专利技术实施例提供一种图像处理方法,包括:接收图像处理请求,所述图像处理请求指示需要处理的图像、以及需要替换的元素类型;获取与所述元素类型对应的语义分割模型,所述语义分割模型由深度神经网络训练而成;根据所述语义分割模型,对所述图像中每一像素属于所述元素类型的概率进行预测,得到初始概率图;基于条件随机场对所述初始概率图进行优化,得到分割效果图;根据所述分割效果图将所述图像与预设元素素材进行融合,得到处理后图像。相应的,本专利技术实施例还提供一种图像处理装置,包括:接收单元,用于接收图像处理请求,所述图 ...
【技术保护点】
一种图像处理方法,其特征在于,包括:接收图像处理请求,所述图像处理请求指示需要处理的图像、以及需要替换的元素类型;获取与所述元素类型对应的语义分割模型,所述语义分割模型由深度神经网络训练而成;根据所述语义分割模型,对所述图像中每一像素属于所述元素类型的概率进行预测,得到初始概率图;基于条件随机场对所述初始概率图进行优化,得到分割效果图;根据所述分割效果图将所述图像与预设元素素材进行融合,得到处理后图像。
【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:接收图像处理请求,所述图像处理请求指示需要处理的图像、以及需要替换的元素类型;获取与所述元素类型对应的语义分割模型,所述语义分割模型由深度神经网络训练而成;根据所述语义分割模型,对所述图像中每一像素属于所述元素类型的概率进行预测,得到初始概率图;基于条件随机场对所述初始概率图进行优化,得到分割效果图;根据所述分割效果图将所述图像与预设元素素材进行融合,得到处理后图像。2.根据权利要求1所述的方法,其特征在于,所述根据所述语义分割模型,对所述图像中每一像素属于所述元素类型的概率进行预测,得到初始概率图,包括:将所述图像导入所述语义分割模型,以预测所述图像中每一像素属于所述元素类型的概率;根据所述概率对相应像素在预设蒙版上的颜色进行设置,得到初始概率图。3.根据权利要求2所述的方法,其特征在于,所述根据所述概率对相应像素在预设蒙版上的颜色进行设置,得到初始概率图,包括:确定所述概率是否大于预设阈值;若是,则将相应像素在预设蒙版上的颜色设置为第一颜色;若否,则将相应像素在预设蒙版上的颜色设置为第二颜色;在确定所述图像中所有像素在预设蒙版上的颜色均设置完毕后,输出设置颜色后的预设蒙版,得到初始概率图。4.根据权利要求1所述的方法,其特征在于,所述基于条件随机场对所述初始概率图进行优化,得到分割效果图,包括:将所述初始概率图中的像素映射至条件随机场中的节点;确定节点之间的边约束的相似性;根据边约束的相似性对所述初始概率图中像素的分割结果进行调整,得到分割效果图。5.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述分割效果图将所述图像与预设元素素材进行融合,得到处理后图像,包括:按照预设策略获取可替换的元素素材;通过融合算法将所述分割效果图中的第一颜色部分与获取到的元素素材相结合,得到第一结合图;通过融合算法将所述分割效果图中的第二颜色部分与所述图像相结合,得到第二结合图;将第一结合图和第二结合图进行合成,得到处理后图像。6.根据权利要求5所述的方法,其特征在于,所述按照预设策略获取可替换的元素素材,包括:获取候选图像,对所述候选图像进行随机截取,并将截取到的图像作为可替换的元素素材;或者,接收用户触发的素材选择指令,根据所述素材选择指令从素材库获取相应的素材,作为可替换的元素素材。7.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述分割效果图将所述图像与预设元素素材进行融合,得到处理后图像之前,还包括:对所述分割效果图进行外观模型算法和/或图像形态学操作处理,得到处理后分割效果图;所述根据所述分割效果图将所述图像与预设元素素材进行融合,得到处理后图像,包括:根据处理后分割效果图,将所述图像与预设元素素材进行融合,得到处理后图像。8.根据权利要求1至4任一项所述的方法,其特征在于,所述获取与所述元素类型对应的语义分割模型之前,还包括:获取包含有所述元素类型的训练数据;根据所述训练数据,利用深度神经网络对预设的语义分割初始模型进行训练,得到所述元素类型对应...
【专利技术属性】
技术研发人员:朱晓龙,郑永森,王浩,黄凯宁,罗文寒,高雨,杨之华,华园,曾毅榕,吴发强,黄祥瑞,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。