一种图像处理方法和装置制造方法及图纸

本发明专利技术实施例公开了一种图像处理方法和装置；本发明专利技术实施例在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；该方案可以减少误检和漏检的概率，大大提高分割的精准性，以及改善图像的融合效果。

【技术实现步骤摘要】
一种图像处理方法和装置
本专利技术涉及计算机
，具体涉及一种图像处理方法和装置。
技术介绍
随着智能移动终端的普及，随时随地进行拍摄记录已经逐渐成为人们生活的一种方式，以此同时，图像处理，比如对图像进行美化或特效等处理也越来越受到人们的欢迎。在特效处理中，元素替换是最为常见的技术之一。以替换天空元素为例，在现有技术中，一般可以基于图像中天空的颜色和位置等信息，进行阈值判断，然后，根据判断结果对图像进行天空分割，并将分割后得到的天空区域替换为其他的元素，比如烟火、驯鹿、或二次元太空，等等，从而使得处理后的图像可以达到一种特殊的效果。在对现有技术的研究和实践过程中，本专利技术的专利技术人发现，由于现有方案在对图像进行区域划分时，主要是基于颜色和位置等信息进行阈值判断，因此，容易造成误检和漏检，大大影响分割的精准性、以及图像的融合效果，比如产生失真或不够平滑，等等。
技术实现思路
本专利技术实施例提供一种图像处理方法和装置；可以提高分割的精准性，以及改善融合效果。本专利技术实施例提供一种图像处理方法，包括：接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；基于条件随机场对所述初始概率图进行优化，得到分割效果图；根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。相应的，本专利技术实施例还提供一种图像处理装置，包括：接收单元，用于接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；获取单元，用于获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；预测单元，用于根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；优化单元，用于基于条件随机场对所述初始概率图进行优化，得到分割效果图；融合单元，用于根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。本专利技术实施例在接收到图像处理请求后，可以根据该请求的指示获取与需要替换的元素类型对应的语义分割模型，根据该模型预测图像中每一像素属于该元素类型的概率，以得到初始概率图，然后，基于条件随机场对该初始概率图进行优化，并利用优化后得到的分割效果图将图像与预设元素素材进行融合，从而达到将图像中的某一元素类型部分替换为预设元素素材的目的；由于该方案中的语义分割模型主要是由深度神经网络训练而成的，而且在利用该模型对图像进行语义分割时，并不是只基于颜色和位置等信息，而是通过对每一像素属于该元素类型的概率进行预测，因此，相对于现有方案而言，可以大大减少误检和漏检的概率；此外，由于该方案还可以利用条件随机场对分割后的初始概率图进行优化，因此，可以得到更为精细的分割结果，大大提高分割的精准性，有利于减少图像失真的情况，改善图像的融合效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a是本专利技术实施例提供的图像处理方法的场景示意图；图1b是本专利技术实施例提供的图像处理方法的流程图；图2a是本专利技术实施例提供的图像处理方法的另一流程图；图2b是本专利技术实施例提供的图像处理方法中图像处理请求的界面示例图；图2c是本专利技术实施例提供的图像处理方法中天空分割的示例图；图2d是本专利技术实施例提供的图像处理方法的处理流程框架图；图3a是本专利技术实施例提供的图像处理装置的结构示意图；图3b是本专利技术实施例提供的图像处理装置的另一结构示意图；图4是本专利技术实施例提供的服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种图像处理方法和装置，其中，该图像处理装置具体可以集成在服务器等设备中。例如，参见图1a，当用户需要对某张图像进行处理时，可以通过终端向服务器发送图像处理请求，其中，该图像处理请求指示需要处理的图像、以及需要替换的元素类型等信息。服务器在接收到图像处理请求后，可以获取与该元素类型对应的语义分割模型(该语义分割模型由深度神经网络训练而成)，然后，根据该语义分割模型，对该图像中每一像素属于该元素类型的概率进行预测，得到一张分割概率图，为了描述方便，在本专利技术实施例中，将该分割概率图称为初始概率图。此后，服务器还可以采用条件随机场等方式对该初始概率图进行优化，以得到更精细的分割结果(即得到分割效果图)，然后，根据分割结果将该图像与预设元素素材进行融合，比如，可以通过融合算法将分割效果图中的第一颜色部分(比如白色部分)与可替换的元素素材相结合，以及将分割效果图中的第二颜色部分(比如黑色部分)与图像相结合，然后，将两个结合结果进行合成，并将合成得到的处理后图像提供给终端，等等。以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。实施例一、本实施例将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在服务器等设备中。一种图像处理方法，包括：接收图像处理请求，该图像处理请求指示需要处理的图像、以及需要替换的元素类型，获取与该元素类型对应的语义分割模型，该语义分割模型由深度神经网络训练而成，根据该语义分割模型，对该图像中每一像素属于该元素类型的概率进行预测，得到初始概率图，基于条件随机场对该初始概率图进行优化，得到分割效果图，根据该分割效果图将该图像与预设元素素材进行融合，得到处理后图像。如图1b所示，该图像处理方法的具体流程可以如下：101、接收图像处理请求。例如，具体可以接收终端或其他网络侧设备发送的图像处理请求，等等。其中，该图像处理请求可以指示需要处理的图像、以及需要替换的元素类型等信息。所谓元素类型，指的是元素的类别，而元素指的是可承载视觉信息的基本要素，比如，若该图像处理请求指示需要替换的元素类型为“天空”，则表明，需要对该图像中的所有天空部分进行替换；又比如，若该图像处理请求指示需要替换的元素类型为“人像”，则表明，需要对该图像中的所有人像部分进行替换，以此类推，等等。102、获取与该元素类型对应的语义分割模型，该语义分割模型由深度神经网络训练而成。例如，若在步骤101中，所接收到的图像处理请求指示需要替换的元素类型为“天空”，则此时，可以获取与“天空”对应的语义分割模型，而若在步骤101中，所接收到的图像处理请求指示需要替换的元素类型为“人像”，则此时，可以获取与“人像”对应的语义分割模型，等等。可选的，该语义分割模型可以预先保存在该图像处理装置或其他存储设备中，在需要使用时，由该图像处理装置进行获取，或者，该语义分割模型也可以由该图像处理装置自行建立而成，即，在步骤“获取与该元素类型对应的语义分割模型”之前，该图像处理方法还可以本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，包括：接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；基于条件随机场对所述初始概率图进行优化，得到分割效果图；根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：接收图像处理请求，所述图像处理请求指示需要处理的图像、以及需要替换的元素类型；获取与所述元素类型对应的语义分割模型，所述语义分割模型由深度神经网络训练而成；根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图；基于条件随机场对所述初始概率图进行优化，得到分割效果图；根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述语义分割模型，对所述图像中每一像素属于所述元素类型的概率进行预测，得到初始概率图，包括：将所述图像导入所述语义分割模型，以预测所述图像中每一像素属于所述元素类型的概率；根据所述概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图。3.根据权利要求2所述的方法，其特征在于，所述根据所述概率对相应像素在预设蒙版上的颜色进行设置，得到初始概率图，包括：确定所述概率是否大于预设阈值；若是，则将相应像素在预设蒙版上的颜色设置为第一颜色；若否，则将相应像素在预设蒙版上的颜色设置为第二颜色；在确定所述图像中所有像素在预设蒙版上的颜色均设置完毕后，输出设置颜色后的预设蒙版，得到初始概率图。4.根据权利要求1所述的方法，其特征在于，所述基于条件随机场对所述初始概率图进行优化，得到分割效果图，包括：将所述初始概率图中的像素映射至条件随机场中的节点；确定节点之间的边约束的相似性；根据边约束的相似性对所述初始概率图中像素的分割结果进行调整，得到分割效果图。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像，包括：按照预设策略获取可替换的元素素材；通过融合算法将所述分割效果图中的第一颜色部分与获取到的元素素材相结合，得到第一结合图；通过融合算法将所述分割效果图中的第二颜色部分与所述图像相结合，得到第二结合图；将第一结合图和第二结合图进行合成，得到处理后图像。6.根据权利要求5所述的方法，其特征在于，所述按照预设策略获取可替换的元素素材，包括：获取候选图像，对所述候选图像进行随机截取，并将截取到的图像作为可替换的元素素材；或者，接收用户触发的素材选择指令，根据所述素材选择指令从素材库获取相应的素材，作为可替换的元素素材。7.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像之前，还包括：对所述分割效果图进行外观模型算法和/或图像形态学操作处理，得到处理后分割效果图；所述根据所述分割效果图将所述图像与预设元素素材进行融合，得到处理后图像，包括：根据处理后分割效果图，将所述图像与预设元素素材进行融合，得到处理后图像。8.根据权利要求1至4任一项所述的方法，其特征在于，所述获取与所述元素类型对应的语义分割模型之前，还包括：获取包含有所述元素类型的训练数据；根据所述训练数据，利用深度神经网络对预设的语义分割初始模型进行训练，得到所述元素类型对应...

【专利技术属性】
技术研发人员：朱晓龙，郑永森，王浩，黄凯宁，罗文寒，高雨，杨之华，华园，曾毅榕，吴发强，黄祥瑞，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44