图像处理方法、装置及终端设备制造方法及图纸

本申请实施例提供一种图像处理方法、装置及终端设备，该方法包括：获取第一图像和该第一图像对应的深度图；根据该第一图像和该深度图，确定非二值化融合系数矩阵；根据该非二值化融合系数矩阵，对该第一图像和该第一图像对应的风格化图进行融合得到结果图。通过第一图像中背景部分的深度值与该背景部分在该非二值化融合系数矩阵中对应于的系数值相关，使得结果图中离该主体部分越近的背景部分被风格化的程度越小，离该主体部分越远的背景部分被风格化的程度越大，从而使得结果图中的主体部分边缘与背景部分融合的更加自然。

Image processing method, device and terminal equipment

The embodiment of the application provides an image processing method, device and terminal device, the method includes: obtaining the depth map corresponding to the first image and the first image; determining the non binary fusion coefficient matrix according to the first image and the depth map; fusing the first image and the stylized map corresponding to the first image to get the junction according to the non binary fusion coefficient matrix Fruit chart. Through the correlation between the depth value of the background part in the first image and the coefficient value corresponding to the background part in the nonbinary fusion coefficient matrix, the closer the background part in the result graph is to be stylized, the farther the background part is to be stylized, so that the edge of the main part and the background part in the result graph are to be stylized The integration is more natural.

【技术实现步骤摘要】
图像处理方法、装置及终端设备
本申请涉及通信
，特别涉及图像处理方法、装置及终端设备。
技术介绍
风格化是指在保持图片内容不变的情况下对其风格进行变换的技术。在现有技术中，可对目标图像进行全局风格化得到该目标图像的风格化图，进一步采用二值化融合系数矩阵对目标图像和该目标图像对应的风格化图进行融合得到结果图，使得该结果图中的主体部分保持不变、背景部分被完全风格化。但是，结果图中的主体部分边缘和背景部分融合的并不自然。
技术实现思路
本申请提供了一种图像处理方法、装置及终端设备，以对目标图像进行局部风格化处理后得到的结果图中的主体部分边缘和背景部分可以自然融合。第一方面，本申请提供了一种图像处理方法，该方法包括：获取第一图像和该第一图像对应的深度图；根据该第一图像和该深度图，确定非二值化融合系数矩阵；根据该非二值化融合系数矩阵，对该第一图像和该第一图像对应的风格化图进行融合得到结果图，其中，非二值化融合系数矩阵是相对于二值化融合系数矩阵而言的，二值化融合系数矩阵的每个系数值为0或1，非二值化融合系数矩阵的每个系数值是0到1之间的值，0到1之间的值是指大于或等于0且小于或等于1的值,可以理解的是,非二值化融合系数矩阵中可以有一个或多个系数值等于1或0,但非二值化融合系数矩阵中至少有一个系数值的取值范围为大于0且小于1。通过本实施例提供的方案，可使得结果图中的主体部分边缘与背景部分融合的更加自然。在一种可能的设计中，该根据该第一图像和该深度图，确定非二值化融合系数矩阵，包括：根据该第一图像，确定第一融合系数矩阵，该第一融合系数矩阵包括第一系数值和第二系数值，该第一系数值用于标识该第一图像中的主体部分，该第二系数值用于标识该第一图像中除该主体部分之外的部分；对该深度图进行预处理得到第二图像；根据该第二图像和该第一融合系数矩阵，确定该非二值化融合系数矩阵。其中，该主体部分是指该第一图像中的显著性区域,该显著性区域为通过显著性主体检测算法处理得到的,该显著性主体检测算法可以参考现有技术中的算法,此处不再赘述。在一种可能的设计中，该根据该第二图像和该第一融合系数矩阵，确定该非二值化融合系数矩阵，包括：根据该第一融合系数矩阵，对该第二图像的深度值进行调整得到第三图像；根据该第三图像，确定该非二值化融合系数矩阵。可选的，根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像，并不是根据所述第一融合系数矩阵对所述第二图像的全部深度值进行调整得到第三图像，而是对所述第二图像的部分深度值进行调整得到第三图像。在一种可能的设计中，该根据该第一融合系数矩阵，对该第二图像的深度值进行调整得到第三图像，包括：根据该第一融合系数矩阵中该第一系数值对应的第一位置，确定该第二图像中与该第一位置对应的第二位置；根据该第一融合系数矩阵中的该第一系数值，对该第二图像中该第二位置对应的深度值进行调整得到该第三图像。在一种可能的设计中，该根据该第一融合系数矩阵，对该第二图像的深度值进行调整得到第三图像，包括：对该第一融合系数矩阵中相邻的该第一系数值和该第二系数值进行滤波处理得到第二融合系数矩阵；根据该第二融合系数矩阵中除该第二系数值之外的其他系数值对应的第一位置，确定该第二图像中与该第一位置对应的第二位置；根据该第二融合系数矩阵中除该第二系数值之外的其他系数值，对该第二图像中该第二位置对应的深度值进行调整得到该第三图像。通过本实施例提供的方案，可使得结果图中的主体部分可以与背景部分更加自然的融合。在一种可能的设计中，该第三图像中与该第二位置对应的第三位置的深度值小于或等于预设值。可选的，该预设值为大于或等于0.05且小于或等于0.2范围内的有理小数；可选的，该预设值为0.1。在一种可能的设计中，该第三图像中与该第二位置对应的第三位置的深度值全部相同。在一种可能的设计中，该第三图像中与该第二位置对应的第三位置的深度值部分相同。在一种可能的设计中，该根据该非二值化融合系数矩阵，对该第一图像和该第一图像对应的风格化图进行融合得到结果图之前，还包括：通过风格化前向网络对该第一图像进行风格化处理得到该第一图像对应的风格化图。在一种可能的设计中，该风格化前向网络包括至少一个Fire模块。通过本实施例提供的方案，可减小该风格化前向网络所需的存储空间、提高该风格化前向网络的运算速度。在一种可能的设计中，该风格化前向网络还包括第一卷积层、第二卷积层、第三卷积层、第一反卷积层、第二反卷积层、第四卷积层；该通过风格化前向网络对该第一图像进行风格化处理得到该第一图像对应的风格化图，包括：通过该第一卷积层、该第二卷积层、该第三卷积层、该至少一个Fire模块、该第一反卷积层、该第二反卷积层、该第四卷积层依次对该第一图像进行风格化处理得到该第一图像对应的风格化图；其中，该第一卷积层、该第二卷积层、该第三卷积层分别对应的卷积核个数依次增大，该第一卷积层、该第二卷积层、该第三卷积层分别对应的卷积核大小依次减小；该第一反卷积层、该第二反卷积层分别对应的卷积核个数依次减小，该第一反卷积层、该第二反卷积层分别对应的卷积核大小依次增大。第二方面，本申请提供一种图像处理装置，包括用于实现上述第一方面的图像处理方法的模块，部件或者电路。第三方面，本申请提供一种终端设备，包括：存储器和处理器，所述存储器和所述处理器耦合；所述处理器用于执行如第一方面所述的方法。在一种可能的设计中，第二方面中的图像处理装置可以为终端设备，也可以为终端设备的部件(例如芯片或者电路)。第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面所述的方法。第五方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行第一方面所述的方法。在一种可能的设计中，第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。可见，在以上各个方面，通过获取第一图像和该第一图像的深度图，根据该第一图像和该深度图确定出非二值化融合系数矩阵，根据该非二值化融合系数矩阵对第一图像和该第一图像的风格化图进行融合得到结果图，该非二值化融合系数矩阵中某一位置上系数值的大小与结果图中同一位置被风格化的程度相关，因此，通过该第一图像中的主体部分在该非二值化融合系数矩阵中对应于较小的系数值，可使得结果图中的主体部分没有被风格化或被风格化的程度很小，从而保留下该主体部分；该第一图像中背景部分的深度值与该背景部分在该非二值化融合系数矩阵中对应于的系数值相关，使得结果图中离该主体部分越近的背景部分被风格化的程度越小，离该主体部分越远的背景部分被风格化的程度越大，从而使得结果图中的主体部分边缘与背景部分融合的更加自然。附图说明图1为本申请实施例提供的一种应用场景示意图；图2为本申请提供的一种图像处理方法示意图；图3为本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取第一图像和所述第一图像对应的深度图；/n根据所述第一图像和所述深度图，确定非二值化融合系数矩阵；/n根据所述非二值化融合系数矩阵，对所述第一图像和所述第一图像对应的风格化图进行融合得到结果图。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取第一图像和所述第一图像对应的深度图；
根据所述第一图像和所述深度图，确定非二值化融合系数矩阵；
根据所述非二值化融合系数矩阵，对所述第一图像和所述第一图像对应的风格化图进行融合得到结果图。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和所述深度图，确定非二值化融合系数矩阵，包括：
根据所述第一图像，确定第一融合系数矩阵，所述第一融合系数矩阵包括第一系数值和第二系数值，所述第一系数值用于标识所述第一图像中的主体部分，所述第二系数值用于标识所述第一图像中除所述主体部分之外的部分；
对所述深度图进行预处理得到第二图像；
根据所述第二图像和所述第一融合系数矩阵，确定所述非二值化融合系数矩阵。


3.根据权利要求2所述的方法，其特征在于，所述根据所述第二图像和所述第一融合系数矩阵，确定所述非二值化融合系数矩阵，包括：
根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像；
根据所述第三图像，确定所述非二值化融合系数矩阵。


4.根据权利要求3所述的方法，其特征在于，所述根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像，包括：
根据所述第一融合系数矩阵中所述第一系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；
根据所述第一融合系数矩阵中的所述第一系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到所述第三图像。


5.根据权利要求3所述的方法，其特征在于，所述根据所述第一融合系数矩阵，对所述第二图像的深度值进行调整得到第三图像，包括：
对所述第一融合系数矩阵中相邻的所述第一系数值和所述第二系数值进行滤波处理得到第二融合系数矩阵；
根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值对应的第一位置，确定所述第二图像中与所述第一位置对应的第二位置；
根据所述第二融合系数矩阵中除所述第二系数值之外的其他系数值，对所述第二图像中所述第二位置对应的深度值进行调整得到所述第三图像。


6.根据权利要求4或5所述的方法，其特征在于，所述第三图像中与所述第二位置对应的第三位置的深度值小于或等于预设值。


7.根据权利要求4-6任意之一所述的方法，其特征在于，所述第三图像中与所述第二位置对应的第三位置的深度值全部相同。


8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取第一图像和所述第一图像对应的深度图；
确定模块，用于根据所述第一图像和所述深度图，确定非二值化融合系数矩阵；
融合模块，用于根据所述非二值化融合系数矩阵，对所述...

【专利技术属性】
技术研发人员：刘蒙，姚垚，白蔚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44