前后摄像头拍照融合的方法、终端设备和存储介质技术

本申请公开了一种前后摄像头拍照融合的方法、终端设备和存储介质，用以解决相关技术中无法在三维空间的前后摄像头实现融合拍照的问题。通过前置摄像头获取人物图像，并通过后置摄像头获取背景图像和背景深度图像，并根据人像的三维空间坐标、人物区域系数矩阵和人物图像，确定进行图像融合的相关图像融合参数，最终，利用第三人物区域系数矩阵融合人物图像与背景图像，得到融合图像。相较于相关技术中只能根据设定二维空间中前置摄像头获取的人像坐标确定相关图像融合参数，实现了三维空间的图像融合，在遮挡关系及人像与周边环境事物大小比例上更加真实，融合效果更好，可以人为调整人像与背景的相对距离，提高了用户的使用体验。使用体验。使用体验。

【技术实现步骤摘要】
前后摄像头拍照融合的方法、终端设备和存储介质


[0001]本申请属于图像处理
，尤其涉及一种前后摄像头拍照融合的方法、终端设备和存储介质。

技术介绍

[0002]目前，移动终端的拍照功能日趋丰富，从单一摄像头发展到双摄、三摄、四摄等。目前，前摄加后置双摄成为移动终端的基本配置，一般前摄用于自拍人像，而后摄可以拍景也可以拍人。传统的相机一般前后摄各自单独使用，但近来逐渐有厂商开始融合前后摄图像，将前摄所拍图像与后摄所拍图像拼接或融合为一副图像，达到双景拍照的功能。
[0003]相关前后摄融合拍照的方法中，只能进行二维空间融合，从前摄中提取的人像区域只能在后摄背景图像中调整其二维坐标位置，而对深度方向不能调整。同时前摄所拍图像的光源与后摄所拍图像光源的光照方向可能并不一致，导致融合后的图像人像的光照与整体背景的光照不一致。
[0004]因此，如何在三维空间的前后摄像头实现融合拍照是业界关注的问题。

技术实现思路

[0005]本申请的目的是提供一种前后摄像头拍照融合的方法、终端设备、和存储介质，用以解决相关技术中无法在三维空间的前后摄像头实现融合拍照的问题。
[0006]第一方面，本申请提供了一种前后摄像头拍照融合的方法，所述方法包括：
[0007]根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像；
[0008]对所述人物图像进行人物区域分割，得到人物区域系数矩阵；
[0009]基于所述背景深度图像，确定所述人物图像中人物在所述背景图像中的三维空间坐标并触发融合指令，所述三维空间坐标包括深度坐标、横向坐标和纵向坐标；
[0010]响应于融合指令，对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像；
[0011]根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵；
[0012]利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像。
[0013]在一种可能的实施方式中，所述确定背景图像及背景深度图像，包括：
[0014]利用双目的后置摄像头采集两帧背景图像，基于三角测量原理，根据所述两帧背景图像确定背景深度图像；或者
[0015]采用TOF深度后置摄像头确定背景深度图像，采用RGB彩色后置摄像头确定背景图像。
[0016]在一种可能的实施方式中，所述缩放比例采用如下方式确定：
[0017][0018]其中，S表示所述缩放比例，f1表示前置摄像头的前置焦距，f2表示后置摄镜头的后置焦距，z1表示设置的人物在所述背景图像中的深度坐标，z2表示前置摄像采集人物图像时人物距离前置摄像头的物理距离。
[0019]在一种可能的实施方式中，根据第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像，包括：
[0020]创建初始的第三人物图像，将初始的第三人物图像中任一位置像素点的值设置为0，所述初始的第三人物图的行列数与所述背景图像的行列数相同；
[0021]若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将所述第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像；
[0022]其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物图像对应矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物图像对应矩阵的行数。
[0023]在一种可能的实施方式中，根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物区域系数矩阵，包括：
[0024]创建初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，所述初始的第三人物区域系数矩阵的行列数与所述背景图像对应矩阵的行列数相同；
[0025]若初始的第三人物区域系数矩阵中任一位置的元素的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1，且不大于H2与y1+H1的较小值，以及所述设置的人物在所述背景图像中的深度坐标不大于D1(i,j)，将所述第二人像区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，得到第三人物区域系数矩阵；
[0026]其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物区域系数矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物区域系数矩阵的行数，D1(i,j)表示所述背景深度图像中(i,j)位置像素点的值。
[0027]在一种可能的实施方式中，利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像，包括：
[0028]采用以下公式确定融合图像：
[0029]P5＝β
×
P4+(1
‑
β)
×
P2[0030]其中，P5表示融合图像，β表示融合系数，P4表示融合人物图像，P2表示背景图像。
[0031]在一种可能的实施方式中，所述方法还包括：
[0032]在显示界面上显示融合图像，及根据背景深度图像确定人物在背景图像中深度坐标的调整范围对应的空间深度滑动条；
[0033]响应于滑动指令，确定在预设深度范围调节融合图像中人物距离移动终端后置摄像头的距离，得到人物更新后的深度坐标；
[0034]响应于拖动指令，确定在预设区域范围调节融合图像中人物区域的位置，确定人物更新后的横向坐标和纵向坐标；
[0035]将人物更新后的三维空间坐标作为人物的三维空间坐标，并重新触发融合指令；所述人物更新后的三维空间坐标包括更新后的深度坐标，横坐标和纵坐标。
[0036]在一种可能的实施方式中，根据前置摄像头采集的数据确定人物图像，包括：
[0037]采用前置摄像头采集原始人物图像；
[0038]采用深度学习重光照模型对背景图像进行处理，确定光照位置；
[0039]根据所述光照位置和所述原始人物图像生成人物图像。
[0040]第二方面，本申请还提供了一种前后摄像头拍照融合的装置，所述装置包括：
[0041]图像确定模块，被配置为根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种前后摄像头拍照融合的方法，其特征在于，所述方法包括：根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像；对所述人物图像进行人物区域分割，得到人物区域系数矩阵；基于所述背景深度图像，确定所述人物图像中人物在所述背景图像中的三维空间坐标并触发融合指令，所述三维空间坐标包括深度坐标、横向坐标和纵向坐标；响应于融合指令，对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像；根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵；利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像。2.根据权利要求1所述的方法，其特征在于，所述确定背景图像及背景深度图像，包括：利用双目的后置摄像头采集两帧背景图像，基于三角测量原理，根据所述两帧背景图像确定背景深度图像；或者采用TOF深度后置摄像头确定背景深度图像，采用RGB彩色后置摄像头确定背景图像。3.根据权利要求1所述的方法，其特征在于，所述缩放比例采用如下方式确定：其中，S表示所述缩放比例，f1表示前置摄像头的前置焦距，f2表示后置摄镜头的后置焦距，z1表示设置的人物在所述背景图像中的深度坐标，z2表示前置摄像采集人物图像时人物距离前置摄像头的物理距离。4.根据权利要求1所述的方法，其特征在于，根据第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像，包括：创建初始的第三人物图像，将初始的第三人物图像中任一位置像素点的值设置为0，所述初始的第三人物图的行列数与所述背景图像的行列数相同；若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将所述第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像；其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物图像对应矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物图像对应矩阵的行数。5.根据权利要求1所述的方法，其特征在于，根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物区域系数矩阵，包括：创建初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，所述...

【专利技术属性】
技术研发人员：张培龙，周春萌，朱众微，
申请(专利权)人：青岛海信移动通信技术股份有限公司，
类型：发明
国别省市：