快速获取只含有目标对象的高清前景图的方法及系统技术方案

一种快速获取只含有目标对象的高清前景图的方法及系统，通过优化深度神经网络模型获取损失率极小的深度图，并在深度图上进行层面深度截取、轮廓边缘计算和目标轮廓提取得到的只含有目标对象的高清前景图，所述目标对象不仅能够包括游客，还能将游客的随身携带的物品以及影子等信息得到完美保留，保证前景与背景合并等的后续处理不会出现失真。若将只含有目标对象的前景图与背景图合成，便能得到屏蔽非目标前景的高清图片。解决在景区或网红打卡地或任何拍照场所拍照时，会将其他路人、游客等非目标对象照进图像，不能在短时间内获得只含有指定目标对象的高清图片的问题。有指定目标对象的高清图片的问题。有指定目标对象的高清图片的问题。

【技术实现步骤摘要】
快速获取只含有目标对象的高清前景图的方法及系统


[0001]本专利技术涉及图像实时处理
，特别是一种快速获取只含有目标对象的高清前景图的方法及系统。

技术介绍

[0002]在某些场所如景区或网红打卡地拍照时，往往会因为存在大量的游客而无法得到只包含指定对象全部信息的目标照片，进而无法独享美景。目前常用的解决办法是后期通过制图软件将路人等非目标对象去除，这样带来的时间和人力成本大大提升。

技术实现思路

[0003]本专利技术提供一种快速获取只含有目标对象的高清前景图的方法及系统，通过优化神经网络模型获取损失率极小的深度图，并在深度图上进行层面深度截取、轮廓边缘计算和目标轮廓提取，得到只含有目标对象的高清前景图，目标对象不仅能够包括游客，还能将游客的随身携带的物品以及影子等信息得到完美保留，保证前景与背景合并等的后续处理不会出现失真。
[0004]本专利技术技术方案如下：
[0005]一种快速获取只含有目标对象的高清前景图的方法，其特征在于，包括如下步骤：
[0006]S1，获取在同一时刻拍摄并存在视差的目标处理图片和辅助处理图片；
[0007]S2，将所述目标处理图片和辅助处理图片直接输入优化深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；
[0008]S3，根据所述目标对象所在的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图；
[0009]S4，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；
[0010]S5，对所述前景轮廓深度图进行目标轮廓提取，得到目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清前景图。
[0011]作为优选，所述目标对象包括目标物体以及与目标物体直接接触的所有物体。
[0012]作为优选，所述S3中，根据目标对象与摄像机镜头之间的最小距离和最大距离，截取目标对象在所述深度图所占据的层面深度，得到前景层面深度图；
[0013]作为优选，所述S4中，所述轮廓边缘计算包括识别所述前景深度层面图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景深度图上的所有特征点集的轮廓，每个特征点集即为一个前景轮廓。
[0014]作为优选，所述S5中，所述目标轮廓提取包括根据目标对象占据面积和/或指目标对象所在的区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取出目标对象的
前景轮廓。
[0015]作为优选，所述S1中，所述目标处理图片和辅助处理图片包括双目摄像机拍摄的双目图片，或经过预处理的所述双目摄像机拍摄的双目图片，或多个存在视差的摄像机拍摄的图片，或对多个存在视差的摄像机拍摄的图像经过预处理后得到的图片。
[0016]作为优选，所述预处理包括图片矫正，所述图片矫正包括轮廓检测矫正和/或旋转角度矫正和/或图像匹配的对应相似处连线矫正和/或灰度矫正和/或二值化矫正和/或直方图均衡化矫正。
[0017]作为优选，所述优化深度神经网络模型经过多次训练并测试得到，包括如下步骤：
[0018]S2.1，将所述目标处理图片和辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；
[0019]S2.2，对所述特征提取原图进行若干次二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；
[0020]S2.3，将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
[0021]S2.4，将每个所述第二特征数据集中的分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，，得到一组第三特征数据集；
[0022]S2.5，将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；
[0023]S2.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的损失函数；
[0024]S2.7，将大量的不同时刻拍摄的原始图像组的特征提取原图重复步骤S2.2
‑
S2.6，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到优化深度神经网络模型。
[0025]作为优选，所述S2.6中，所述损失函数值L＝ΣAkLk(k＝1,2,3,4
……
)，Lk代表每个分辨率下初始深度图的损失，其中，L1代表最高分辨率下初始深度图的损失，L2、L3
……
代表分辨率依次减小的初始深度图的损失，Ak代表损失系数,是固定常数，且Ak>Ak+1。
[0026]一种快速获取只含有目标对象的高清前景图的系统，包括深度图获取模块、前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块；所述深度图获取模块内设有深度神经网络模型；所述深度图获取模块将输入的目标处理图片和辅助处理图片通过深度神经网络模型处理后得到深度图，所述深度图依次经过前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块处理后得到高清目标前景图。
[0027]作为优选，所述前景层面深度图获取模块，根据目标对象所占据的最大景深层面和最小景深层面，对输入的深度图进行处理，截取所述最大景深层面和最小景深层面之间的深度点集，得到前景层面深度图；所述前景轮廓深度图获取模块，对输入的前景层面深度图进行轮廓边缘计算，将其内的所有前景轮廓标定并划分，得到前景轮廓深度图；所述目标前景图获取模块，将输入的前景轮廓深度图进行目标轮廓提取，得到目标前景轮廓所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为高清目标前景图；
[0028]作为优选，所述深度图获取模块还包括神经网络模型训练分模块；所述神经网络模型训练分模块包括训练集输入子模块、特征提取子模块、特征融合子模块、深度计算子模块、深度信息比对子模块和损失函数调整子模块；所述训练集输入子模块将所述目标处理图片和辅助处理图片的数据拼合为同一图像的不同部分，得到特征提取原图；所述特征提取子模块将所述特征提取原图送入卷积层和池化层进行二维卷积和池化运算，得到第一特征数据集；并将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；所述特征融合子模块将每个所述第二特征数据集中的分属于目标处理图片的数据信息与其内分属于辅助处理图片的数据信息进行特征融合和归一化处理，将每个所述第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行关联，得到一组第三特征数据集；所述深度计算子模块将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；所述深度信息比对子模块将每个初始深度图分别与真实标定的深度图进行比对，得到损失函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快速获取只含有目标对象的高清前景图的方法，其特征在于，包括如下步骤：S1，获取在同一时刻拍摄并存在视差的目标处理图片和辅助处理图片；S2，将所述目标处理图片和辅助处理图片直接输入优化深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；S3，根据所述目标对象所在的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图；S4，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；S5，对所述前景轮廓深度图进行目标轮廓提取，得到目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清前景图。2.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述目标对象包括目标物体以及与目标物体直接接触的所有物体。3.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述S3中，根据目标对象与摄像机镜头之间的最小距离和最大距离，截取目标对象在所述深度图所占据的层面深度，得到前景层面深度图。4.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述S4中，所述轮廓边缘计算包括识别所述前景深度层面图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景深度图上的所有特征点集的轮廓，每个特征点集即为一个前景轮廓；和/或所述S5中，所述目标轮廓提取包括根据目标对象占据面积和/或指目标对象所在的区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取出目标对象的前景轮廓。5.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述S1中，所述目标处理图片和辅助处理图片包括双目摄像机拍摄的双目图片，或经过预处理的所述双目摄像机拍摄的双目图片，或多个存在视差的摄像机拍摄的图片，或对多个存在视差的摄像机拍摄的图像经过预处理后得到的图片。6.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述优化深度神经网络模型经过多次训练并测试得到，包括如下步骤：S2.1，将所述目标处理图片和辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；S2.2，对所述特征提取原图进行若干次二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；S2.3，将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；S2.4，将每个所述第二特征数据集中的分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，，得到一组第三特征数据集；S2.5，将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；S2.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的
损失函数；S2.7，将大量的不同特征提取原图重复步骤S2.2
‑
S2.6，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得...

【专利技术属性】
技术研发人员：陈冠宇，王磊，王飞，
申请(专利权)人：山西方天圣华数字科技有限公司，
类型：发明
国别省市：