一种基于深度相机和Lidar的绿幕抠像方法技术

本发明专利技术公开了一种基于深度相机和Lidar的绿幕抠像方法，涉及图像处理技术领域。本发明专利技术包括如下步骤：S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；S2：对DSM深度影像进行处理；S3：使用Canny算子进行边界检测提取图形初始边界；S4：检测出初始边界的角点；S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；S6：使用最小二乘拟合图形边界，将图像抠出。本发明专利技术通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。

【技术实现步骤摘要】
一种基于深度相机和Lidar的绿幕抠像方法
本专利技术属于图像处理
，特别是涉及一种基于深度相机和Lidar的绿幕抠像方法。
技术介绍
得益于大规模集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物的抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性。并且只有在简单特定背景下，才能够达到较好的抠像效果。对于复杂背景，大多数抠像算法需要在多次人机交互的情况下才能够得到令人满意的结果，计算复杂度高，在很大程度上限制了抠像算法的实际应用。当然，当前流行的深度学习算法，可得到较好的抠图效果，但是依赖GPU，使用成本昂贵。抠像技术在信息时代普遍应用到各行各业，在商城图片展示、视频剪辑、电影制作、直播平台、虚拟现实、增强现实等众多科技产业中扮演重要的角色；现有技术中对于包括人物抠像在内的各种抠像，主要采用Grabcut算法即图割算法，该算法是基于MRF(MarkovRandomField马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。Grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。对该算法的改进也有很多，如构建颜色、纹理等信息模型来优化能量函数，增加预处理和迭代步骤以提高效率等，这些方法虽然提高了目标提取结果的精度，但计算量非常庞大，处理大型图片处理速度更加缓慢，大部分算法需要依靠价格昂贵的显卡支持。
技术实现思路
本专利技术的目的在于提供一种基于深度相机和Lidar的绿幕抠像方法，通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，得到最终的图像边界并进行抠图，解决了现有的抠像耗时长、成本高、算法复杂度高问题。为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术为一种基于深度相机和Lidar的绿幕抠像方法，包括如下步骤：步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；步骤S2：对DSM深度影像进行处理；步骤S3：使用Canny算子进行边界检测提取图形初始边界；步骤S4：检测出初始边界的角点；步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；步骤S6：使用最小二乘拟合图形边界，将图像抠出。优选地，所述步骤S1中，将原始的Li-DAR点云和滤波后得到nDSM数据点，将nDSM数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成DSM深度影像。优选地，所述插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网DSM；然后搜索所有格网点，得到高程的最大值Zmax和最小值Zmin；利用下方公式，计算出每个格网点在256灰度图上的；式中，Pixel(i)表示该点的灰度值，Zi表示格网中该点的高程值。优选地，所述DSM深度影像的处理流程包括：滤波平滑处理，采用中值滤波处理方法，用于在剔除噪声点的同时减弱图像边界的模糊程度；形态学图像处理，依次对图像进行腐蚀、膨胀，用于将图像中不均匀的灰度值剔除；图像二值化，对图像进行阈值分割并二值化处理，并剔除二值化图像中的小面积区域来剔除；剔除小面积粒子，根据最小采集图像的面积作为判断标准，设定面积阈值，将小于阈值的区域剔除掉。优选地，所述步骤S4中，初始边界角点的检测采用Harris角点检测，若图像是规则形状的图像，则检测出四个拐点处的角点，则完成角点的构建；若图像是不规则图像，则设置多个角点。优选地，所述步骤S6中，角点将初始边界分段并标号，记录线段的总段数以及每条线段上的点号；若相邻两直线段的夹角接近90°，则将两线段按垂直处理；若相邻两直线段的夹角接近180°，则将这两条线段进行合并，并标记线段上的点号；采用最小二乘法对各线段分别进行直线拟合。优选地，所述线段的拟合方程如下：yi＝aixi+bi；式中，i为不同的线段，ai、bi为方程系数。本专利技术具有以下有益效果：本专利技术通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的一种基于深度相机和Lidar的绿幕抠像方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1所示，本专利技术为一种基于深度相机和Lidar的绿幕抠像方法，包括如下步骤：步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；步骤S2：对DSM深度影像进行处理；步骤S3：使用Canny算子进行边界检测提取图形初始边界；步骤S4：检测出初始边界的角点；步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；步骤S6：使用最小二乘拟合图形边界，将图像抠出。其中，步骤S1中，将原始的Li-DAR点云和滤波后得到nDSM数据点，将nDSM数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成DSM深度影像。其中，插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网DSM；然后搜索所有格网点，得到高程的最大值Zmax和最小值Zmin；利用下方公式，计算出每个格网点在256灰度图上的；式中，Pixel(i)表示该点的灰度值，Zi表示格网中该点的高程值；公式Pixel(i)能够计算出每个格网在256灰度图上的灰度值，将格网三维点坐标中的X、Y坐标转化为DSM深度影像的横、纵坐标，一个坐标点与一个像素点相对应，便生成了与DSM规则格网大小相投的DSM深度影像。其中，DSM深度影像的处理流程包括：滤波平滑处理，采用中值滤波处理方法，用于在剔除噪声点的同时减弱图像边界的模糊程度；由于机载LiDAR点云数据本身本文档来自技高网...

【技术保护点】
1.一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，包括如下步骤：/n步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；/n步骤S2：对DSM深度影像进行处理；/n步骤S3：使用Canny算子进行边界检测提取图形初始边界；/n步骤S4：检测出初始边界的角点；/n步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；/n步骤S6：使用最小二乘拟合图形边界，将图像抠出。/n

【技术特征摘要】
1.一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，包括如下步骤：
步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；
步骤S2：对DSM深度影像进行处理；
步骤S3：使用Canny算子进行边界检测提取图形初始边界；
步骤S4：检测出初始边界的角点；
步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；
步骤S6：使用最小二乘拟合图形边界，将图像抠出。


2.根据权利要求1所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述步骤S1中，将原始的Li-DAR点云和滤波后得到nDSM数据点，将nDSM数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成DSM深度影像。


3.根据权利要求2所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网DSM；然后搜索所有格网点，得到高程的最大值Zmax和最小值Zmin；利用下方公式，计算出每个格网点在256灰度图上的；



式中，Pixel(i)表示该点的灰度值，Zi表示格网中该点的高程值。


4.根据权利要求1所述的一种基于深度相机和Lidar的绿...

【专利技术属性】
技术研发人员：张赐，吕云，胡雨森，
申请(专利权)人：成都威爱新经济技术研究院有限公司，
类型：发明
国别省市：四川;51