异常像素的滤除方法及设备技术

本发明专利技术提供了一种异常像素的滤除方法及设备，本发明专利技术的所述滤除方法包括通过第一相机获取第一深度图像，通过第二相机获取第二深度图像；处理所述第一深度图像得到第一点云图，处理所述第二深度图像得到第二点云图；对所述第一点云图中像素进行索引，得到索引结果；依据所述索引结果计算像素的匹配度指标；设置滤除阈值，当判断所述像素的匹配度指标大于或等于所述滤除阈值时，滤除所述像素。计算步骤少，计算复杂度低，计算原理简单，能大大提高判断异常像素的效率，从而进一步提高了滤除像素噪音的速度。本发明专利技术的所述设备包括第一相机、第二相机、图像处理单元、索引单元、计算单元、判断单元和滤除执行单元，提高了滤除异常像素的效率。效率。效率。

【技术实现步骤摘要】
异常像素的滤除方法及设备


[0001]本专利技术涉及图像处理
，尤其涉及一种异常像素的滤除方法及设备。

技术介绍

[0002]在ToF相机(Time ofFight Camera)测量的深度图中，物体边缘处往往存在大量错误的深度测量值，生成3D点云后，视觉上表现为飞在空中的无效点，称为飞点噪声。飞点噪声使得ToF相机无法有效获取物体边缘的3D信息，如果不能解决飞点噪音，会影响ToF相机的广泛推广和应用。
[0003]针对目前3D相机只能通过纯算法的方式解决飞点等噪声现象，计算量较大，去除飞点噪音的效率不高。
[0004]公开号为CN 104240188 B的专利技术专利公开了一种滤除像素中噪声的方法和装置，用以解决现有的滤波方法在图像中的像素中包含脉冲噪声和高斯噪声时，需要分别针对脉冲噪声和高斯噪声各进行一次滤波，从而导致了这些滤波方法在滤除图像中的噪声时效率较低的问题。方法包括：针对一个对比像素，确定所述对比像素的局部邻域中至少一个具有对应像素的比较像素的相似度；根据确定的各个相似度，确定所述对比像素的局部邻域相对于所述待处理像素的局部邻域的权重；根据所述滑动窗内的至少一个对比像素的局部邻域相对于所述待处理像素的局部邻域的权重，确定所述待处理像素的滤波后的像素值。但是该专利技术需要对像素进行滤波和计算像素的相似度、像素的权重，即用纯算法解决像素中的噪音，计算步骤多，计算繁杂，对硬件的计算能力要求较高。
[0005]因此，有必要提供一种异常像素的滤除方法及设备以解决上述的现有技术中存在的问题。

技术实现思路

[0006]本专利技术的目的在于提供一种异常像素的滤除方法及设备，以解决用纯算法计算和滤除像素噪音效率慢、计算步骤多、计算繁杂的问题。
[0007]为实现上述目的，本专利技术的所述异常像素的滤除方法包括步骤：
[0008]S1：通过第一相机获取第一深度图像，通过第二相机获取第二深度图像；
[0009]S2：处理所述第一深度图像得到第一点云图，处理所述第二深度图像得到第二点云图；
[0010]S3：对所述第一点云图中像素进行索引，得到索引结果；
[0011]S4：依据所述索引结果计算像素的匹配度指标；
[0012]S5：设置滤除阈值，当判断所述像素的匹配度指标大于或等于所述滤除阈值时，滤除所述像素。
[0013]本专利技术的所述异常像素的滤除方法的有益效果在于：
[0014]通过用两个相机的深度图和点云图来对比和索引得到索引结果，并依据所述索引结果计算像素的匹配度指标，判断所述像素的匹配度指标是否大于滤除阈值，以决定是否
滤除像素。计算步骤少，计算复杂度低，通过两个相机的深度图和点云图计算得到像素的匹配度，计算原理简单，能大大提高判断异常像素的效率，从而进一步提高了滤除像素噪音的速度。
[0015]优选地，所述步骤S1中，所述第一相机为TOF相机，所述第二相机也为TOF相机。其有益效果在于：TOF相机主要包括发射端和接收端，ToF传感器发送光源驱动芯片调制信号至激光器，以控制激光器发出高频调制的近红外光，近红外光遇到物体漫反射后，接收端通过发射光与接收光的相位差或时间差来计算深度信息。ToF传感器采用背照式CMOS工艺技术，该工艺大幅度提高了感光面积，提升了光子收集率和测距的速度，响应时间能够达到ns级，在远距离情况下也能保证深度图的高精度。通过两个TOF相机直接来获取第一深度图像和第二深度图像，提高本专利技术的所述异常像素的滤除方法的效率。
[0016]优选地，将所述第一相机和所述第二相机平行放置于同一水平面上，通过所述第一相机和所述第二相机拍摄同一目标以获取所述第一深度图像和所述第二深度图像。
[0017]优选地，所述步骤S2中，所述处理第一深度图像得到第一点云图，处理第二深度图像得到第二点云图包括步骤：
[0018]S20：标定相机参数，所述相机参数包括第一相机内参数和第二相机内参数；
[0019]S21：依据所述第一深度图像和所述第一相机内参数计算得到所述第一点云图，依据所述第二深度图像和所述第二相机内参数计算得到中间点云图。
[0020]进一步优选地，还包括步骤S22，所述相机参数还包括第二相机外参数，所述步骤S22包括，依据所述第二相机的外参数，并以所述第一点云图的中心为坐标系中心，对所述中间点云图进行平移和旋转，得到所述第二点云图。步骤S20至步骤S22的有益效果在于：依据相机参数和深度图像，计算得到第一点云图和第二点云图，便于区分图像中的每一个像素，便于后续计算像素的匹配度指标，简化计算异常像素的难度，提高滤除异常像素的效率。
[0021]优选地，所述步骤S3中，所述对第一点云图中的像素进行索引包括，计算像素位置列差，依据所述像素位置列差查找所述第一点云图中的像素在所述第二点云图中的对应像素。
[0022]优选地，所述计算像素位置列差的步骤包括：
[0023]S30：计算基线长度和像素深度值；
[0024]S31：将所述基线长度和相机焦距相乘后，除以所述像素深度值，得到所述像素位置列差。
[0025]进一步优选地，所述基线长度为所述第一相机的镜头和所述第二相机的镜头的中心间距。
[0026]进一步优选地，所述像素深度值为所述第一点云图的像素深度，所述第一点云图的像素深度与所述第二点云图的像素深度一致。
[0027]优选地，所述步骤S4中，所述依据像素位置列差计算像素的匹配度指标包括：
[0028]S40：于所述第一点云图中划定第一窗口，并于所述第二点云图中划定所述第一窗口对应的第二窗口；
[0029]S41：分别计算所述第一窗口内所有的像素的点云值和所述第二窗口内所有的像素的点云值；
[0030]S42：将所述第一窗口内像素的点云值减去所述第二窗口内所述第一窗口内像素对应的像素的点云值，得到点云差，计算点云差的绝对值；
[0031]S43：对所述点云差的绝对值进行求和，得到所述像素的匹配度指标。步骤S40至步骤S43的有益效果在于：先在所述第一点云中划定第一窗口，然后在所述第二点云中划定对应的第二窗口，依次计算第一窗口内每一个像素的点云值、第二个窗口内的每一个像素的点云值，然后通过第一窗口中的像素的点云值减去第二窗口内对应像素的点云值，得到点云差，计算点云差的绝对值，然后对所有像素的点云差的绝对值进行求和，得到所述像素的匹配度指标。计算逻辑清楚，计算步骤简单明确，能更快地计算第一窗口与第二窗口的像素的匹配度指标，提高找到异常像素的速度。
[0032]优选地，所述步骤S5中，当判断所述像素的匹配度指标小于所述滤除阈值时，保留所述像素。
[0033]优选地，还包括步骤S6：重复所述步骤S3至所述步骤S5，直至所述第一点云图中所有像素均被索引。
[0034]本专利技术还提供一种设备，包括第一相机、第二相机、图像处理单元、索引单元、计算单元、判断单元和滤除执行单元；所述第一相机用于提供第一深度图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常像素的滤除方法，其特征在于，包括步骤：S1：通过第一相机获取第一深度图像，通过第二相机获取第二深度图像；S2：处理所述第一深度图像得到第一点云图，处理所述第二深度图像得到第二点云图；S3：对所述第一点云图中像素进行索引，得到索引结果；S4：依据所述索引结果计算像素的匹配度指标；S5：设置滤除阈值，当判断所述像素的匹配度指标大于或等于所述滤除阈值时，滤除所述像素。2.如权利要求1所述的异常像素的滤除方法，其特征在于，所述步骤S1中，所述第一相机为TOF相机，所述第二相机为TOF相机。3.如权利要求2所述的异常像素的滤除方法，其特征在于，将所述第一相机和所述第二相机平行放置于同一水平面上，通过所述第一相机和所述第二相机拍摄同一目标以获取所述第一深度图像和所述第二深度图像。4.如权利要求1所述的异常像素的滤除方法，其特征在于，所述步骤S2中，所述处理第一深度图像得到第一点云图，处理第二深度图像得到第二点云图包括步骤：S20：标定相机参数，所述相机参数包括第一相机内参数和第二相机内参数；S21：依据所述第一深度图像和所述第一相机内参数计算得到所述第一点云图，依据所述第二深度图像和所述第二相机内参数计算得到中间点云图。5.如权利要求4所述的异常像素的滤除方法，其特征在于，还包括步骤S22，所述相机参数还包括第二相机外参数，所述步骤S22包括，依据所述第二相机的外参数，并以所述第一点云图的中心为坐标系中心，对所述中间点云图进行平移和旋转，得到所述第二点云图。6.如权利要求1所述的异常像素的滤除方法，其特征在于，所述步骤S3中，所述对第一点云图中的像素进行索引包括，计算像素位置列差，依据所述像素位置列差查找所述第一点云图中的像素在所述第二点云图中的对应像素。7.如权利要求6所述的异常像素的滤除方法，其特征在于，所述计算像素位置列差的步骤包括：S30：计算基线长度和像素深度值；S31：将所述基线长度和相机焦距相乘后，除以所述像素深度值，得到所述像素位置列差。8.如权利要求7所述的异常像素的滤除方法，其特征在于，所述基线长度为所述第一相机的镜头和所述第二相机的镜头的中心间距。9.如权利...

【专利技术属性】
技术研发人员：尹睿，徐敏，张卫，
申请(专利权)人：上海集成电路制造创新中心有限公司，
类型：发明
国别省市：