用于噪声深度或视差图像的实时自适应滤波的方法和装置制造方法及图纸

本发明专利技术涉及用于使用自适应方法对视差或深度图像的像差进行滤波的方法和装置。所述方法使得根据源自在光信号上执行的变换的几何现实的准则，对在其3D邻域中非空间相干的点进行局部滤波。有利地，所述噪声滤波方法可以应用于稠密深度图像或稠密视差图像。

【技术实现步骤摘要】
【国外来华专利技术】用于噪声深度或视差图像的实时自适应滤波的方法和装置
本专利技术涉及图像处理和计算机视觉的领域，特别是涉及对噪声深度或视差图像的处理的领域。
技术介绍
对图像中的场景的分析(诸如图像分割，背景提取，自动目标识别以及多级检测)是文献中已经广泛涉及的领域，其主要用于“单传感器”(2D)图像。得益于在3D感知方面的最新进展，场景分析也尝试利用深度信息，因为目标不只是在颜色和/或纹理方面的相干视觉单元，也是空间紧凑单元。已知的多种3D感知系统包括：-诸如3D扫描仪或者飞行时间(TOF)摄像机的设备。这种3D传感器提供深度图像，其中每一个像素对应于场景中的点与特定点之间的距离。得到的深度图像一般比较准确，尽管如此，他们都包含像差(例如在使用TOF摄像机情况下的“斑点”)。它们价格昂贵，从一千到几千欧元不等，使得它们的使用只能局限在费用不是主要障碍的应用里。此外，由于图像生成的低频率，许多这种3D传感器不能用于实时应用。-立体系统，一般包括摄像机和/或投影仪的组合，结合特定的处理操作(例如视差计算)。这些都得益于标准的摄像机，甚至其他应用(例如，倒车影像功能)中可能已经出现的摄像机的低成本。但是，这些图像的噪声更大(对光照条件的灵敏程度，有关于轻微纹理表面的问题，等等)，并且从视差图像推导出的深度图像不稠密。非线性变换{视差图像->深度图像}在深度图像上表现为非均匀的信息密度。典型地，靠近摄像机的数据会更加稠密，而在目标边界的数据将可能不准确。深度图像或视差图像的图像质量对在此图像上进行的处理操作的性能有极大影响。在立体图像的情况下，深度图像中的极大误差更加不利于进行的处理操作。所以，3D场景分析系统(例如，场景分割)不是昂贵，就是被深度图像中出现的误差所负面地影响。可以在视差图像上对与深度相关联的数据进行滤波。传统地，采用中值滤波处理异常误差。这种滤波器唯一的参数就是模板的尺寸(或者形状)。典型地使用3*3或5*5的方形模板。尽管噪声去除能力随着模板的尺寸增加而增强，但是这是伴随着对细节的去除，连同在噪声存在时可能的边缘的位移。在图像分割的情况下，这可能导致不准确的分割，并且应该注意的是这一效果并不是均一的遍布在深度图像或遍布在视差图像上。但是使用小的模板降低滤波的能力。如果噪声水平在统计上是显著的，其滤波只能是部分的。因此，对滤波器尺寸的选择是在像差的去除和图像变形之间的权衡。这个选择是留给用户的，而且没有用于自动确定“最佳”值的方法。在命名为“使用来自用于重型设备操作的距离成像摄像机的距离数据的快速3D目标检测和建模”(Rapid3Dobjectdetectionandmodelingusingrangedatafromrangeimagingcameraforheavyequipmentoperation，作者Son，Kim和Choi，发表于“建设中的自动化”(AutomationinConstruction)，卷19，第898页至906页，Elsevier，2010))的文章中，作者提出了一种3D场景分割系统，其由飞行时间摄像机和处理软件组成，包括用于深度图像中的降噪、提取地面元素、分割目标以及创建目标包围体的连续步骤。这种方法的局限在于，系统要求使用飞行时间摄像机(它是昂贵的装置)，并且滤波操作按与传感器相关联的噪声类型而进行调整。滤波使用固定的模板，而不考虑信号的局部特征：3*3的均值差分滤波器结合0.6的固定阈值，用于滤除“丢失”(dropout)类型的异常值(没有被传感器接收到的波)；以及，3*3中值滤波器，用于修正斑点噪声。进一步，如上所述，固定的模板尺寸和固定的阈值不允许根据信号(特别是与3D方法的几何结构相关联的那些信号)的局部和实际特征来对信号的滤波/保留之间的权衡进行最优化。最后，分割的全局性方法使用允许精细分割的稠密的3D网格，但是它的计算时间始终很长，在秒的量级。在三星电子(SamsungElectronics)提出的专利申请EP2541496(A2)“用于使用深度信息滤除深度噪声的方法、介质和装置”("Procédé,supportetappareilpourfiltrerlebruitdeprofondeurutilisantlesinformationsdeprofondeur")中，用于滤除深度噪声的方法可以根据深度信息执行空域或时域滤波。为了执行空域滤波，所述方法能够基于深度信息确定空域滤波器的特征。同样的，为了执行时域滤波，所述方法也能够基于深度信息确定一定数量的参照系。尽管这种解决方案根据要处理的区域的深度调整应用的滤波器的尺寸和系数，仍然存在缺点，尤其包括滤波器的特征没有考虑从摄像机光学中心至目标的距离。在专利申请WO2013079602(A1)“经由联合多边滤波的时空视差图像平滑”(Lissagedecartededisparitéspatio-temporelleparfiltragemultilatéralconjoint，作者KauffP.等)中，旨在对视差图像D(p,t0)进行滤波的滤波器结构包括第一滤波器、第二滤波器以及滤波器选择器。第一滤波器是旨在根据集中趋势的第一测度对视差图像的特定部分进行滤波。第二滤波器是旨在根据集中趋势的第二测度对视差图像的特定部分进行滤波。滤波器选择器是提供用来选择第一滤波器或者第二滤波器以对视差图像的特定部分进行滤波，所述选择基于特定区域的至少一个局部性质。这种方法仅适用于视差图像，且取决于用于选择的滤波器的固定阈值的选取，而这是与物理或几何现实不一致的。因此，在现有技术中不存在这样的解决方案，其允许在维持低系统成本的同时提高深度图像的质量，从而也允许在维持低系统成本的同时提高后续处理的质量。进一步，不存在考虑了在原有光信号上进行的操作的几何现实的已知的方法。于是需要有解决方案来克服已知的方法的缺陷。本专利技术解决这一需求。
技术实现思路
本专利技术的一个目的是提出用于对视差图像或深度图像的像差，使用自适应方法进行滤波的装置和方法。所述提出的方法允许根据源自在光信号上执行的变换的几何现实的准则，对在其3D邻近区域中非空间相干的那些点进行局部滤波。本专利技术的自适应滤波在现有方法上通过在整个3D空间上稳定滤波能力/细节的保留之间的权衡来改进，该权衡调整到可以由用户指定的值。提出的噪声滤除方法在稠密深度图像或稠密视差图像上进行，能够提高后续处理操作(诸如，对观测的场景的自动分割，也就是，将场景自动分解为多个组成元素)的质量和效率。本专利技术的装置可以插入处理链，以作为噪声深度图像或噪声视差图像的后处理和/或作为使用深度图像或视差图像的场景分析应用的预处理。有利地，提出的解决方案的特点是：-对3D数据的自适应滤波，考虑了数据的空间相干性和对原始信号(光波)进行的操作的几何现实；-受控的系统成本，通过使用立体传感器；-要求最小的计算资源和允许在标准的、廉价的计算体系结构上的实时调度的方法。有利地，滤波参数是局部最优的，考虑了在光信号上的变换的几何现实。因此，在滤波能力和细节的保留之间的权衡实现了自动管理，根据空间位置(空域均一性)来调整，并且只取决于一个直观的留给用户选择的参数，而且在讨论的整个3D空间中都有效。有利地，本专利技术的滤波器的特本文档来自技高网...

【技术保护点】
一种用于对初始3D图像滤波的方法，包括以下步骤：‑为与初始图像的每一个像素相关联的每一个3D点定义局部分析区域；‑基于对局部分析区域中的每个3D点测量的空间相干值，为与初始3D图像的像素的集合相关联的3D点的集合生成空间相干图像，所述空间相干值与包含在所述点的局部分析区域中的3D点的数量相关；‑基于对与局部分析区域中的每个3D点相关联的像素测量的几何现实值，为与初始3D图像的像素的集合相关联的3D点的集合生成几何现实图像，所述几何现实值与在投影至局部分析区域的空的场景中的图像中可见的3D点的数量相关；‑基于空间相干图像和几何现实图像生成二值图像，其中根据为这个点获得的空间相干值和几何现实值，把二值图像中的每一个点分类为场景点或噪声点；以及‑将二值图像与初始3D图像相结合以获得降噪图像。

【技术特征摘要】
【国外来华专利技术】2014.11.20 FR 14612601.一种用于对初始3D图像滤波的方法，包括以下步骤：-为与初始图像的每一个像素相关联的每一个3D点定义局部分析区域；-基于对局部分析区域中的每个3D点测量的空间相干值，为与初始3D图像的像素的集合相关联的3D点的集合生成空间相干图像，所述空间相干值与包含在所述点的局部分析区域中的3D点的数量相关；-基于对与局部分析区域中的每个3D点相关联的像素测量的几何现实值，为与初始3D图像的像素的集合相关联的3D点的集合生成几何现实图像，所述几何现实值与在投影至局部分析区域的空的场景中的图像中可见的3D点的数量相关；-基于空间相干图像和几何现实图像生成二值图像，其中根据为这个点获得的空间相干值和几何现实值，把二值图像中的每一个点分类为场景点或噪声点；以及-将二值图像与初始3D图像相结合以获得降噪图像。2.根据权利要求1所述的方法，其中定义局部分析区域S(P(u,v))的步骤包括定义以与像素相关联的3D点的坐标P(u,v)为中心的固定尺寸的3D体。3.根据权利要求1或2所述的方法，其中对3D点测量空间相干值Cs(u,v)的步骤包括以下步骤：-确定初始图像的像素集合，所述像素集合中的像素相关联的3D点包含在所述3D点的局部分析区域中；以及-根据结果对所述3D点定...

【专利技术属性】
技术研发人员：M·沙乌什，
申请(专利权)人：原子能和能源替代品委员会，
类型：发明
国别省市：法国,FR