本发明专利技术涉及一种非连续区域自适应的三维物体法向量估计方法及装置，其中方法包括以下步骤：基于图像逆深度信息和梯度滤波器初步计算三维空间物体法向量在x、y方向上的分量；针对目标点的邻域点，基于集中趋势滤波器初步估计三维空间物体法向量在z方向上的分量；基于深度信息计算深度曲率，其中，目标点的深度曲率为其各方向上邻域点对应深度曲率的最大值；将目标点和其邻域点的深度曲率值进行比较，利用初步获得的三维空间物体法向量估计值，将目标点的三维空间物体法向量估计值替换为深度曲率值最小的点的三维空间物体法向量估计值。与现有技术相比，本发明专利技术具有精度高、对噪声数据鲁棒性强等优点。据鲁棒性强等优点。据鲁棒性强等优点。
【技术实现步骤摘要】
一种非连续区域自适应的三维物体法向量估计方法及装置
[0001]本专利技术涉及计算机视觉领域，尤其是涉及一种非连续区域自适应的三维物体法向量估计方法及装置。
技术介绍
[0002]非连续区域自适应的端到端法向量估计技术旨在根据深度信息直接估计3D物体的法向量，法向量作为三维物体识别中重要的视觉特征，在语义分割、三维重建、6D物体位姿估计等计算机视觉应用中起到辅助的作用。
[0003]现有的法向量估计方法采用的技术及缺陷：
[0004]现有的基于几何的方法：PlaneSVD、PlanePCA、VectorSVD等方法对三维点云信息采用统计分析或优化方法拟合局部平面或曲面。这类方法的计算复杂度高，在实际的应用中部署不适用。AreaWeighted和AngleWeighted方法根据目标点的邻域三角形进行权重计算，再通过邻域三角形的法向量估计目标点法向量。这类方法同样计算量较大，在非连续区域处的邻域三角形差异较大，会产生较大的估计噪声，影响法向量估计结果的准确性。
[0005]现有的基于机器/深度学习的方法：通常利用数据驱动的分类/回归模型，例如卷积神经网络(CNN)、深度卷积神经网络(DCNN)方法，从RGB或深度图像中推断法向量信息。这类方法需要通过大量手工标记的训练数据找到最佳的CNN参数，同时在这些方法中的法向量估计只是作为计算机视觉任务的辅助功能，并非专门针对于法向量估计的研究。从RGB图像估计法向量的方法无法明确RGB图像和法向量信息之间的几何关系。
技术实现思路
[0006]本专利技术的目的就是为了提供一种非连续区域自适应的三维物体法向量估计方法及装置，基于深度信息，利用两个梯度滤波器以及一个集中趋势滤波器进行法向量估计，同时利用基于深度曲率最小化的算法优化在不连续区域的法向量，进一步提升法向量的估计精度，从而实现低成本、高精度的三维物体法向量估计。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种非连续区域自适应的三维物体法向量估计方法，包括以下步骤：
[0009]步骤S1：基于图像逆深度信息和梯度滤波器初步计算三维空间物体法向量在x、y方向上的分量；
[0010]步骤S2：针对目标点的邻域点，基于集中趋势滤波器初步估计三维空间物体法向量在z方向上的分量；
[0011]步骤S3：基于深度信息计算深度曲率，其中，目标点的深度曲率为其各方向上邻域点对应深度曲率的最大值；
[0012]步骤S4：将目标点和其邻域点的深度曲率值进行比较，利用步骤S1和S2初步获得的三维空间物体法向量估计值，将目标点的三维空间物体法向量估计值替换为深度曲率值最小的点的三维空间物体法向量估计值。
[0013]其中步骤S1、S2为三种滤波器初步估计三维空间物体法向量的过程，S3、S4为利用深度曲率最小值优化三维空间物体法向量的过程。
[0014]所述步骤S1中，三维空间物体法向量在x、y方向上的分量的计算方法为：
[0015][0016][0017]其中，n
x
、n
y
分别为法向量在x、y方向上的分量，z为深度信息，p＝[u,v]T
为像素点坐标，f
x
和f
y
分别为相机在x、y方向上的焦距，逆深度信息1/z在水平和垂直方向上的偏导分别采用水平和垂直图像梯度滤波器进行近似计算。
[0018]所述逆深度信息1/z在水平和垂直方向上的偏导通过逆深度图像与图像卷积核的卷积估计得到：
[0019][0020][0021]其中，*表示卷积，G
x
和G
y
分别表示卷积核在水平和垂直方向的图像梯度，不同卷积核对应的G
x
和G
y
不同。
[0022]所述卷积核为Sobel、Scharr、Prewitt、FD或Roberts卷积核。其中，Sobel、Scharr、Prewitt、FD核在水平和垂直方向上对图像进行卷积，分别用3
×
3卷积核表示，Sobel核在水平和垂直方向上的图像梯度分别为：
[0023][0024]Scharr核在水平和垂直方向上的图像梯度分别为：
[0025][0026]Prewitt核在水平和垂直方向上的图像梯度分别为：
[0027][0028]FD核在水平和垂直方向上的图像梯度分别为：
[0029][0030]Roberts卷积核在对角线方向上进行卷积的，它在主对角线和次对角线方向上的图像梯度分别为：
[0031][0032]当采用Roberts卷积核时，由于其是在对角线方向上进行卷积的，但是考虑到n
x
、n
y
是在水平和垂直方向上进行计算的，因此在进行逆深度图像和图像卷积核卷积后，对G
u
和G
v
在水平方向上进行角度补偿，其中，补偿角为：
[0033][0034]所述步骤S2中，对于目标点的i个邻域点q
i
∈Q，利用集中趋势滤波器对法向量在z方向上的分量进行估计，记为
[0035][0036]其中，n
x
、n
y
分别为法向量在x、y方向上的分量，r
i
＝q
i
‑
p＝[Δx
i
,Δy
i
,Δz
i
]T
，k为邻域点的个数，Φ{
·
}表示集中趋势滤波器，采用不同的集中趋势测量方法，对邻域点的n
z
值进行操作，八个邻域点对应的n
z
值按数值大小排序依次表示为n
zi
,i＝[1,8]∩Z
+
，集中趋势测量方法包括八种方法：均值(mean)法、中值方法、三均值(trimean)法、中枢纽(midhinge)方法、截尾平均数(truncated mean)方法、极端值调整平均数(winsorized mean)方法、全距中点(midrange)方法和调和平均数(harmmean)方法。
[0037]所述均值法通过计算所有邻域点n
z
的平均值估计目标点法向量在z方向上的分量
[0038]所述中值方法对邻域点n
z
的值进行排序，并通过求解中值估计目标点的
[0039]所述三均值法和中枢纽方法均对四分位数进行计算，其中，所述三均值法的计算方法为：
[0040][0041]所述中枢纽方法的计算方法为：
[0042][0043]所述截尾平均数方法和极端值调整平均数方法分别通过剔除和替换极端值后进行平均数计算，其中，所述截尾平均数方法的计算方法为：
[0044][0045]所述极端值调整平均数方法的计算方法为：
[0046][0047]所述全距中点方法通过最大值和最小值计算目标点
[0048][004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种非连续区域自适应的三维物体法向量估计方法，其特征在于，包括以下步骤：步骤S1：基于图像逆深度信息和梯度滤波器初步计算三维空间物体法向量在x、y方向上的分量；步骤S2：针对目标点的邻域点，基于集中趋势滤波器初步估计三维空间物体法向量在z方向上的分量；步骤S3：基于深度信息计算深度曲率，其中，目标点的深度曲率为其各方向上邻域点对应深度曲率的最大值；步骤S4：将目标点和其邻域点的深度曲率值进行比较，利用步骤S1和S2初步获得的三维空间物体法向量估计值，将目标点的三维空间物体法向量估计值替换为深度曲率值最小的点的三维空间物体法向量估计值。2.根据权利要求1所述的一种非连续区域自适应的三维物体法向量估计方法，其特征在于，所述步骤S1中，三维空间物体法向量在x、y方向上的分量的计算方法为：在于，所述步骤S1中，三维空间物体法向量在x、y方向上的分量的计算方法为：其中，n
x
、n
y
分别为法向量在x、y方向上的分量，z为深度信息，p＝[u,v]
T
为像素点坐标，f
x
和f
y
分别为相机在x、y方向上的焦距，逆深度信息1/z在水平和垂直方向上的偏导分别采用水平和垂直图像梯度滤波器进行近似计算。3.根据权利要求2所述的一种非连续区域自适应的三维物体法向量估计方法，其特征在于，所述逆深度信息1/z在水平和垂直方向上的偏导通过逆深度图像与图像卷积核的卷积估计得到：积估计得到：其中，*表示卷积，G
x
和G
y
分别表示卷积核在水平和垂直方向的图像梯度，不同卷积核对应的G
x
和G
y
不同。4.根据权利要求3所述的一种非连续区域自适应的三维物体法向量估计方法，其特征在于，所述卷积核为Sobel、Scharr、Prewitt、FD或Roberts卷积核。5.根据权利要求4所述的一种非连续区域自适应的三维物体法向量估计方法，其特征在于，当采用Roberts卷积核时，考虑到n
x
、n
y
是在水平和垂直方向上进行计算的，则在进行逆深度图像和图像卷积核卷积后，对G
u
和G
v
在水平方向上进行角度补偿，其中，补偿角为：6.根据权利要求1所述的一种非连续区域自适应的三维物体法向量估计方法，其特征在于，所述步骤S2中，对于目标点的i个邻域点q
i
∈Q，利用集中趋势滤波器对法向量在z方
向上的分量进行估计，记为向上的分量进行估计，记为其中，n
x
、n
y
分别为法向量在x、y方向上的分量，r
i
＝q
i
‑
p＝[Δx
i
,Δy
i
,Δz
i
]
T
，k为邻域点的个数，Φ{
·
}表示集中趋势滤波器，采用不同的集中趋势测量方法，对邻域点的n
z
值进行操作，八个...
【专利技术属性】
技术研发人员：范睿，杨静葳，陈启军，
申请(专利权)人：同济大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。