一种自适应特征选择的6D识别方法及系统技术方案

本发明专利技术公开了一种自适应特征选择的6D识别方法及系统，包括对目标物体的点云与图像的特征进行提取；将提取的特征组合形成位姿估计特征向量；对所述位姿估计特征向量中每个像素点的特征进行编解码，获得新的位姿估计特征向量；将所述新的位姿估计特征向量输入预先建立的网络模型，通过训练得到所述目标物体的位姿识别信息。上述方案的提出可以实现基于图像与点云特征的目标物体位姿估计的数据特征的充分利用，从而，可实现减小训练次数、增加估计准确性，同时减小估计的运算时间。同时减小估计的运算时间。同时减小估计的运算时间。

【技术实现步骤摘要】
一种自适应特征选择的6D识别方法及系统


[0001]本专利技术涉及图像处理中基于深度学习的目标识别与位置的姿态估计技术，具体涉及一种自适应特征选择的6D识别方法及系统。

技术介绍

[0002]目前，基于深度学习的目标物体的识别与位置姿态估计主要是应用点云、图像两个方面的数据，在应用点云与图像匹配两类数据所提取的特征都是全部应用到目标物体的识别与位置姿态估计中，并没有根据图像纹理丰富程度和目标物体点云特征的多少，进行一定的选择地应用。在实际应用中，在不同场景、不同目标物体，以及目标物体的各个不同部分，图像特征与点云特征的丰富程度所有不同。因此，对于目标物体的识别和位置姿态的估计中，图像与点云特征的重要性将有所不同，所以需要对图像与点云特征的应用比例有所变化。因此，需要有一个点云与图像特征自适应的选择机制。

技术实现思路

[0003]为了实现上述目的，本专利技术公开一种自适应特征选择的6D识别方法及系统，针对6D识别中的点云特征与图像特征的选择问题，提出一种自适应的学习框架。在6D识别的过程中，在应用深度学习方法将对点云与图像的特征进行提取的基础上，对提取的特征进行分析，确定点云特征、图像特征的强度。根据点云特征、图像特征的强度，选择一个合适的特征提取方法，实现对目标物体的识别。
[0004]本专利技术通过以下技术手段解决上述技术问题：
[0005]一种自适应特征选择的6D识别方法，所述方法包括如下步骤：
[0006]对目标物体的点云与图像的特征进行提取；
[0007]将提取的特征组合形成位姿估计特征向量；
[0008]对所述位姿估计特征向量中每个像素点的特征进行编解码，获得新的位姿估计特征向量；
[0009]将所述新的位姿估计特征向量输入预先建立的网络模型，通过训练得到所述目标物体的位姿识别信息。
[0010]优选的，所述对目标物体的点云与图像的特征进行提取包括：通过CNN深度学习网络,获取RGB图像中N个像素点(x1,y1),(x2,y2),......,(x
n
,y
n
),N∈1,2,
…
,n的表面纹理特征；
[0011]将目标场景的点云映射到图像上，应用PointNet的深度学习网络，获取对应于N个像素点(x1,y1),(x2,y2),......,(x
n
,y
n
)的空间特征。
[0012]优选的，所述对所述位姿估计特征向量中每个像素点的特征进行编解码，获得新的位姿估计特征向量包括：
[0013]将提取的特征组合形成的位姿估计特征向量总维数设为p，其中每一个像素点的特征为(v1,v2,......,v
p
)；
[0014]将特征向量每个像素点的特征(v1,v2,......,v
p
)采用受限波兹曼机进行训练编码与解码，获得新的位姿估计特征向量。
[0015]进一步地，所述将特征向量每个像素点的特征(v1,v2,......,v
p
)采用受限波兹曼机进行训练编码与解码，获得新的位姿估计特征向量包括：
[0016]通过训练将向量(v1,v2,......,v
p
)进行编码，得到编码向量(v'1,v'2,......,v'
q
)；
[0017]将q维编码向量解码为r维特征向量。
[0018]进一步地，所述通过训练将向量(v1,v2,......,v
p
)进行编码，得到编码向量(v'1,v'2,......,v'
q
)包括：
[0019]设N个像素点的输入矩阵为N
×
p，即:[V1,V2,......,V
p
]；
[0020]则变换矩阵为：
[0021][0022]通过矩阵变换，新的特征向量变为[V1,V2,......,V
p
]×
A
pq
，以获得q维编码向量[V'1,V'2,......,V'
q
]。
[0023]进一步地，通过以下变换矩阵将q维向量解码为r维特征向量：
[0024][0025][S'1,S'2,......,S'
r
]＝[V'1,V'2,......,V'
q
]×
A
qr
；
[0026]将A
pq
×
A
qr
得到一个特征变换矩阵，将得到一个r维的局部权重特征；则N个像素点的特征就通过自适应选择，得到一个最能表达特征点的位置姿态特征的N个r维特征向量(v1,v2,......,v
r
)。
[0027]优选的，所述将新的位姿估计特征向量输入预先建立的网络模型，通过训练得到目标物体的位姿识别信息包括：
[0028]N个像素点的位置姿态特征通过适应选择处理后的数据，通过CNN训练目标物体的位置姿态；
[0029]完成训练后，获得通过图像与点云数据的目标物体的位置与姿态估计。
[0030]进一步地，所述预先建立的网络模型包括训练的损失函数，其表达式如下式：
[0031][0032]其中：为位置姿态估计的损失函数，x
j
是第j从目标物体上选取的N个点；p＝[R|t]是真值，是预测的位置与姿态的第i个三维位置点。
[0033]一种自适应特征选择的6D识别系统，所述系统包括：
[0034]特征提取模块，用于对目标物体的点云与图像的特征进行提取；
[0035]组合模块，用于将提取的特征组合形成位姿估计特征向量；
[0036]处理模块，用于对所述位姿估计特征向量中每个像素点的特征进行编解码，获得新的位姿估计特征向量；
[0037]识别模块，用于将所述新的位姿估计特征向量输入预先建立的网络模型，通过训练得到所述目标物体的位姿识别信息。
[0038]本专利技术的有益效果体现在：
[0039]本专利技术提出的一种自适应特征选择的6D识别方法及系统，针对6D识别中的点云特征与图像特征的选择问题，提出一种自适应的学习框架。在6D识别的过程中，在应用深度学习方法将对点云与图像的特征进行提取的基础上，对提取的特征进行分析，确定点云特征、图像特征的强度。根据点云特征、图像特征的强度，选择一个合适的特征提取方法，实现对目标物体的识别。
[0040]本专利技术提出的一种自适应特征选择的6D识别方法及系统，可以实现基于图像与点云特征的目标物体位姿估计的数据特征的充分利用，从而，可实现减小训练次数、增加估计准确性，同时减小估计的运算时间。
附图说明
[0041]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应特征选择的6D识别方法，其特征在于，所述方法包括如下步骤：对目标物体的点云与图像的特征进行提取；将提取的特征组合形成位姿估计特征向量；对所述位姿估计特征向量中每个像素点的特征进行编解码，获得新的位姿估计特征向量；将所述新的位姿估计特征向量输入预先建立的网络模型，通过训练得到所述目标物体的位姿识别信息。2.如权利要求1所述的方法，其特征在于，所述对目标物体的点云与图像的特征进行提取包括：通过CNN深度学习网络,获取RGB图像中N个像素点(x1,y1),(x2,y2),......,(x
n
,y
n
),N∈1,2,
…
,n的表面纹理特征；将目标场景的点云映射到图像上，应用PointNet的深度学习网络，获取对应于N个像素点(x1,y1),(x2,y2),......,(x
n
,y
n
)的空间特征。3.如权利要求1所述的方法，其特征在于，所述对所述位姿估计特征向量中每个像素点的特征进行编解码，获得新的位姿估计特征向量包括：将提取的特征组合形成的位姿估计特征向量总维数设为p，其中每一个像素点的特征为(v1,v2,......,v
p
)；将特征向量每个像素点的特征(v1,v2,......,v
p
)采用受限波兹曼机进行训练编码与解码，获得新的位姿估计特征向量。4.如权利要求3所述的方法，其特征在于，所述将特征向量每个像素点的特征(v1,v2,......,v
p
)采用受限波兹曼机进行训练编码与解码，获得新的位姿估计特征向量包括：通过训练将向量(v1,v2,......,v
p
)进行编码，得到编码向量(v
′1,v
′2,......,v
′
q
)；将q维编码向量解码为r维特征向量。5.如权利要求4所述的方法，其特征在于，所述通过训练将向量(v1,v2,......,v
p
)进行编码，得到编码向量(v
′1,v
′2,......,v
′
q
)包括：设N个像素点的输入矩阵为N

【专利技术属性】
技术研发人员：冯良炳，徐凯，
申请(专利权)人：深圳辰视智能科技有限公司，
类型：发明
国别省市：