图像位姿的处理方法、装置、可读存储介质和机器人制造方法及图纸

本发明专利技术提供了一种图像位姿的处理方法、装置、可读存储介质和机器人，其中，图像位姿的处理方法包括：获取采样图像中目标对象的空间特征和目标对象的点云图像；确定与点云图像相匹配的模板图像，基于模板图像，修正点云图像，得到修正图像；获取点云图像中的第一特征和第二特征，第一特征包括旋转特征，第二特征包括尺寸特征和位移特征；根据模板特征和第一特征相结合、第二特征和空间特征相结合以及修正图像，得到目标对象的6D位姿，其中，模板特征用于表示模板图像的向量特征。表示模板图像的向量特征。表示模板图像的向量特征。

【技术实现步骤摘要】
图像位姿的处理方法、装置、可读存储介质和机器人


[0001]本专利技术涉及数据处理
，具体而言，涉及一种图像位姿的处理方法、装置、可读存储介质和机器人。

技术介绍

[0002]目前，对于物体位姿估计的范畴，只适用于已知物体，对于新物体的检测性能较差，难以用于物体频繁更新的场景，由于位姿估计方法存在上述缺陷，导致目前的位姿估计方法的泛化性能较差。

技术实现思路

[0003]本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。
[0004]为此，本专利技术的第一方面在于，提供了一种图像位姿的处理方法。
[0005]本专利技术的第二方面在于，提供了一种图像位姿的处理装置。
[0006]本专利技术的第三方面在于，提供了另一种图像位姿的处理装置。
[0007]本专利技术的第四方面在于，提供了一种可读存储介质。
[0008]本专利技术的第五方面在于，提供了一种机器人。
[0009]有鉴于此，本专利技术的第一方面提供了一种图像位姿的处理方法，包括：获取采样图像中目标对象的空间特征和目标对象的点云图像；确定与点云图像相匹配的模板图像，基于模板图像，修正点云图像，得到修正图像；获取点云图像中的第一特征和第二特征，第一特征包括旋转特征，第二特征包括尺寸特征和位移特征；根据模板特征和第一特征相结合、第二特征和空间特征相结合以及修正图像，得到目标对象的6D位姿，其中，模板特征用于表示模板图像的向量特征。
[0010]本申请的技术方案提出了一种图像位姿的处理方法，利用该处理方法，可以更好地捕获目标对象的6D位姿，具体地，在得到采样图像的情况下，需要确定采样图像中的目标对象，目标对象可以为采样图像中区别于背景的物体，例如，桌面上的书本、果盘等。
[0011]在获取目标对象的情况下，获取目标对象的点云图像，可以根据点云图像的形状，或者根据点云图像的种类确定模板图像，模板图像为同类物品的通用图像。如果点云图像与模板图像一致，则可以直接对点云图像进行使用，如果点云图像与模板图像不一致，需要对点云图像进行修正，以使得点云图像可以向模板图像靠近。
[0012]在确定目标对象的情况下，需要将目标对象中的点云图像分离出来，然后确定点云对象的第一特征和第二特征，由于第一特征包括旋转特征，因此，将旋转特征和模板图像的向量特征相结合，就能够确定目标对象相较于模板图像的旋转角度。
[0013]在确定目标对象的情况下，还需要获取目标对象的空间特征，第二特征包括尺寸特征和位移特征，因此，将尺寸特征、位移特征与空间特征相结合，就能够得到目标对象的尺寸参数和坐标参数。
[0014]在修正图像的基础上，根据目标对象的旋转角度、尺寸参数和坐标参数，就能够得
到目标对象的6D物姿。
[0015]本技术方案考虑和利用了同类别的物体的形状相似性，设计了一个可变性模板场来表示形状先验和观测物体的形状联系，能够重建从未见过的同类物体的三维模型，提高位姿估计方法的泛化性能。可以基于模板网络的训练策略来得到隐式位姿场，从而显著提高位姿估计的准确度，能够在未见过的同类物体上有较高的效果。由于能够准确地重建未见过的同类物体的形状和预测位姿，有利于提高机械臂抓取的性能。
[0016]另外，本申请提出的图像位姿的处理方法还具有以下附加技术特征。
[0017]在上述技术方案中，基于模板图像，修正点云图像，得到修正图像，包括：基于点云图像中的点和模板图像中的点一一对应，确定点云图像和模板图像中的对应点之间的位移偏移量；根据位移偏移量，修正点云图像，得到修正后的待确认图像；确认模板图像和待确认图像的差异图像，去除差异图像，得到修正图像。
[0018]在该技术方案中，在确定模板图像的情况下，将点云图像中的点与模板图像中的点进行对应，可以根据点和点的对应关系，确定点云图像相较于模板图像的部分点的位移偏量，根据位移偏移量，可以对点云图像进行初步修正，得到待确认图像。然后将待确认图像与模板图像再进行对比，确认待确认图像与模板图像之间是否存在差异，如果不存在差异，则可以直接将待确认图像作为修正图像，如果待确认图像与模板图像之间存在差异，就确认差异部分，即，差异图像，对待确认图像中的差异图像进行去除，就得到修正后的修正图像，通过上述方式，提高对图像修正过程的准确性。
[0019]在上述任一技术方案中，获取标定RGB图像的第一空间特征和标定灰度图像的第二空间特征，标定灰度图像为标定RGB图像的灰度图；结合第一空间特征和第二空间特征，得到融合空间特征；确定融合空间特征中的关键点的向量特征；根据标定RGB图像和关键点的向量特征，训练第一目标网络；其中，采样图像输入至第一目标网络中，得到空间特征。
[0020]在该技术方案中，为了能够准确地得到目标对象的空间特征，需要先训练得到第一目标网络。具体地，先获取一张标定RGB图像和一张标定灰度图像，标定灰度图像为标定RGB图像的灰度图。在标定过程中，需要分别获取标定RGB图像的第一空间特征和灰度图的第二空间特征，将第一空间特征和第二空间特征相结合，能够得到融合后的融合空间特征，此步骤可以将标定RGB图像和标定灰度图像相互弥补。
[0021]在得到融合空间特征的情况下，可以由融合空间特征中得到关键点的向量特征，关键点用于体现标定图像的关键位置。然后将标定RGB图像和关键点的向量特征一同输入至第一目标网络中进行训练，标定RGB图像作为输入，关键点的向量特征作为输出，使得训练后的第一目标网络在输入RGB图像的情况下，可以准确地提取出RGB图像中的关键点的向量特征。在对第一目标网络完成训练之后，可以将采样图像输入至第一目标网路中，可以自动得到采样图中关键点的空间特征，通过上述方式对第一目标网络进行训练，有利于提高获取空间特征的准确性，从而有利于提高获取目标对象的6D物姿的准确性。
[0022]在上述任一技术方案中，获取采样图像中目标对象的空间特征之前，还包括：获取标定图像的第一标定点云；对第一标定点云旋转标定角度，得到第二标定点云；根据第一标定点云、第二标定点云和旋转标定角度，训练第二目标网络；其中，采样图像输入至第二目标网络中，得到第一特征。
[0023]在该技术方案中，为了能够准确地得到采样图像的第一特征，需要先训练得到第
二目标网络。具体地，先获取标定图像，然后得到标定图像的第一标定点云，然后对第一标定点云进行旋转，得到旋转后的第二标定点云，需要说明的是，第一标定点云和第二标定点云为同一个点云，只是转动前后的不同角度的点云。在对第一标定点云进行旋转时，每次的旋转角度需要进行记录，因此就能够转动前的标定点云的图像、标定点云的旋转角度以及转动后的标定点云的图像。
[0024]将第一标定点云、第二标定点云和旋转标定角度一同输入至第二目标网络中进行训练，第一标定点云和第二标定点云作为输入，旋转标定角度作为输出，使得训练后的第二目标网络在输入转动角度存在差异的点云的情况下，可以准确地得到两种点云的相对旋转角度。在对第二目标网络完成训练之后，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像位姿的处理方法，其特征在于，包括：获取采样图像中目标对象的空间特征和所述目标对象的点云图像；确定与所述点云图像相匹配的模板图像，基于所述模板图像，修正所述点云图像，得到修正图像；获取所述点云图像中的第一特征和第二特征，所述第一特征包括旋转特征，所述第二特征包括尺寸特征和位移特征；根据模板特征和所述第一特征相结合、所述第二特征和所述空间特征相结合以及所述修正图像，得到所述目标对象的6D位姿，其中，所述模板特征用于表示所述模板图像的向量特征。2.根据权利要求1所述的方法，其特征在于，所述基于所述模板图像，修正所述点云图像，得到修正图像，包括：基于所述点云图像中的点和所述模板图像中的点一一对应，确定所述点云图像和所述模板图像中的对应点之间的位移偏移量；根据所述位移偏移量，修正所述点云图像，得到修正后的待确认图像；确认所述模板图像和所述待确认图像的差异图像，去除所述差异图像，得到修正图像。3.根据权利要求1或2所述的方法，其特征在于，所述获取采样图像中目标对象的空间特征之前，还包括：获取标定RGB图像的第一空间特征和标定灰度图像的第二空间特征，所述标定灰度图像为所述标定RGB图像的灰度图；结合所述第一空间特征和所述第二空间特征，得到融合空间特征；确定所述融合空间特征中的关键点的向量特征；根据所述标定RGB图像和所述关键点的向量特征，训练第一目标网络；其中，所述采样图像输入至所述第一目标网络中，得到所述空间特征。4.根据权利要求1或2所述的方法，其特征在于，所述获取采样图像中目标对象的空间特征之前，还包括：获取标定图像的第一标定点云；对所述第一标定点云旋转标定角度，得到第二标定点云；根据所述第一标定点云、所述第二标定点云和所述旋转标定角度，训练第二目标网络；其中，所述采样图像输入至所述第二目标网络中，得到所述第一特征。5.根据权利要求1或2所述的方法，其特征在于，所述获取采样图像中目标对象的空间特征之前，还包括：通过相机拍摄标定图像；获取所述标定图像的第三标定点云的第一尺寸特征和第一位移特征；改变所述相机的拍摄位置后拍摄...

【专利技术属性】
技术研发人员：汪浩文，赵震，车正平，徐志远，乔秀全，奉飞飞，唐剑，
申请(专利权)人：北京邮电大学美的集团股份有限公司，
类型：发明
国别省市：