图像处理、智能控制方法及设备技术

本发明专利技术实施例提供一种图像处理、智能控制方法及设备，该图像处理方法包括：将待处理图像的多个像素点中位于同一平面的像素点划分至同一像素集合；确定同一像素集合中包含的至少一个像素点分别对应的平面计算参数；根据任一个像素集合中的至少一个像素点分别对应的平面计算参数，确定所述像素集合对应平面的平面参数；基于所述至少一个像素集合分别对应的平面参数，获得所述待处理图像中至少一个平面分别对应的平面参数。本发明专利技术实施例提高了平面参数估计精度。参数估计精度。参数估计精度。

【技术实现步骤摘要】
图像处理、智能控制方法及设备


[0001]本专利技术涉及电子设备
，尤其涉及一种图像处理方法、智能控制方法及设备。

技术介绍

[0002]随着科技的迅速发展，电子设备对基于平面的多功能控制场景的应用越来越广泛，例如，机器人自动移动过程中，需要区分位于其前方的墙面以进行避障，在此基础上需要先确定墙面所在平面，以进行智能控制。通常，电子设备可以先采集前方图像，识别图像中平面，以进行智能控制。
[0003]现有技术中，电子设备采集图像之后，可以采用机器学习模型预测图像中各个像素对应的平面参数，以及该像素点与其对应平面区域的关联特征，之后，利用每个像素对应的平面参数以及与其对应平面区域的关联特征进行空间聚合以获得各个平面区域对应平面的平面参数。通常，一个平面的平面参数可以以该平面在相机坐标系中的平面方程进行定义。以相机坐标系的x、y、z轴为例，该平面方程可以为Ax+By+Cz+D＝0，平面参数可以为A、B、C、D。
[0004]但是，像素点与其对应平面区域的关联特征具有相应的空间维度，预测平面对应平面参数时，受空间维度影响较大，空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：将待处理图像的多个像素点中位于同一平面的像素点划分至同一像素集合；确定同一像素集合中包含的至少一个像素点分别对应的平面计算参数；根据任一个像素集合中的至少一个像素点分别对应的平面计算参数，确定所述像素集合对应平面的平面参数；基于所述至少一个像素集合分别对应的平面参数，获得所述待处理图像中至少一个平面分别对应的平面参数。2.根据权利要求1所述的方法，其特征在于，所述确定同一像素集合中包含的至少一个像素点分别对应的平面计算参数包括：确定同一像素集合中包含的至少一个像素点分别对应的像素深度以及单位法向量；所述根据任一个像素集合中的至少一个像素点分别对应的平面计算参数，确定所述像素集合对应平面的平面参数包括：根据任一个像素集合中的至少一个像素点分别对应的像素深度以及单位法向量，确定所述像素集合对应平面的平面参数。3.根据权利要求2所述的方法，其特征在于，所述将待处理图像的多个像素点中位于同一平面的像素点划分至同一像素集合包括：确定所述待处理图像的多个像素点分别与其所在平面之间的平面关联参数；根据所述多个像素点分别对应的平面关联参数，将所述多个像素点中位于同一平面的像素点划分至同一像素集合中。4.根据权利要求3所述的方法，其特征在于，所述确定所述待处理图像的多个像素点分别与其所在平面之间的平面关联参数包括：确定所述多个像素点分别在其所在平面上的平面分布概率以及平面嵌入向量；所述根据所述多个像素点分别对应的平面关联参数，将所述多个像素点中位于同一平面的像素点划分至同一像素集合中包括：根据所述多个像素点分别在其所在平面上的平面分布概率和平面嵌入向量，将所述多个像素点中位于同一平面的像素点划分至同一像素集合。5.根据权利要求4所述的方法，其特征在于，所述确定所述多个像素点分别在其所在平面上的平面分布概率以及平面嵌入向量包括：提取所述待处理图像的图像特征；将所述待处理图像的图像特征输入机器学习模型，以获得所述待处理图像的多个像素点分别在其所在平面上的平面分布概率、平面嵌入向量、像素深度以及所述多个像素点分别对应的像素平面的单位法向量；所述确定同一像素集合中包含的至少一个像素点分别对应的像素深度以及单位法向量包括：根据所述多个像素点分别对应的像素深度以及单位法向量，确定同一像素集合中包含的至少一个像素点分别对应的像素深度以及单位法向量。6.根据权利要求5所述的方法，其特征在于，所述机器学习模型通过以下方式训练获得：确定至少一个训练图像；其中，任一个训练图像的多个像素点分别对应有标准像素深
度以及所述多个像素点各自所在标准平面的标准平面标识和标准平面参数；根据所述任一个训练图像的任一个像素点所在标准平面的标准平面标识，确定所述像素点的标准分布概率；构建机器学习模型；利用所述至少一个训练图像以及任一个训练图像的多个像素点分别对应的标准分布概率、标准像素深度以及所述多个像素点各自所在标准平面的标准平面标识和标准平面参数，训练获得所述机器学习模型的模型参数。7.根据权利要求6所述的方法，其特征在于，所述利用所述至少一个训练图像以及任一个训练图像的多个像素点分别对应的标准分布概率、标准像素深度以及所述多个像素点各自所在标准平面的标准平面标识和标准平面参数，训练获得所述机器学习模型的模型参数包括：确定所述机器学习模型的参考模型参数；将任一个训练图像输入所述参考模型参数对应的机器学习模型，计算获得所述训练图像的多个像素点分别对应的估计分布概率、估计嵌入向量、估计像素深度以及估计平面参数，以获得所述至少一个训练图像各自的多个像素点分别对应的估计分布概率、估计嵌入向量、估计像素深度以及估计平面参数；针对任一个训练图像的多个像素点分别对应的估计嵌入向量以及所述多个像素点各自所在标准平面的标准平面标识，确定所述训练图像的多个标准平面分别对应的标准嵌入向量，以获得所述至少一个训练图像各自的多个标准平面分别对应的标准嵌入向量；基于所述至少一个训练图像分别对应的多个像素点的估计分布概率和标准分布概率、估计嵌入向量、估计像素深度和标准像素深度、以及所述至少一个训练图像各自的多个标准平面分别对应的标准嵌入向量、估计平面参数和标准平面参数，确定所述至少一个训练图像的估计误差；如果所述估计误差满足损失条件，确定所述机器学习模型的参考模型参数为所述机器学习模型的模型参数；如果所述估计误差不满足损失条件，基于所述估计误差，调整所述机器学习模型的参考模型参数，返回至所述确定所述机器学习模型的参数模型参数的步骤继续执行。8.根据权利要求7所述的方法，其特征在于，所述基于所述至少一个训练图像分别对应的多个像素点的估计分布概率和标准分布概率、估计嵌入向量、估计像素深度和标准像素深度、以及所述至少一个训练图像各自的多个标准平面分别对应的标准嵌入向量、估计平面参数和标准平面参数，确定所述至少一个训练图像的估计误差包括：针对任一个训练图像，根据所述训练图像的多个像素点各自的估计分布概率与标准分布概率，确定所述训练图像的平衡误差；根据所述训练图像的多个像素点各自的估计嵌入向量以及所述训练图像的多个标准平面各自的标准嵌入向量，确定所述训练图像的嵌入误差；根据所述训练图像的多个像素点各自的估计像素深度与标准像素深度，确定所述训练图像的深度误差；根据所述训练图像的多个像素点各自的估计平面参数与标准平面参数，确定所述训练图像的参数误差；
将所述训练图像的平衡误差、嵌入误差、深度误差以及参数误差之和作为所述训练图像的训练误差；计算所述至少一个训练图像分别对应的训练误差之和，获得所述至少一个训练图像的估计误差。9.根据权利要求8所述的方法，其特征在于，所述根据所述训练图像的多个像素点各自的估计嵌入向量以及所述训练图像的多个标准平面各自的标准嵌入向量，确定所述训练图像的嵌入误差包括：将所述训练图像的多个像素点分别对应标准平面的标准嵌入向量作为所述多个像素点分别对应的标准嵌入向量；根据所述训练图像的多个像素点各自的估计嵌入向量以及标准嵌入向量，确定所述训练图像的多个像素点与其所在平面之间的第一向量误差；根据所述训练图像的多个标准平面各自的标准嵌入向量，确定所述训练图像的任意两个平面之间的第二向量误差；基于所述第一向量误差与所述第二向量误差之差，获得所述训练图像的嵌入误差。10.根据权利要求7所述的方法，其特征在于，所述针对任一个训练图像的多个像素点分别对应的估计嵌入向量以及所述多个像素点各自所在标准平面的标准平面标识，确定所述训练图像的多个标准平面分别对应的标准嵌入向量，以获得所述至少一个训练图像各自的多个标准平面分别对应的标准嵌入向量包括：针对任一个训练图像，将所述训练图像的多个像素点中具有相同标准平面标识的像素点划分至同一个像素集合中，获得所述训练图像的多个标准平面分别对应的像素集合；分别计算所述多个标准平面分别对应的像素集合中的至少一个像素点的估计嵌入向量的向量均值，获得所述多个标准平面分布对应的标准嵌入向量。11.根据权利要求6所述的方法，其特征在于，所述根据所述任一个训练图像的任一个像素点所在标准平面的标准平面标识，确定所述像素点的标准分布概率包括：如果任一个像素点所在标准平面的标准平面标识满足平面分布条件，确定所述像素点的标准分布概率为第一分布概率；如果任一个像素点所在标准平面的标准平面标识不满足平面分布条件，确定所述像素点的标准分布概率为第二分布概率。12.根据权利要求5所述的方法，其特征在于，所述提取所述待处理图像的图像特征包括：基于特征提取算法，提取所述待处理图像的图像特征。13.根据权利要求4所述的方法，其特征在于，所述根据所述多个像素点分别在其所在平面上的平面分布概率和平面嵌入向...

【专利技术属性】
技术研发人员：梅佳，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：