图像处理方法、装置、存储介质及设备制造方法及图纸

本申请公开一种图像处理方法、装置、存储介质及设备，该方法包括：获取目标机器人在目标观察空间内采集的观测信息，观测信息包括观测图像、深度图像和传感器位姿信息；根据观测信息获取三维语义分布图；根据三维语义分布图，基于语义分布不一致性和类分布不确定性的条件，学习目标机器人的探索策略，并根据探索策略确定目标机器人的探索轨迹；基于语义分布不一致性与类分布不确定性中的至少一种条件，从探索轨迹对应的目标观测图像中获取难样本图像；根据难样本图像调整目标机器人的感知模型，降低了标注成本，提升感知模型的感知准确性。性。性。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及设备


[0001]本申请涉及机器人感知
，具体涉及一种图像处理方法、装置、存储介质及设备。

技术介绍

[0002]随着感知模型在机器人领域的广泛应用，如何有效地将感知模型推广到真实的三维环境的研究，已成为重要的研究课题。其中，训练机器人的感知模型与传统计算机视觉中基于从互联网上收集的图片训练静态感知模型存在以下不同点：(1)用于训练的图片数据不是从互联网上收集的固定数据集，而是需要在虚拟或真实的三维(3D)空间中移动来进行收集的；(2)静态感知模型是将每一个训练样本单独处理，机器人的感知模型是机器人在空间的移动过程中从不同的视角对同一个物体进行观测；(3)如何有效地学习探索策略和收集训练样本的方法，是机器人的感知模型的训练任务的关键之处。

技术实现思路

[0003]本申请实施例提供一种图像处理方法、装置、存储介质、设备及程序产品，可以基于三维语义分布图来衡量语义分布差异，并结合语义分布不一致性和类分布不确定性来学习探索轨迹，以关注同一个视角预测的类分布不确定性以及关注不同视角预测的语义分布不一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取目标机器人在目标观察空间内采集的观测信息，所述观测信息包括观测图像、深度图像和传感器位姿信息；根据所述观测信息，获取三维语义分布图；根据所述三维语义分布图，基于语义分布不一致性和类分布不确定性的条件，学习所述目标机器人的探索策略；根据所述探索策略移动所述目标机器人，以得到所述目标机器人的探索轨迹，所述探索轨迹包括所述目标机器人在所述目标观察空间内移动的过程中采集的目标观测图像；基于所述语义分布不一致性与所述类分布不确定性中的至少一种条件，从所述探索轨迹对应的目标观测图像中获取难样本图像，所述难样本图像用于表征预测的语义分布结果不一致和/或预测的类分布结果不确定的图像；根据所述难样本图像调整所述目标机器人的感知模型。2.如权利要求1所述的图像处理方法，其特征在于，所述语义分布不一致性表示所述目标机器人在移动过程中从不同视角观测同一个目标对象时，得到不一致的预测分布结果；所述类分布不确定性表示所述目标机器人在移动过程中从同一个视角观测同一个目标对象时，将所述目标对象的类别预测为多个类别、且所述多个类别中有两个类别得到的预测类别概率相近且均大于第一预设阈值的情况。3.如权利要求2所述的图像处理方法，其特征在于，所述观测图像包括第一观测图像和第二观测图像，所述第一目标观测图像为从不同视角观测同一个目标对象时采集的观测图像，所述第二目标观测图像为从同一个视角观测同一个目标对象时采集的观测图像；所述根据所述三维语义分布图，基于语义分布不一致性和类分布不确定性的条件，学习所述目标机器人的探索策略，包括：根据所述第一观测图像，获取所述目标机器人移动过程中从不同视角观测同一个目标对象时的当前预测结果，并基于所述当前预测结果与所述三维语义分布图，计算第一语义分布不一致性奖励；获取所述第二观测图像中所有目标对象的第一预测类别概率，并基于所述所有目标对象的第一预测类别概率，计算第一类分布不确定性奖励；根据所述第一语义分布不一致性奖励与所述第一类分布不确定性奖励，学习所述目标机器人的探索策略。4.如权利要求2所述的图像处理方法，所述探索轨迹对应的目标观测图像包括第一目标观测图像和第二目标观测图像，所述第一目标观测图像为从不同视角观测同一个目标对象时采集的观测图像，所述第二目标观测图像为从同一个视角观测同一个目标对象时采集的观测图像；所述基于所述语义分布不一致性与所述类分布不确定性中的至少一种条件，从所述探索轨迹对应的目标观测图像中获取难样本图像，包括:基于所述语义分布不一致性的条件，从所述探索轨迹对应的第一目标观测图像中获取第一难样本图像，所述第一难样本图像用于表征预测的语义分布结果不一致的图像；和/或基于所述类分布不确定性的条件，从所述探索轨迹对应的第二目标观测图像中获取第二难样本图像，所述第二难样本图像用于表征预测的类分布结果不确定的图像。
5.如权利要求4所述的图像处理方法，其特征在于，所述基于所述类分布不确定性的条件，从所述探索轨迹对应的第二目标观测图像中获取第二难样本图像，包括：获取所述探索轨迹对应的第二目标观测图像；计算所述探索轨迹对应的第二目标观测图像中所有目标对象的第二预测类别概率；基于所述第二目标观测图像中所有目标对象的第二预测类别概率，计算第二类分布不确定性；将所述第二目标观测图像中所述第二类分布不确定性大于第一预设阈值对应的图像确定为第二难样本图像。6.如权利要求4所述的图像处理方法，其特征在于，所述基于所述语义分布不一致性的条件，从所述探索轨迹对应的第一目标观测图像中获取第一难样本图像，包括：获取所述探索轨迹对应的第一目标观测图像；根据所述第一目标观测图像，获取所述目标机器人移动过程中从不同视角观测同一个目标对象时的目标预测结果，并基于所述目标预测结果与所述三维语义分布图，计算第二语义分布不一致性；将所述第一目标观测图像中所述第二语义分布不一致性大于第二预设阈值对于的图像确定为第一难样本图像。7.如权利要求1
‑
6任一项所述的图像处理方法，其特征在于，所述根据所述探索策略移动所述目标机器人，以得到所述目标机器人的探索轨迹，包括：根据所述探索策略以及所述目标机器人在当前时刻t
i
采集到的目标观测信息，确定所述目标机器人在下一时刻t
i+1
的行进方向，其中，所述行进方向用于指示所述...

【专利技术属性】
技术研发人员：荆雅，孔涛，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：