一种图像处理方法以及相关设备技术

本申请实施例公开一种图像处理方法以及相关设备，该方法可用于人工智能领域的三维场景中，方法包括：将训练样本输入第一模型，得到训练样本中每个图像的特征信息，对第一模型进行训练；训练样本包括第一场景在多个视角下的图像，其中有第一图像和第二图像，训练的目标包括提高第一特征信息和第二特征信息之间的相似度，第一特征信息包括第一图像中第一点的特征信息，第二特征信息包括第二图像中第二点的特征信息，第一点和第二点与第一场景中的同一点对应。在利用训练后的第一模型进行特征提取时，场景中同一点在不同视角下的图像中的特征信息会更相似，前述特征信息能够反应不同视角的图像之间的联系，有利于增强模型的几何感知能力。知能力。知能力。

【技术实现步骤摘要】
一种图像处理方法以及相关设备


[0001]本申请涉及人工智能领域，尤其涉及一种图像处理方法以及相关设备。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0003]近年来，利用人工智能技术执行三维(3
‑
dimension，3D)场景中的各种图像处理任务是人工智能常见的一种应用方式，例如3D场景重建、对3D图像进行分类、对3D图像进行目标检测、对3D图像进行语义分割或其他图像处理任务等等。
[0004]具体的，可以获取同一场景在多个视角下的多个图像，多个图像中每个图像为该场景在一个视角下的图像，将前述多个图像输入模型中，通过模型分别对每个视角下的图像进行特征提取，得到每个图像的特征信息；进而根据每个图像的特征信息生成与图像处理任务对应的预测结果。
[0005]但是，由于模型是分别对每个视角下的图像进行特征提取，没有学习到不同视角的图像之间存在的联系，因此，一种能够获取到更多信息的特征提取方案亟待推出。

技术实现思路

[0006]本申请实施例提供了一种图像处理方法以及相关设备，训练的目标包括提高第一场景中同一点在不同视角下的图像中的特征信息之间的相似度，通过前述方案，在利用训练后的第一模型对同一场景在不同视角下的图像进行特征提取时，该场景中同一点在不同视角下的图像中的特征信息会更相似，则通过前述第一模型得到的特征信息能够反应不同视角的图像之间的联系，有利于在特征提取阶段获取到更丰富的信息；此外，模型能够综合多个视角下的信息也有利于增强模型的几何感知能力。
[0007]为解决上述技术问题，本申请实施例提供以下技术方案：
[0008]第一方面，本申请实施例提供一种模型的训练方法，可用于人工智能领域的三维场景中，方法包括：训练设备获取训练样本，训练样本中的多个图像包括第一场景在多个视角下的图像；示例性地，第一场景可以为环境、人、动物、物体或其他类型的第一场景等，例如，“环境”可以为交通道路环境、室内环境、公园环境或其他类型的环境等；“人”可以为虚拟人物或实体人物；“动物”可以为虚拟动物或实体动物等，此处不做限定。
[0009]训练设备将训练样本输入第一模型中，通过第一模型进行特征提取，得到训练样本中每个图像的特征信息；并根据训练样本中每个图像的特征信息和第一损失项，对第一模型进行训练。其中，多个图像包括第一图像和第二图像，利用第一损失项进行训练的目标包括提高第一特征信息和第二特征信息之间的相似度，第一特征信息包括第一图像中第一
点的特征信息，第二特征信息包括第二图像中第二点的特征信息；第一图像中的第一点和第二图像中的第二点与第一场景中的同一点对应，换言之，将三维的第一场景中同一个点投影至不同视角的图像中能够分别得到第一图像中的第一点和第二图像中的第二点；也即利用第一损失项进行训练的目的包括提高不同视角下的图像中具有相同语义的点的特征信息之间的相似度。
[0010]本实现方式中，由于在训练过程中采用了第一损失项，利用第一损失项对第一模型进行训练的目标包括提高第一特征信息和第二特征信息之间的相似度，第一特征信息包括第一图像中第一点的特征信息，第二特征信息包括第二图像中第二点的特征信息，第一图像中的第一点和第二图像中的第二点与第一场景中的同一点对应，也即训练的目标包括提高第一场景中同一点在不同视角下的图像中的特征信息之间的相似度，通过前述方案，在利用训练后的第一模型对同一场景在不同视角下的图像进行特征提取时，该场景中同一点在不同视角下的图像中的特征信息会更相似，则通过前述第一模型得到的特征信息能够反应不同视角的图像之间的联系，有利于在特征提取阶段获取到更丰富的信息；此外，模型能够综合多个视角下的信息也有利于增强模型的几何感知能力。
[0011]在一种可能实现方式中，训练设备根据训练样本中每个图像的特征信息和第一损失项，对第一模型进行训练，包括：训练设备根据训练样本中每个图像的特征信息、第一损失项和第二损失项，对第一模型进行训练，其中，利用第二损失项进行训练的目标包括降低第一特征信息和第三特征信息之间的相似度，第三特征信息包括第二图像中第三点的特征信息，第三点和第二点不同。
[0012]本实现方式中，由于第一图像中的第一点和所述第二图像中的第二点与所述第一场景中的同一点对应，第三点与第二点不同，也即第三点和第一点与第一场景中不同的点对应，利用第二损失项进行训练的目的包括降低第一点的第一特征信息和第三点的第三特征信息之间的相似度，也即不仅第一场景中同一点在不同视角下的图像中的特征信息会更相似，而且第一场景中不同的点在不同视角下的图像中的特征信息会更不相似，则通过前述第一模型得到的特征信息能够反应不同视角的图像之间更多的联系，有利于进一步增强模型的几何感知能力，从而提高第一模型输出的预测结果的准确度。
[0013]在一种可能实现方式中，第二点和第三点均位于第一线上，将第二线投影至第二图像中得到第一线，第二线穿过第一点，第二线还穿过拍摄第一图像的相机的焦点和/或与第一图像对应的相机坐标系的原点。本申请实施例中，在确定了第一点之后，能够得到第二线，将第二线投影至其他视角下的图像(也即第二图像)中能够确定第二图像中的第一线，与第一点具有相同语义的点一般位于第一线上，从第一线上采样第三点，有利于协助第一模型学习到其他视角下的图像中哪些点与第一点所对应的第一场景中的点一致，其他视角下的图像中哪些与第一点所对应的第一场景中的点不一致，有利于进一步提高第一模型输出的预测结果的准确度。
[0014]在一种可能实现方式中，训练样本中每个图像的特征信息包括训练样本中每个图像的多个第一像素点的更新后的特征信息。训练设备通过第一模型进行特征提取，得到训练样本中每个图像的特征信息，包括：训练设备获取第二像素点的初始特征信息，第一像素点和第二像素点为多个图像中不同图像中的点，第一像素点与第二像素点的语义相同；训练设备将第一像素点的初始特征信息与第二像素点的初始特征信息进行融合，得到第一像
素点的更新后的特征信息。可选地，训练样本中每个图像的特征信息还可以包括每个图像中第四像素点的初始特征信息，第四像素点和第一像素点是同一图像中不同的像素点
[0015]本实现方式中，在第一模型的特征提取阶段，在获取到第一场景在某个视角下图像中第一像素点的初始特征信息之后，可以从第一场景在其它视角下的图像中获取第二像素点的特征信息，第一像素点和第二像素点的语义相同，将第二像素点的初始特征信息与第一像素点的初始特征信息进行融合，得到第一像素点的更新后的特征信息，也即得到了训练样本中每个图像的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的处理方法，其特征在于，所述方法包括：获取训练样本，所述训练样本中的多个图像包括第一场景在多个视角下的图像；将所述训练样本输入第一模型中，通过所述第一模型进行特征提取，得到所述训练样本中每个图像的特征信息；根据所述训练样本中每个图像的特征信息和第一损失项，对所述第一模型进行训练；其中，所述多个图像包括第一图像和第二图像，利用所述第一损失项进行训练的目标包括提高第一特征信息和第二特征信息之间的相似度，所述第一特征信息包括所述第一图像中第一点的特征信息，所述第二特征信息包括所述第二图像中第二点的特征信息，所述第一图像中的第一点和所述第二图像中的第二点与所述第一场景中的同一点对应。2.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本中每个图像的特征信息和第一损失项，对所述第一模型进行训练，包括：根据所述训练样本中每个图像的特征信息、第一损失项和第二损失项，对所述第一模型进行训练，其中，利用所述第二损失项进行训练的目标包括降低所述第一特征信息和第三特征信息之间的相似度，所述第三特征信息包括所述第二图像中第三点的特征信息，所述第三点和所述第二点不同。3.根据权利要求2所述的方法，其特征在于，所述第二点和所述第三点均位于第一线上，将第二线投影至所述第二图像中得到所述第一线，所述第二线穿过所述第一点，所述第二线还穿过拍摄所述第一图像的相机的焦点和/或与所述第一图像对应的相机坐标系的原点。4.根据权利要求1至3任一项所述的方法，其特征在于，所述训练样本中每个图像的特征信息包括所述训练样本中每个图像的多个第一像素点的更新后的特征信息，所述通过所述第一模型进行特征提取，得到所述训练样本中每个图像的特征信息，包括：获取第二像素点的初始特征信息，所述第一像素点和所述第二像素点为所述多个图像中不同图像中的点，所述第一像素点与所述第二像素点的语义相同；将所述第一像素点的初始特征信息与所述第二像素点的初始特征信息进行融合，得到所述第一像素点的更新后的特征信息。5.根据权利要求4所述的方法，其特征在于，所述第一像素点包含于所述训练样本的第三图像中，所述获取第二像素点的初始特征信息，包括：获取第三线上的至少一个第三点，所述第三线穿过所述第一像素点，所述第三线还穿过拍摄所述第三图像的相机的焦点和/或与所述第三图像对应的图像坐标系的原点；获取特征信息集合，所述特征信息集合包括多个投影点中每个投影点的初始特征信息，所述投影点为将所述第三点投影至第四图像上的点，所述第四图像为所述训练样本中所述第三图像之外的图像，所述多个投影点包括所述第二像素点；所述将所述第一像素点的初始特征信息与所述第二像素点的初始特征信息进行融合，包括：将所述第一像素点的初始特征信息与所述特征信息集合进行融合。6.根据权利要求1至3任一项所述的方法，其特征在于，所述训练样本还包括新视角，所述通过所述第一模型进行特征提取，得到所述训练样本中每个图像的特征信息之后，所述方法还包括：
根据所述训练样本中每个图像的特征信息，通过所述第一模型进行特征处理，得到所述第一场景在所述新视角下的预测图像；所述根据所述训练样本中每个图像的特征信息和第一损失项，对所述第一模型进行训练，包括：根据所述训练样本中每个图像的特征信息、所述预测图像、所述第一损失项和第三损失项，对所述第一模型进行训练，所述第三损失项指示所述预测图像与所述第一场景在所述新视角下的期望图像之间的相似度。7.根据权利要求5所述的方法，其特征在于，所述预测图像包括多个像素点的第一颜色值，所述通过所述第一模型进行特征处理，得到所述第一场景在所述新视角下的预测图像，包括：通过所述第一模型进行特征处理，得到所述第一模型生成的与第三像素点对应的信息，所述第三像素点为所述多个像素点中任意一个像素点，所述与第三像素点对应的信息包括多个第二颜色值以及每个所述第二颜色值所对应的一个体素密度；对每个所述第二颜色值所对应的体素密度进行归一化处理，得到每个所述第二颜色值的权重；根据每个所述第二颜色值的权重，对所述多个第二颜色值进行加权求和得到所述第三像素点的所述第一颜色值。8.一种图像的处理方法，其特征在于，所述方法包括：获取待处理数据，所述待处理数据中的多个图像包括场景在多个视角下的图像；将所述待处理数据输入第一模型中，通过所述第一模型进行特征提取，得到所述待处理数据中每个图像的特征信息；根据所述待处理数据中每个图像的特征信息，通过所述第一模型进行特征处理，得到所述第一模型输出的预测结果；其中，所述第一模型基于训练样本和第一损失项训练得到，所述训练样本中的多个图像包括第一场景在多个视角下的图像，所述训练样本中的多个图像包括第一图像和第二图像，所述第一损失项指示第一特征信息和第二特征信息之间的相似度，所述第一特征信息包括所述第一图像中第一点的特征信息，所述第二特征信息包括所述第二图像中第二点的特征信息，所述第一图像中的第一点和所述第二图像中的第二点与所述第一场景中的同一点对应。9.根据权利要求8所述的方法，其特征在于，所述第一模型基于所述训练样本、第一损失项和第二损失项训练得到，利用所述第二损失项进行训练的目标包括降低所述第一特征信息和第三特征信息之间的相似度，所述第三特征信息包括所述第二图像中第一像素点的特征信息，所述第一像素点和所述第二点不同。10.根据权利要求8或9所述的方法，其特征在于，所述待处理数据中每个图像的特征信息包括所述待处理数据中每个图像的多个第一像素点的特征信息，所述通过所述第一模型进行特征提取，得到所述待处理数据中每个图像的特征信息，包括：获取第二像素点的初始特征信息，所述第一像素点和所述第二像素点为所述待处理数据包中不同图像中的点，所述第一像素点与所述第二像素点的语义相同；将所述第一像素点的初始特征信息与所述第二像素点的初始特征信息进行融合，得到
所述第一像素点的特征信息。11.一种图像的处理方法，其特征在于，所述方法包括：获取待处理数据，所述待处理数据中的多个图像包括场景在多个视角下的图像；将所述待处理数据输入第一模型中，通过所述第一模型进行特征提取，得到所述待处理数据中每个图像的特征信息；根据所述待处理数据中每个图像的特征信息，通过所述第一模型进行特征处理，得到所述第一模型输出的预测结果；其中，所述待处理数据中每个图像的特征信息包括所述待处理数据中每个图像的多个第一像素点的特征信息，所述通过所述第一模型进行特征提取，得到所述待处理数据中每个图像的特征信息，包括：获取第二像素点的初始特征信息，所述第一像素点和所述第二像素点为所述待处理数据包中不同图像中的点，所述第一像素点与所述第二像素点的语义相同；将所述第一像素点的初始特征信息与所述第二像素点的初始特征信息进行融合，得到所述第一像素点的特征信息。12.根据权利要求11所述的方法，其特征在于，所述第一模型基于训练样本和第一损失项训练得到，所述训练样本中的多个图像包括第一场景在多个视角下的图像，所述训练样本中的多个图像包括第一图像和第二图像，所述第一损失项指示第一特征信息和第二特征信息之间的相似度，所述第一特征信息包括所述第一图像中第一点的特征信息，所述第二特征信息包括所述第二图像中第二点的特征信息，所述第一图像中的第一点和所述第二图像中的第二点与所述第一场景中的同一点对应。13.一种模型的训练装置，其特征在于，所述模型的训练装置包括：获取模块，用于获取训练样本，所述训练样本中的多个图像包括第一场景在多个视角下的图像；处理模块，用于将所述训练样本输入第一模型中，通过所述第一模型进行特征提取，得到所述训练样本中每个图像的特征信息；训练模块...

【专利技术属性】
技术研发人员：杨昊，洪蓝青，李傲雪，胡天阳，李震国，王立威，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：