模型训练方法及其装置制造方法及图纸

本申请公开了一种模型训练方法及其装置，属于人工智能领域

【技术实现步骤摘要】
模型训练方法及其装置


[0001]本申请属于人工智能
，具体涉及一种模型训练方法及其装置
。

技术介绍

[0002]目前，电子设备可以通过神经网络得到图像中的匹配关键点，从而可以根据该匹配关键点进行定位和建图
。
相关技术中，电子设备可以通过附带稠密深度和相机位姿的图像对进行匹配关键点训练；具体的，电子设备可以通过稠密深度和相机位姿，将一幅图像中的关键点投影到另一幅图像中，从而确定图像对中关键点的真值匹配关系，进而根据该真值匹配关系得到与关键点匹配的匹配关键点
。
[0003]然而，上述方法对数据质量要求较高，即需要准确且稠密的深度信息，通常获取准确且稠密的深度的成本是极高的，如此，电子设备进行模型训练的成本较大
。

技术实现思路

[0004]本申请实施例的目的是提供一种模型训练方法及其装置，能够在不提高训练成本的同时，保证模型的准确性
。
[0005]第一方面，本申请实施例提供了一种模型训练方法，该模型训练方法包括：获取第一训练样本，该第一训练样本包括第一图像三元组，第一图像三元组中的每张图像对应一个拍摄视角，第一图像三元组中的每张图像包括同一拍摄对象；基于第一图像三元组中的每张图像中的关键点的图像特征信息，确定第一图像三元组中任意两张图像间同一匹配关键点之间的相似性信息；基于相似性信息，对匹配关键点定位模型进行训练；其中，该匹配关键点为每张图像中拍摄对象对应的关键点
。
[0006]第二方面，本申请实施例提供了一种模型训练装置，该模型训练装置包括：获取模块
、
确定模块和训练模块
。
获取模块，用于获取第一训练样本，该第一训练样本包括第一图像三元组，第一图像三元组中的每张图像对应一个拍摄视角，第一图像三元组中的每张图像包括同一拍摄对象
。
确定模块，用于基于第一图像三元组中的每张图像中的关键点的图像特征信息，确定第一图像三元组中任意两张图像间同一匹配关键点之间的相似性信息
。
训练模块，用于基于相似性信息，对匹配关键点定位模型进行训练；其中，关键点为每张图像中拍摄对象对应的关键点
。
[0007]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤
。
[0008]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤
。
[0009]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法
。
[0010]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法
。
[0011]在本申请实施例中，电子设备可以获取第一训练样本，该第一训练样本包括第一图像三元组，该第一图像三元组中的每张图像对应一个拍摄视角，该第一图像三元组中的每张图像包括同一拍摄对象；基于第一图像三元组中的每张图像中的关键点的图像特征信息，确定第一图像三元组中任意两张图像间同一匹配关键点之间的相似性信息；基于相似性信息，对匹配关键点定位模型进行训练；其中，匹配关键点为每张图像中拍摄对象对应的关键点
。
本方案中，由于训练样本中包含的图像三元组中包括三张不同视图的图像，因此，当电子设备借助图像三元组来对训练特征点提取模型进行训练时，便可以根据三张不同视图的图像来确定匹配关键点，所以，本方案中不需要采集成本高昂的稠密深度图像，也基于第一图像三元组中的三张不同视图的图像检测到关键点之间的匹配关系，从而实现训练特征点提取模型的训练
。
也即，本专利技术在降低了训练特征点提取模型时对采集的数据的要求的同时，也可以保证模型的准确性
。
附图说明
[0012]图1是相关技术中的一种极线示意图；
[0013]图2是本申请实施例提供的一种模型训练方法的流程图之一；
[0014]图3是本申请实施例提供的一种模型训练方法的流程图之二；
[0015]图4是本申请实施例提供的一种相机视锥的示意图；
[0016]图5是本申请实施例提供的一种模型训练方法的流程图之三；
[0017]图6是本申请实施例提供的一种极线投影的示意图之一；
[0018]图7是本申请实施例提供的一种极线投影的示意图之二；
[0019]图8是本申请实施例提供的一种模型训练方法的流程图之四；
[0020]图9是本申请实施例提供的一种模型训练装置的结构示意图之一；
[0021]图
10
是本申请实施例提供的一种模型训练装置的结构示意图之二；
[0022]图
11
是本申请实施例提供的一种模型训练装置的结构示意图之三；
[0023]图
12
是本申请实施例提供的一种电子设备的硬件结构示意图之一；
[0024]图
13
是本申请实施例提供的一种电子设备的硬件结构示意图之二
。
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围
。
[0026]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个
。
此外，说明书以及权利要求中“和
/
或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系
。
[0027]本申请的说明书和权利要求书中的术语“至少一个
(
项
)”、“至少之一”等指其包含对象中的任意一个
、
任意两个或两个以上的组合
。
例如，
a、b、c
中的至少一个
(
项
)
，可以表示：“a”、“b”、“c”、“a
和
b”、“a
和
c”、“b
和
c”以及“a、b
和
c”，其中
a
，
b
，...

【技术保护点】

【技术特征摘要】
1.
一种模型训练方法，其特征在于，所述方法包括：获取第一训练样本，所述第一训练样本包括第一图像三元组，所述第一图像三元组中的每张图像对应一个拍摄视角，所述第一图像三元组中的每张图像包括同一拍摄对象；基于所述第一图像三元组中的每张图像中的关键点的图像特征信息，确定所述第一图像三元组中任意两张图像间同一匹配关键点之间的相似性信息；基于所述相似性信息，对关键点定位模型进行训练；其中，所述关键点为所述每张图像中所述拍摄对象对应的关键点
。2.
根据权利要求1所述的方法，其特征在于，所述第一图像三元组包括参考图像
、
第一图像和第二图像；所述基于所述第一图像三元组中的每张图像中的关键点的图像特征信息，确定所述第一图像三元组中任意两张图像间同一匹配关键点之间的相似性信息之前，所述方法还包括：基于所述第一图像中的所有关键点与第一极线间的距离，从所述参考图像中确定与所述第一图像中的第一关键点对应的同一匹配关键点；基于所述第二图像中的所有关键点与第二极线间的距离，从所述参考图像中确定与所述第二图像中的第一关键点对应的同一匹配关键点；其中，所述第一极线为所述参考图像中的第一关键点投影到所述第一图像中的投影极线，所述第二极线为所述参考图像中的第一关键点投影到所述第二图像中的投影极线，所述第一关键点为所述参考图像中的任意一个关键点
。3.
根据权利要求1所述的方法，其特征在于，所述获取第一训练样本之后，所述方法还包括：计算所述第一图像三元组中任意两张图像间的图像重叠度；所述基于所述第一图像三元组中的每张图像中的关键点的图像特征信息，确定所述第一图像三元组中任意两张图像间同一匹配关键点之间的相似性信息，包括：在所述第一图像三元组中任意两张图像间的图像重叠度均大于或等于第一阈值的情况下，基于所述第一图像三元组中的每张图像中的关键点的图像特征信息，确定所述第一图像三元组中任意两张图像间同一匹配关键点之间的相似性信息
。4.
根据权利要求3所述的方法，其特征在于，所述第一图像三元组中的每张图像对应一个相机位姿和相机内参；所述计算所述第一图像三元组中任意两张图像间的图像重叠度，包括
:
根据第三图像对应的相机位姿和第四图像对应的相机位姿，得到所述第三图像与所述第四图像间的相对位姿信息；根据所述相对位姿信息
、
所述第三图像对应的成像视锥以及所述第四图像对应的成像视锥，确定所述第三图像与所述第四图像间的成像视锥的重叠体积；根据所述相对位姿信息以及所述第三图像对应的成像视锥，确定所述第三图像对应的成像视锥的三维体积；根据所述相对位姿信息以及所述第四图像对应的成像视锥，确定所述第四图像对应的成像视锥的三维体积；根据所述重复体积
、
所述第三图像对应的成像视锥的三维体积以及所述第四图像对应
的成像视锥的三维体积，得到所述第三图像与所述第四图像间的重叠度；其中，所述第三图像和所述第四图像为所述第一图像三元组中的任意两张图像
。5.
根据权利要求4所述的方法，其特征在于，所述根据所述相对位姿信息
、
所述第三图像对应的成像视锥以及所述第四图像对应的成像视锥，确定所述第三图像与所述第四图像间的成像视锥的重叠体积之前，所述方法还包括：基于第五图像对应的相机位姿，设置第一平面和第二平面，所述第一平面与所述相机之间的距离小于所述第二平面到所述相机之间的距离，所述第一平面包含所述的相机成像范围，所述第二平面包含所述的相机成像范围；基于所述第一平面与所述相机之间的距离
、
相机内参以及所述第一平面的宽和高，得到所述第一平面的顶点信息；基于所述第二平面与所述相机之间的距离
、
相机内参
、
和所述第二平面的宽和高，得到所述第二平面的顶点信息；基于所述第一平面的顶点信息和所述第二平面的顶点信息，得到所述第五图像对应的成像视锥；其中，所述第五图像为所述第一图像三元组中的任意一张图像
。6.

【专利技术属性】
技术研发人员：赵小铭，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：