机器学习模型训练方法和装置、场景图生成方法和装置制造方法及图纸

本公开提供一种机器学习模型训练方法和装置、场景图生成方法和装置，涉及人工智能领域。机器学习模型训练方法包括：提取样本图像中的第一目标特征信息；利用第一机器学习模型对第一目标特征信息和预设的重加权系数进行信息传递处理，以得到样本图像的第二目标特征信息；利用样本图像的第二目标特征信息生成第一场景图；利用第一场景图和样本图像的标注结果，生成第一损失函数；利用第一损失函数对第一机器学习模型进行训练。一机器学习模型进行训练。一机器学习模型进行训练。

【技术实现步骤摘要】
机器学习模型训练方法和装置、场景图生成方法和装置


[0001]本公开涉及人工智能领域，特别涉及一种机器学习模型训练方法和装置、场景图生成方法和装置。

技术介绍

[0002]场景图生成是利用图谱的形式将图像或视频中的目标以及目标之间的关系进行表征的技术。场景图包含多个三元组。每个三元组由两个节点(代表目标)和一条边(代表关系)组成。例如，图像中包括一个人和一辆自行车，可能的一个关系是这个人骑着自行车。
[0003]现有的场景图生成方法主要包括上下文信息建模的场景图方法。该方法使用基于图卷积网络的上下文信息传递来提升对物体和关系的识别准确性。

技术实现思路

[0004]专利技术人注意到，基于图卷积的上下文信息传递方法对于空间距离较近的目标会倾向于产生较大的关联响应。例如，目标A和目标B在语义上相差较远，但目标A和目标B的空间位置较近，从而无法准确区分开目标A和目标B，即导致出现目标表征混淆问题。
[0005]据此，本公开提供一种机器学习模型训练方案，通过对图像信号进行降噪，从而有效解决目标表征混淆问题。
[0006]根据本公开实施例的第一方面，提供一种机器学习模型训练方法，包括：提取样本图像中的第一目标特征信息；利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理，以得到所述样本图像的第二目标特征信息；利用所述样本图像的第二目标特征信息生成第一场景图；利用所述第一场景图和所述样本图像的标注结果，生成第一损失函数；利用第一损失函数对所述第一机器学习模型进行训练。
[0007]在一些实施例中，所述利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理包括：利用所述第一目标特征信息和所述重加权系数生成目标关联矩阵；利用所述第一目标特征信息和所述目标关联矩阵生成所述第二目标特征信息。
[0008]在一些实施例中，所述目标关联矩阵与所述重加权系数和所述第一目标特征信息的注意力评分结果的哈达玛Hadamard乘积相关联；所述第二目标特征信息与所述第一目标特征信息、所述目标关联矩阵与所述第一目标特征信息的乘积和预设目标特征信息之和相关联。
[0009]在一些实施例中，所述目标关联矩阵A
(k+1)
为：
[0010]A
(k+1)
＝Normalize(Ω
(k)
⊙
H(Y
(k)
))
[0011]其中，Normalize为归一化函数，Ω
(k)
为所述重加权系数，Y
(k)
为所述第一目标特征信息，H为注意力评分函数，
⊙
为Hadamard乘法算符；所述第二目标特征信息Y
(k+1)
为：
[0012]Y
(k+1)
＝AF1(a(Y
(k)
+A
(k+1)
Y
(k)
+Y
(0)
))
[0013]其中，AF1为激活函数，a为系数，Y
(0)
为所述预设目标特征信息。
[0014]在一些实施例中，上述方法还包括：利用所述第二机器学习模型对所述第二目标特征信息进行处理，以生成关系预测矩阵，其中所述关系预测矩阵中包括所述样本图像中每两个目标之间的关系预测特征；确定所述关系预测矩阵的最大秩；根据所述关系预测矩阵确定所述样本图像中各目标关系预测结果的交叉熵损失函数；根据所述交叉熵损失函数和所述关系预测矩阵的最大秩生成第二损失函数；利用第二损失函数对所述第一机器学习模型和所述第二机器学习模型进行训练。
[0015]在一些实施例中，所述第二特征信息包括所述样本图像中的每一个目标的目标特征，以及所述样本图像中的每两个特征的联合特征。
[0016]在一些实施例中，所述样本图像中第i个目标和第j个目标之间的关系预测特征与所述第i个目标的目标特征、所述第j个目标的目标特征、以及所述第i个目标和所述第j个目标的联合特征相关联，1≤i,j≤M，i≠j。
[0017]在一些实施例中，所述第i个目标和所述第j个目标之间的关系预测特征P
ij
为：
[0018]P
ij
＝AF2(W
r
(y
i
*y
j
*u
ij
)+f
ij
)
[0019]其中，AF2为激活函数，W
r
为关系预测函数，y
i
为所述第i个目标的目标特征，y
j
为所述第j个目标的目标特征，u
ij
为所述第i个目标和所述第j个目标的联合特征，f
ij
为所述第i个目标和所述第j个目标之间的关系类别的概率分布，*为特征融合算符。
[0020]在一些实施例中，特征融合算符*满足以下条件：
[0021]x*y＝AF3(W
x
x+W
y
y)
‑
(W
x
x
‑
W
y
y)
⊙
(W
x
x
‑
W
y
y)
[0022]其中，x为第一特征向量，y为第二特征向量，AF3为激活函数，W
x
为x的投影维度，W
y
为y的投影维度，
⊙
为Hadamard乘法算符。
[0023]在一些实施例中，所述确定所述关系预测矩阵的最大秩包括：将所述关系预测矩阵的L
2,1
范数的正则项作为所述关系预测矩阵的最大秩。
[0024]在一些实施例中，所述关系预测矩阵的L
2,1
范数的正则项||P||
2,1
为
[0025][0026]其中N、R为所述关系预测矩阵的维度。
[0027]在一些实施例中，所述第二损失函数为所述交叉熵损失函数和所述关系预测矩阵的最大秩的差值。
[0028]在一些实施例中，所述第二损失函数L
e
为
[0029][0030]其中，为所述交叉熵损失函数，1为权重系数，B为小批次内的组的个数，P
b
为第b组的关系预测矩阵，M
B
为所述小批次的预测向量，N
b
为第b组关系预测特征。
[0031]根据本公开实施例的第二方面，提供一种机器学习模型训练装置，包括：第一训练模块，被配置为提取样本图像中的第一目标特征信息；第二训练模块，被配置为利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理，以得到所述样本图像的第二目标特征信息；第三训练模块，被配置为利用所述样本图像的第二目标特
征信息生成第一场景图；第四训练模块，被配置为利用所述第一场景图和所述样本图像的标注结果，生成第一损失函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型训练方法，包括：提取样本图像中的第一目标特征信息；利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理，以得到所述样本图像的第二目标特征信息；利用所述样本图像的第二目标特征信息生成第一场景图；利用所述第一场景图和所述样本图像的标注结果，生成第一损失函数；利用第一损失函数对所述第一机器学习模型进行训练。2.根据权利要求1所述的方法，其中，所述利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理包括：利用所述第一目标特征信息和所述重加权系数生成目标关联矩阵；利用所述第一目标特征信息和所述目标关联矩阵生成所述第二目标特征信息。3.根据权利要求2所述的方法，其中，所述目标关联矩阵与所述重加权系数和所述第一目标特征信息的注意力评分结果的哈达玛Hadamard乘积相关联；所述第二目标特征信息与所述第一目标特征信息、所述目标关联矩阵与所述第一目标特征信息的乘积和预设目标特征信息之和相关联。4.根据权利要求3所述的方法，其中，所述目标关联矩阵A
(k+1)
为：A
(k+1)
＝Normalize(Ω
(k)
⊙
H(Y
(k)
))其中，Normalize为归一化函数，Ω
(k)
为所述重加权系数，Y
(k)
为所述第一目标特征信息，H为注意力评分函数，
⊙
为Hadamard乘法算符；所述第二目标特征信息Y
(k+1)
为：Y
(k+1)
＝AF1(a(Y
(k)
+A
(k+1)
Y
(k)
+Y
(0)
))其中，AF1为激活函数，a为系数，Y
(0)
为所述预设目标特征信息。5.根据权利要求1
‑
4中任一项所述的方法，还包括：利用所述第二机器学习模型对所述第二目标特征信息进行处理，以生成关系预测矩阵，其中所述关系预测矩阵中包括所述样本图像中每两个目标之间的关系预测特征；确定所述关系预测矩阵的最大秩；根据所述关系预测矩阵确定所述样本图像中各目标关系预测结果的交叉熵损失函数；根据所述交叉熵损失函数和所述关系预测矩阵的最大秩生成第二损失函数；利用第二损失函数对所述第一机器学习模型和所述第二机器学习模型进行训练。6.根据权利要求5所述的方法，其中，所述第二特征信息包括所述样本图像中的每一个目标的目标特征，以及所述样本图像中的每两个特征的联合特征。7.根据权利要求6所述的方法，其中，所述样本图像中第i个目标和第j个目标之间的关系预测特征与所述第i个目标的目标特征、所述第j个目标的目标特征、以及所述第i个目标和所述第j个目标的联合特征相关联，1≤i，j≤M，i≠j。8.根据权利要求7所述的方法，其中，
所述第i个目标和所述第j个目标之间的关系预测特征P
ij
为：P
ij
＝AF2(W
r
(y
i
*y
j
*u
ij
)+f
ij
)其中，AF2为激活函数，W
r
为关系预测函数，y
i
为所述第i个目标的目标特征，y
j
为所述第j个目标的目标特征，u
ij
为所述第i个目标和所述第j个目标的联合特征，f
ij
为所述第i个目标和所述第j个目标之间的关系类别的概率分布，*为特征融合算符。9.根据权利要求8所述的方法，其中，特征融合算符*满足以下条件：x*y＝AF3(W
x
x+W
y
y)

【专利技术属性】
技术研发人员：詹忆冰，林鑫，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：