一种关联检测模型训练方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种关联检测模型训练方法、装置、存储介质及电子设备，其中方法包括：获取训练样本集合，截取训练样本的人手选择框得到子训练样本，将子训练样本输入手势识别模型，获取训练样本对应的交互手势概率值，获取手势识别模型的识别损失函数，基于识别损失函数更新手势识别模型的参数，直至模型收敛得到训练完成的手势识别模型，将训练样本输入关联检测模型，获取训练样本的特征图，将特征图与训练样本的人脸选择图和人手选择图进行融合，得到训练样本的融合特征图，基于融合特征图获取训练样本对应的交互概率值，获取关联检测模型的检测损失函数，基于检测损失函数更新关联检测模型的参数，直至模型收敛得到训练完成的关联检测模型。关联检测模型。关联检测模型。

【技术实现步骤摘要】
一种关联检测模型训练方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种关联检测模型训练方法、装置、存储介质及电子设备。

技术介绍

[0002]现如今，随着电子支付的普及，人们的日常生活中也逐渐适应了使用电子支付的方式进行购物，电子支付的手段除了通过扫描二维码等电子信息，还包括通过一些生物特征的识别以进行支付，例如脸部、指纹等。

技术实现思路

[0003]本说明书提供一种关联检测模型训练方法、装置、存储介质及电子设备，可以基于对人脸和人手的关联检测，确定训练样本对应的交互概率值为基于同一目标的人脸和人手得到的，提高交互概率值的可靠性和准确率，进而达到提高正确执行交互的准确率的效果。
[0004]第一方面，本申请实施例提供一种关联检测模型训练方法，所述方法包括：
[0005]获取训练样本集合，所述训练样本集合包括至少一张训练样本，所述训练样本为标识有人脸选择框、人手选择框和手势标签的图像数据；
[0006]截取所述训练样集合中各所述训练样本的所述人手选择框，得到各所述训练样对应的子训练样本，将各所述子训练样本分别输入至手势识别模型中，基于所述子训练样本和所述手势标签，获取所述训练样本对应的交互手势概率值；
[0007]获取所述手势识别模型的识别损失函数，基于所述识别损失函数和所述交互手势概率值对所述手势识别模型进行监督训练并迭代更新所述手势识别模型的模型参数，直至所述手势识别模型收敛，得到训练完成的手势识别模型；
[0008]将各所述训练样本输入关联检测模型中，获取各所述训练样本对应的特征图，将所述特征图与各所述训练样本对应的人脸选择图和人手选择图进行融合，得到各训练样本对应的融合特征图，基于所述融合特征图获取所述训练样本对应的交互概率值，所述交互概率值用于指示所述训练样本对应的交互意愿预测结果，所述人脸选择图和所述人手选择图分别为所述训练样本中框选出人脸和人手的图像数据；
[0009]获取所述关联检测模型的检测损失函数，基于所述检测损失函数和所述交互概率值对所述关联检测模型进行监督训练并迭代更新所述关联检测模型的模型参数，直至所述关联检测模型收敛，得到训练完成的关联检测模型。
[0010]第二方面，本申请实施例提供一种交互检测方法，所述方法包括：
[0011]采集图像数据，基于预先训练好的人脸检测模型和人手检测模型，得到所述图像数据对应的目标人脸图和目标人手图；
[0012]将所述目标人手图输入至采用上述的关联检测模型训练方法得到的训练完成的手势识别模型中，输出所述目标人手图对应的交互手势概率值；
[0013]获取预设手势概率值，当所述交互手势概率值大于或者等于所述预设手势概率值
时，将所述目标人脸图和所述目标人手图输入至采用上述的关联检测模型训练方法得到的训练完成的关联检测模型中，得到所述图像数据对应的交互概率值，基于所述交互概率值执行交互事务。
[0014]第三方面，本申请实施例提供一种关联检测模型训练装置，包括：
[0015]样本获取单元，用于获取训练样本集合，所述训练样本集合包括至少一张训练样本，所述训练样本为标识有人脸选择框、人手选择框和手势标签的图像数据；
[0016]手势识别训练单元，用于截取所述训练样集合中各所述训练样本的所述人手选择框，得到各所述训练样对应的子训练样本，将各所述子训练样本分别输入至手势识别模型中，基于所述子训练样本和所述手势标签，获取所述训练样本对应的交互手势概率值；
[0017]手势识别模型完成对应，用于获取所述手势识别模型的识别损失函数，基于所述识别损失函数和所述交互手势概率值对所述手势识别模型进行监督训练并迭代更新所述手势识别模型的模型参数，直至所述手势识别模型收敛，得到训练完成的手势识别模型；
[0018]关联检测训练单元，用于将各所述训练样本输入关联检测模型中，获取各所述训练样本对应的特征图，将所述特征图与各所述训练样本对应的人脸选择图和人手选择图进行融合，得到各训练样本对应的融合特征图，基于所述融合特征图获取所述训练样本对应的交互概率值，所述交互概率值用于指示所述训练样本对应的交互意愿预测结果，所述人脸选择图和所述人手选择图分别为所述训练样本中框选出人脸和人手的图像数据；
[0019]关联检测模型完成单元，用于获取所述关联检测模型的检测损失函数，基于所述检测损失函数和所述交互概率值对所述关联检测模型进行监督训练并迭代更新所述关联检测模型的模型参数，直至所述关联检测模型收敛，得到训练完成的关联检测模型。
[0020]第四方面，本申请实施例提供一种交互检测装置，包括：
[0021]图像获取单元，用于采集图像数据，基于预先训练好的人脸检测模型和人手检测模型，得到所述图像数据对应的目标人脸图和目标人手图；
[0022]手势识别单元，用于将所述目标人手图输入至采用上述的关联检测模型训练方法得到的训练完成的手势识别模型中，输出所述目标人手图对应的交互手势概率值；
[0023]关联检测单元，用于获取预设手势概率值，当所述交互手势概率值大于或者等于所述预设手势概率值时，将所述目标人脸图和所述目标人手图输入至采用上述的关联检测模型训练方法得到的训练完成的关联检测模型中，得到所述图像数据对应的交互概率值，基于所述交互概率值执行交互事务。
[0024]第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品存储有至少一条指令，所述至少一条指令适于由处理器加载并执行上述的方法步骤。
[0025]第六方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。
[0026]第七方面，本申请实施例提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。
[0027]在本申请实施例中，通过获取训练样本，截取训练样本中的人手选择框得到子训练样本，基于子训练样本获取对应的交互手势概率值，以达到确定训练样本的交互手势是否具有交互意图的效果；获取手势识别模型的识别损失函数基于识别损失函数对手势识别
模型进行参数更新，以得到模型收敛后训练完成的手势识别模型；将训练样本输入至关联检测模型，得到训练样本对应的交互概率值，并根据关联检测模型的检测损失函数对关联检测模型进行参数更新，以得到收敛后训练完成的关联检测模型，从而实现对人脸和人手的关联检测，确定训练样本对应的交互概率值为基于同一目标的人脸和人手得到的，提高交互概率值的可靠性和准确率，进而达到提高正确执行交互的准确率的效果。
附图说明
[0028]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关联检测模型训练方法，所述方法包括：获取训练样本集合，所述训练样本集合包括至少一张训练样本，所述训练样本为标识有人脸选择框、人手选择框和手势标签的图像数据；截取所述训练样集合中各所述训练样本的所述人手选择框，得到各所述训练样对应的子训练样本，将各所述子训练样本分别输入至手势识别模型中，基于所述子训练样本和所述手势标签，获取所述训练样本对应的交互手势概率值；获取所述手势识别模型的识别损失函数，基于所述识别损失函数和所述交互手势概率值对所述手势识别模型进行监督训练并迭代更新所述手势识别模型的模型参数，直至所述手势识别模型收敛，得到训练完成的手势识别模型；将各所述训练样本输入关联检测模型中，获取各所述训练样本对应的特征图，将所述特征图与各所述训练样本对应的人脸选择图和人手选择图进行融合，得到各训练样本对应的融合特征图，基于所述融合特征图获取所述训练样本对应的交互概率值，所述交互概率值用于指示所述训练样本对应的交互意愿预测结果，所述人脸选择图和所述人手选择图分别为所述训练样本中框选出人脸和人手的图像数据；获取所述关联检测模型的检测损失函数，基于所述检测损失函数和所述交互概率值对所述关联检测模型进行监督训练并迭代更新所述关联检测模型的模型参数，直至所述关联检测模型收敛，得到训练完成的关联检测模型。2.根据权利要求1所述的方法，所述截取所述训练样集合中各所述训练样本的所述人手选择框，得到各所述训练样对应的子训练样本，将各所述子训练样本分别输入至手势识别模型中，基于所述子训练样本和所述手势标签，获取所述训练样本对应的交互手势概率值，包括：截取所述训练样本集合中各所述训练样本对应的人手选择框，将各所述人手选择框作为各训练样本对应的子训练样本；将所述子训练样本输入手势识别模型中，基于所述子训练样和所述子训练样对应的手势标签获取各子训练样本对应的交互手势概率值，所述交互手势概率值用于指示所述训练样本为交互手势的识别结果。3.根据权利要求1所述的方法，所述获取所述手势识别模型的识别损失函数，基于所述识别损失函数和所述交互手势概率值对所述手势识别模型进行监督训练并迭代更新所述手势识别模型的模型参数，直至所述手势识别模型收敛，得到训练完成的手势识别模型，包括：获取所述手势识别模型的识别损失函数和输入所述手势识别模型的子训练样本的第一样本数量以及第一预设训练数量；当所述第一样本数量大于或者等于所述第一预设训练数量时，基于所述识别损失函数和所述交互手势概率值对所述手势识别模型进行监督训练并迭代更新所述手势识别模型的模型参数；当所述手势识别模型收敛时，得到训练完成的手势识别模型。4.根据权利要求1所述的方法，所述将各所述训练样本输入关联检测模型中，获取各所述训练样本对应的特征图，将所述特征图与各所述训练样本对应的人脸选择图和人手选择图进行融合，得到各训练样本对应的融合特征图，基于所述融合特征图获取所述训练样本
对应的交互概率值，包括：将各训练样本分别输入至关联检测模型中的特征提取模块，得到所述训练样本对应的特征图；获取所述训练样本对应的人脸选择图和人手选择图，将所述人脸选择图和所述人手选择图进行降分辨率，以得到所述人脸选择图对应的人脸模糊图和所述人手选择图对应的人手模糊图；将所述人脸模糊图、所述人手模糊图和所述特征图同时输入所述关联检测模型中的融合模块，得到融合特征图；将所述融合特征图输入至所述关联检测模型中的预测模块，得到所述融合特征图对应的交互概率值。5.根据权利要求1所述的方法，所述获取所述关联检测模型的检测损失函数，基于所述检测损失函数和所述交互概率值对所述关联检测模型进行监督训练并迭代更新所述关联检测模型的模型参数，直至所述关联检测模型收敛，得到训练完成的关联检测模型，包括：获取关联检测模型的检测损失函数和输入所述关联检测模型的训练样本...

【专利技术属性】
技术研发人员：尹英杰，丁菁汀，李亮，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：