基于多模态特征人物属性标注方法、装置、设备及介质制造方法及图纸

本公开实施例中提供了一种基于多模态特征人物属性标注方法、装置、设备及介质，属于图像处理技术领域，具体包括：在预设时段内，检测目标视频内的全部人员对应的人脸特征数据和人体特征数据；根据人脸模型识别全部人脸特征数据，并将人脸模型识别为同一人的人脸特征数据标注相同的编号；将编号相同的人脸特征数据检测时刻对应的人体特征数据与编号关联；利用人体特征数据训练得到人体模型；根据人体模型识别全部人体特征数据并更新人脸模型。通过本公开的方案，自动识别并将识别为同一人的人脸特征数据标注相同的编号，再将对应的人体特征数据关联相同编号，再训练得到新的人体模型和人脸模型，提高了所述方法的标注效率、精准度和安全性。和安全性。和安全性。

【技术实现步骤摘要】
基于多模态特征人物属性标注方法、装置、设备及介质


[0001]本公开涉及图像处理
，尤其涉及一种基于多模态特征人物属性标注方法、装置、设备及介质。

技术介绍

[0002]目前，在当今社会，人工智能正在越来越多的领域发挥着巨大的作用。比如人脸识别，人体识别等等。这些技术能真正应用到实际场景，与深度学习技术的发展密不可分，而深度学习的基础，就是海量的带有标签的样本，现在获取数据的成本越来越低，面对海量的数据，如何给每个数据打上合适且正确的标签，成为了制约人工智能技术发展的瓶颈。现有的人物属性标注方法，需要依赖人工标注，费时费力，且由于人工操作失误，可能会出现标注不准确，以及，仅针对同一模态进行标注，若需要对其他模态进行标注，则意味着标注量的加倍增长，同时，在当今社会，越来越强调用户数据的隐私，这种人工看图片或者分发数据给外部标注人员的方式，给数据安全带来极大的不可控风险，造成用户的隐私泄漏。
[0003]可见，亟需一种高效精准且安全性强的基于多模态特征人物属性标注方法。

技术实现思路

[0004]有鉴于此，本公开实施例提供一种基于多模态特征人物属性标注方法、装置、设备及介质，至少部分解决现有技术中标注效率、精准度和安全性较低的问题。
[0005]第一方面，本公开实施例提供了一种基于多模态特征人物属性标注方法，包括：
[0006]在预设时段内，检测目标视频内的全部人员对应的人脸特征数据和人体特征数据；
[0007]根据人脸模型识别全部所述人脸特征数据，并将所述人脸模型识别为同一人的人脸特征数据标注相同的编号；
[0008]将所述编号相同的所述人脸特征数据检测时刻对应的人体特征数据与所述编号关联；
[0009]利用所述人体特征数据训练得到人体模型；
[0010]根据所述人体模型识别全部所述人体特征数据并更新所述人脸模型。
[0011]根据本公开实施例的一种具体实现方式，所述在预设时段内，检测目标视频内的全部人员对应的人脸特征数据和人体特征数据的步骤，包括：
[0012]获取所述预设时段内所述目标视频的每一帧图像；
[0013]提取全部所述图像内包含的人脸图像形成所述人脸特征数据，以及，提取全部所述图像内包含的人体图像形成所述人体特征数据。
[0014]根据本公开实施例的一种具体实现方式，所述根据人脸模型识别全部所述人脸特征数据，并将所述人脸模型识别为同一人的人脸特征数据标注相同的编号的步骤，包括：
[0015]将全部所述人脸特征数据输入所述人脸模型，得到全部所述人脸特征数据之间的匹配度；
[0016]判断所述匹配度是否大于阈值；
[0017]若所述匹配度大于所述阈值，则将所述匹配度对应的人脸特征数据为同一人并标注相同的编号；
[0018]若所述匹配度小于或等于所述阈值，则禁止将所述匹配度对应的人脸特征数据为同一人并标注相同的编号。
[0019]根据本公开实施例的一种具体实现方式，所述将所述编号相同的所述人脸特征数据检测时刻对应的人体特征数据与所述编号关联的步骤，包括：
[0020]获取所述编号相同的所述人脸特征数据对应的采集时刻；
[0021]获取所述采集时刻内所述人脸特征数据对应的人体特征数据；
[0022]将所述人体特征数据标注所述编号。
[0023]根据本公开实施例的一种具体实现方式，所述根据所述人体模型识别全部所述人体特征数据并更新所述人脸模型的步骤之后，所述方法还包括：
[0024]根据更新后的人脸模型和所述人体模型，对全部所述人脸特征数据和全部所述人体特征数据进行标注。
[0025]根据本公开实施例的一种具体实现方式，所述根据更新后的人脸模型和所述人体模型，对全部所述人脸特征数据和全部所述人体特征数据进行标注的步骤之后，所述方法还包括：
[0026]在所述预设时段内，识别全部所述人员对应的人物特征数据；
[0027]将所述人物特征数据与所述人员对应的编号关联。
[0028]第二方面，本公开实施例提供了一种基于多模态特征人物属性标注装置，包括：
[0029]检测模块，用于在预设时段内，检测目标视频内的全部人员对应的人脸特征数据和人体特征数据；
[0030]标注模块，用于根据人脸模型识别全部所述人脸特征数据，并将所述人脸模型识别为同一人的人脸特征数据标注相同的编号；
[0031]关联模块，用于将所述编号相同的所述人脸特征数据检测时刻对应的人体特征数据与所述编号关联；
[0032]训练模块，用于利用所述人体特征数据训练得到人体模型；
[0033]更新模块，用于根据所述人体模型识别全部所述人体特征数据并更新所述人脸模型。
[0034]根据本公开实施例的一种具体实现方式，所述关联模块还用于：
[0035]获取所述编号相同的所述人脸特征数据对应的采集时刻；
[0036]获取所述采集时刻内所述人脸特征数据对应的人体特征数据；
[0037]将所述人体特征数据标注所述编号。
[0038]第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
[0039]至少一个处理器；以及，
[0040]与该至少一个处理器通信连接的存储器；其中，
[0041]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的基于多模态特征人物属性标注方法。
[0042]第四方面，本公开实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的基于多模态特征人物属性标注方法。
[0043]第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的基于多模态特征人物属性标注方法。
[0044]本公开实施例中的基于多模态特征人物属性标注方案，包括：在预设时段内，检测目标视频内的全部人员对应的人脸特征数据和人体特征数据；根据人脸模型识别全部所述人脸特征数据，并将所述人脸模型识别为同一人的人脸特征数据标注相同的编号；将所述编号相同的所述人脸特征数据检测时刻对应的人体特征数据与所述编号关联；利用所述人体特征数据训练得到人体模型；根据所述人体模型识别全部所述人体特征数据并更新所述人脸模型。通过本公开的方案，根据人脸模型识别全部人脸特征数据，并将识别为同一人的人脸特征数据标注相同的编号，然后再将与人脸特征数据对应的人体特征数据与编号关联，然后再训练得到新的人体模型和人脸模型，提高了基于多模态特征人物属性标注方法的标注效率、精准度和安全性。
附图说明
[0045]为了更清楚地说明本公开实施例的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征人物属性标注方法，其特征在于，包括：在预设时段内，检测目标视频内的全部人员对应的人脸特征数据和人体特征数据；根据人脸模型识别全部所述人脸特征数据，并将所述人脸模型识别为同一人的人脸特征数据标注相同的编号；将所述编号相同的所述人脸特征数据检测时刻对应的人体特征数据与所述编号关联；利用所述人体特征数据训练得到人体模型；根据所述人体模型识别全部所述人体特征数据并更新所述人脸模型。2.根据权利要求1所述的方法，其特征在于，所述在预设时段内，检测目标视频内的全部人员对应的人脸特征数据和人体特征数据的步骤，包括：获取所述预设时段内所述目标视频的每一帧图像；提取全部所述图像内包含的人脸图像形成所述人脸特征数据，以及，提取全部所述图像内包含的人体图像形成所述人体特征数据。3.根据权利要求1所述的方法，其特征在于，所述根据人脸模型识别全部所述人脸特征数据，并将所述人脸模型识别为同一人的人脸特征数据标注相同的编号的步骤，包括：将全部所述人脸特征数据输入所述人脸模型，得到全部所述人脸特征数据之间的匹配度；判断所述匹配度是否大于阈值；若所述匹配度大于所述阈值，则将所述匹配度对应的人脸特征数据为同一人并标注相同的编号；若所述匹配度小于或等于所述阈值，则禁止将所述匹配度对应的人脸特征数据为同一人并标注相同的编号。4.根据权利要求2所述的方法，其特征在于，所述将所述编号相同的所述人脸特征数据检测时刻对应的人体特征数据与所述编号关联的步骤，包括：获取所述编号相同的所述人脸特征数据对应的采集时刻；获取所述采集时刻内所述人脸特征数据对应的人体特征数据；将所述人体特征数据标注所述编号。5.根据权利要求1所述的方法，其特征在于，所述根据所述人体模型识别全部所述人体特征数据并更新所述人脸模型的步骤之后，所述方法还包括：根据更新后的人脸模型...

【专利技术属性】
技术研发人员：张帆，
申请(专利权)人：北京赢识科技有限公司，
类型：发明
国别省市：