数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：利用图像识别模型获取训练数据中的图像信息；所述图像信息包括所述训练数据中对象之间的关系特征以及所述关系特征对应的类别预测结果；利用所述关系特征更新多个预设关系类别之间的相关性；根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练。该技术方案能够感知和利用关系类别间相关性的强弱，来自适应调整用于训练图像识别模型的类别预测结果的损失权重，可以提升图像识别模型在训练数据集中关系类别呈长尾分布下的学习效果，并且能够克服图像识别模型的训练过程中训练数据集中关系类别呈长尾分布而导致的偏差。集中关系类别呈长尾分布而导致的偏差。集中关系类别呈长尾分布而导致的偏差。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及图像
，具体涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]场景图(scene graph)是视觉场景的一种表示方式，其主要涉及视觉场景中的目标、目标位置及目标之间的关系这三个要素。图像识别模型的训练过程中，通常情况下由于训练数据集中的关系类别呈长尾分布，也即具有少数几个关系类别的训练数据的数量在训练数据集中的占比较大例，例如具有“on”、“has”、“wearing”、“of”这四个关系类别的训练数据的数量在整个训练数据集中可能占68％，而具有其余大多数关系类别的训练数据的数量在整个训练数据集中的占比均小于1％。因此，导致使用上述训练数据集训练得到的图像识别模型仅在少数几个关系类别能够取得较好的识别效果，而对于其余关系类别的识别效果较差，致使上述图像识别模型难以应用于高阶的视觉任务。因此，如何训练得到能够克服长尾分布带来偏差的图像识别模型是本领域中需要解决的主要问题之一。

技术实现思路

[0003]本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。
[0004]第一方面，本公开实施例中提供了一种数据处理方法，包括：
[0005]利用图像识别模型获取训练数据中的图像信息；所述图像信息包括所述训练数据中对象之间的关系特征以及所述关系特征对应的类别预测结果；
[0006]利用所述关系特征更新多个预设关系类别之间的相关性；
[0007]根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练。
[0008]进一步地，利用图像识别模型获取训练数据中的图像信息，包括：
[0009]提取所述训练数据中所述对象的目标特征以及空间特征；
[0010]利用所述目标特征以及所述空间特征确定至少两个对象之间的所述关系特征；
[0011]根据所述关系特征确定所述关系特征对应的所述类别预测结果。
[0012]进一步地，利用所述目标特征以及所述空间特征确定至少两个对象之间的所述关系特征，包括：
[0013]根据所述空间特征确定至少两个对象的联合空间特征；
[0014]通过所述目标特征、所述空间特征以及所述联合空间特征确定所述至少两个对象之间的所述关系特征。
[0015]进一步地，利用所述关系特征更新多个预设关系类别之间的相关性，包括：
[0016]基于所述关系特征更新所述关系特征所属的所述预设关系类别的类别特征；
[0017]根据所述类别特征确定至少两个所述预设关系类别之间的相关性。
[0018]进一步地，利用所述关系特征更新多个预设关系类别之间的相关性，还包括：
[0019]获取所述关系特征的类别标签；
[0020]根据所述类别标签确定所述关系特征所属的所述预设关系类别。
[0021]进一步地，根据所述类别特征确定至少两个所述预设关系类别之间的相关性，包括：
[0022]根据所述类别特征之间的距离确定两个所述预设关系类别之间的相关性。
[0023]进一步地，根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练，包括：
[0024]根据所述关系特征所属的所述预设关系类别与至少一个其他所述预设关系类别之间的相关性确定所述关系特征对应的所述类别预测结果的损失权重；
[0025]利用所述损失权重对所述类别预测结果加权之后，调整所述图像识别模型的模型参数。
[0026]进一步地，根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练，包括：
[0027]根据加权后的所述类别预测结果与所述关系特征的类别标签之间的损失函数调整所述图像识别模型的模型参数。
[0028]第二方面，本公开实施例中提供了一种数据处理方法，包括：
[0029]获取待识别图像；
[0030]利用图像识别模型识别所述待识别图像中的图像信息；所述图像识别模型利用第一方面所述的方法得到。
[0031]第三方面，本公开实施例中提供了一种数据处理方法，包括：
[0032]获取训练数据；
[0033]调用预设服务接口，以便由所述预设服务接口利用图像识别模型获取训练数据中的图像信息，并利用所述关系特征更新多个预设关系类别之间的相关性，以及根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练；所述图像信息包括所述训练数据中对象之间的关系特征以及所述关系特征对应的类别预测结果；
[0034]输出所述图像识别模型。
[0035]第四方面，本公开实施例中提供了一种数据处理方法，包括：
[0036]获取待识别图像；
[0037]调用预设服务接口，以便由所述预设服务几口利用图像识别模型识别所述待识别图像中的图像信息；所述图像识别模型利用第一方面所述的方法得到；
[0038]输出所述图像信息。
[0039]第五方面，本公开实施例中提供了一种数据处理装置，包括：
[0040]第一获取模块，被配置为利用图像识别模型获取训练数据中的图像信息；所述图像信息包括所述训练数据中对象之间的关系特征以及所述关系特征对应的类别预测结果；
[0041]更新模块，被配置为利用所述关系特征更新多个预设关系类别之间的相关性；
[0042]训练模块，被配置为根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练。
[0043]第六方面，本公开实施例中提供了一种数据处理装置，包括：
[0044]第二获取模块，被配置为获取待识别图像；
[0045]识别模块，被配置为利用图像识别模型识别所述待识别图像中的图像信息；所述
图像识别模型利用第五方面所述的装置得到。
[0046]第七方面，本公开实施例中提供了一种数据处理装置，包括：
[0047]第三获取模块，被配置为获取训练数据；
[0048]第一调用模块，被配置为调用预设服务接口，以便由所述预设服务接口利用图像识别模型获取训练数据中的图像信息，并利用所述关系特征更新多个预设关系类别之间的相关性，以及根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练；所述图像信息包括所述训练数据中对象之间的关系特征以及所述关系特征对应的类别预测结果；
[0049]第一输出模块，被配置为输出所述图像识别模型。
[0050]第八方面，本公开实施例中提供了一种数据处理装置，包括：
[0051]第四获取模块，被配置为获取待识别图像；
[0052]第二调用模块，被配置为调用预设服务接口，以便由所述预设服务几口利用图像识别模型识别所述待识别图像中的图像信息；所述图像识别模型利用第五方面所述的装置得到；
[0053]第二输出模块，被配置为输出所述图像信息。
[0054]所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其中，包括：利用图像识别模型获取训练数据中的图像信息；其中，所述图像信息包括所述训练数据中对象之间的关系特征以及所述关系特征对应的类别预测结果；利用所述关系特征更新多个预设关系类别之间的相关性；根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练。2.根据权利要求1所述的方法，其中，利用图像识别模型获取训练数据中的图像信息，包括：提取所述训练数据中所述对象的目标特征以及空间特征；利用所述目标特征以及所述空间特征确定至少两个对象之间的所述关系特征；根据所述关系特征确定所述关系特征对应的所述类别预测结果。3.根据权利要求2所述的方法，其中，利用所述目标特征以及所述空间特征确定至少两个对象之间的所述关系特征，包括：根据所述空间特征确定至少两个对象的联合空间特征；通过所述目标特征、所述空间特征以及所述联合空间特征确定所述至少两个对象之间的所述关系特征。4.根据权利要求1-3任一项所述的方法，其中，利用所述关系特征更新多个预设关系类别之间的相关性，包括：基于所述关系特征更新所述关系特征所属的所述预设关系类别的类别特征；根据所述类别特征确定至少两个所述预设关系类别之间的相关性。5.根据权利要求4所述的方法，其中，利用所述关系特征更新多个预设关系类别之间的相关性，还包括：获取所述关系特征的类别标签；根据所述类别标签确定所述关系特征所属的所述预设关系类别。6.根据权利要求4所述的方法，其中，根据所述类别特征确定至少两个所述预设关系类别之间的相关性，包括：根据所述类别特征之间的距离确定两个所述预设关系类别之间的相关性。7.根据权利要求1-3、5任一项所述的方法，其中，根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练，包括：根据所述关系特征所属的所述预设关系类别与至少一个其他所述预设关系类别之间的相关性确定所述关系特征对应的所述类别预测结果的损失权重；利用所述损失权重对所述类别预测结果加权之后，调整所述图像识别模型的模型参数。8.根据权利要求1-3、5任一项所述的方法，其中，根据所述相关性对所述类别预测结果加权后，对所述图像识别模型进行训练，包括：根据加权后的所述类别预测结果与所述关系特征的类别标签之间的损失函数调整所述图像识别模型的模型参数。9.一种数据处理方法，包括：获取待识别图像；利用图像识别模型识别所述待识别图像中的图像信息；所述图像识别模型利用权利要
求1-8任一项所述的方法得到。10.一种数据处理方法...

【专利技术属性】
技术研发人员：严劭天，黄建强，申晨，欧进利，金仲明，肖征东，崔彦，李圣昱，臧春亭，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：