数据特征的获取方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据特征的获取方法、装置、电子设备及存储介质，包括：获取包括图像信息和文本信息的多媒体样本；分别提取图像信息的第一图像特征以及文本信息的第一文本特征；将第一图像特征和第一文本特征导入注意力机制模型，输出基于第一图像特征的注意力的第二文本特征，和/或基于第一文本特征的注意力的第二图像特征。本申请基于注意力机制，捕捉第一图像特征和第一文本特征之间的关联性，并得到应用了注意力机制的第二文本特征和/或第二图像特征，使得第二文本特征和第二图像特征包括了图像信息和文本信息之间的关联性，本申请获取的应用了注意力机制的特征是基于一个端到端的注意力机制模型实现的，减少了应用场景对多模型的依赖。

【技术实现步骤摘要】
数据特征的获取方法、装置、电子设备及存储介质
本申请实施例涉及图像分类
，尤其涉及一种数据特征的获取方法、装置、电子设备及存储介质。
技术介绍
近来，随着深度学习技术在多媒体样本分类处理等相关领域的广泛应用，使得移动终端的应用开发出来很多的多媒体样本分类功能，优化了应用的信息展示、推荐等功能，提高了用户体验度。相关技术中，在现实的场景中，一般用户在上传一张图像之后，还会对这张图像增加一段简单的文字描述，目前的图像分类功能是基于图像和对应的文字描述，采用后融合技术进行处理，得到对应的特征，该特征可用于进行关联有文字描述的图像进行标签分类的操作，获取特征的操作具体为，根据图像、文字描述的特征点分布，计算出一个预测结果，然后再对预测结果通过不同的模型进行后处理，分别得到对应的特征。但是，目前方案中，采用后融合技术提取图像以及文本的特征，是基于不同且相互独立的模型所分别做的单独处理，并不能有效利用多媒体样本中图像以及文本之间的相关性，并且，由于每个模型单独优化，不同的模型处理速度可能不一样，导致最终的效率依赖于处理效率最慢的模型，降低了处理的效率。
技术实现思路
本申请实施例提供一种数据特本文档来自技高网...

【技术保护点】
1.一种数据特征的获取方法，其特征在于，所述方法包括：获取多媒体样本，所述多媒体样本包括图像信息和文本信息；分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征；将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二图像特征。

【技术特征摘要】
1.一种数据特征的获取方法，其特征在于，所述方法包括：获取多媒体样本，所述多媒体样本包括图像信息和文本信息；分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征；将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和/或基于所述第一文本特征的注意力的第二图像特征。2.根据权利要求1所述的方法，其特征在于，在所述将所述第一图像特征和所述第一文本特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第二文本特征，和基于所述第一文本特征的注意力的第二图像特征之后，还包括：将所述第二文本特征和所述第二图像特征进行特征合并，得到所述多媒体样本的第一合并特征。3.根据权利要求2所述的方法，其特征在于，在所述分别提取所述图像信息的第一图像特征以及所述文本信息的第一文本特征之后，所述方法还包括：将所述第一图像特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第三图像特征；将所述第一文本特征导入注意力机制模型，输出基于所述第一文本特征的注意力的第三文本特征。4.根据权利要求3所述的方法，其特征在于，所述将所述第二文本特征和所述第二图像特征进行特征合并，得到所述合并特征，包括：将所述第二文本特征、所述第二图像特征、所述第三图像特征和所述第三文本特征进行特征合并，得到所述多媒体样本的第二合并特征。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：将所述第二合并特征导入标签分类模型，输出所述第二合并特征对应的分类标签。6.根据权利要求3所述的方法，其特征在于，所述将所述第一图像特征导入注意力机制模型，输出基于所述第一图像特征的注意力的第三图像特征，包括：将所述第一图像特征平均池化，得到对应的第一图像特征向量；将...

【专利技术属性】
技术研发人员：张志伟，王希爱，王树强，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11