图像处理方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、设备及存储介质，可以应用于计算机视觉和自然语言处理技术领域。该方法包括提取目标图像的图像特征，其中，目标图像与目标对象相关；对目标图像中的目标对象进行对象属性检测，得到与目标对象对应的对象属性特征；根据注意力机制融合图像特征和对象属性特征，得到融合特征；根据融合特征，确定适用于表征目标对象的行为的描述文本。描述文本。描述文本。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质


[0001]本公开涉及计算机视觉和自然语言处理
，尤其涉及一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]在图像处理技术日益发展的情况下，图像处理广泛地应用于计算机视觉和自然语言处理等
图像处理是指针对指定的图片产生自然语句，以精确说明图片的涵盖的内容。
[0003]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：现有方法通过使用模型训练出来的图像特征，忽略了图像明确的高级语义概念，使得计算机很难有效地理解图像，进而导致生成的文本质量不高，内容比较单调，可解释性很差。

技术实现思路

[0004]鉴于上述问题，本公开提供了图像处理方法、装置、电子设备、计算机可读介质和计算机程序产品。
[0005]根据本公开的一个方面提供了一种图像处理方法，包括：提取目标图像的图像特征，其中，上述目标图像与目标对象相关；对上述目标图像中的目标对象进行对象属性检测，得到与上述目标对象对应的对象属性特征；根据注意力机制融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：提取目标图像的图像特征，其中，所述目标图像与目标对象相关；对所述目标图像中的目标对象进行对象属性检测，得到与所述目标对象对应的对象属性特征；根据注意力机制融合所述图像特征和所述对象属性特征，得到融合特征；根据所述融合特征，确定适用于表征所述目标对象的行为的描述文本。2.根据权利要求1所述的方法，还包括：对初始图像进行中心化处理，得到所述目标图像。3.根据权利要求1所述的方法，其中，所述对所述目标图像中的目标对象进行对象属性检测，得到与所述目标对象对应的对象属性特征包括：将所述目标图像输入至对象属性检测网络，输出与所述目标对象的对象属性对应的视觉词；对所述视觉词进行编码，得到所述对象属性特征。4.根据权利要求3所述的方法，其中，所述视觉词包括以下至少一项：表征所述目标对象的位置的视觉位置词、表征所述目标对象的姿势的视觉姿势词、表征所述目标对象的尺寸的视觉尺寸词。5.根据权利要求1所述的方法，其中，所述根据注意力机制融合所述图像特征和所述对象属性特征，得到融合特征包括：根据所述图像特征确定查询特征；根据所述对象属性特征确定键特征与值特征；将所述查询特征、所述键特征与所述值特征输入至注意力网络，输出所述融合特征。6.根据权利要求1所述的方法，其中，所述根据所述融合特征，确定适用于表征所述目标对象的行为的描述文本包括：将所述融合特征输入文本预测网络，输出所...

【专利技术属性】
技术研发人员：马兰，施耀一，李振，张少雄，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：