本申请涉及一种商品图像特征表示方法及其装置、设备、介质、产品，所述方法包括：获取商品图像；将所述商品图像输入预设的图像特征提取模型的图像编码器中提取其深层语义信息，获得相应的语义特征图；采用所述图像特征提取模型中的特征优化网络，应用多个窗口对所述语义特征图进行分割获得多个特征子图并分别压缩为特征向量，其中部分特征子图之间包含相同的特征区域；采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息。本申请为商品图像提取出的图像特征信息能获得更强的鲁棒性，能够通过语义特征放大不同的商品图像之间的细微差别，从而在进行基于商品图像的商品检索的应用场景中，获得更为精准的检索结果。更为精准的检索结果。更为精准的检索结果。
【技术实现步骤摘要】
商品图像特征表示方法及其装置、设备、介质、产品
[0001]本申请涉及电商信息技术，尤其涉及一种商品图像特征表示方法及其装置、设备、介质、产品。
技术介绍
[0002]随着科学技术的发展，通过拍照物体照片搜索相关商品的需求越来越大，例如用户用过买家秀
‑
卖家秀的商品检索进行商品购买、商家通过对热销商品拍照搜索拿到相应货源来进货等等。因此，商品图像的检索是至关重要的步骤,商品图像的理解识别是重中之重的核心环节。
[0003]理解图像的技术中，常采用深层的卷积神经网络来实施，卷积神经网络具有较强的语义抽象理解能力，不仅可以很好地将商品的图像信息映射到高维空间得到商品的高维表示，还能较好的抑制背景噪声。
[0004]但是，目前各种基于卷积神经网络的图像特征抽取技术，通常对应整张图像所提取的语义信息较为机械，在表示相似内容的不同图像的语义特征时会出现鲁棒性差，特征区分不明显等现象，其原因在于相关神经网络在处理整张图像时是相对均等地处理所述图像中的图像信息的，因而，难以有效挖掘并强化出其中重点区域的特征。
[0005]这种现象在应用到电商平台的商品图像理解识别的场景中时，对于具有相似特点的商品图像之间的区分度较弱，使得例如相同型号不同样式的商品图像容易被视为相同图像，从而导致检索出错等现象。因而，针对商品图像的特征表示技术，需要改进现有的技术方案。
技术实现思路
[0006]本申请的目的在于解决上述问题而提供一种商品图像特征表示方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。
[0007]根据本申请的一个方面，提供一种商品图像特征表示方法，包括如下步骤：
[0008]获取商品图像；
[0009]将所述商品图像输入预设的图像特征提取模型的图像编码器中提取其深层语义信息，获得相应的语义特征图；
[0010]采用所述图像特征提取模型中的特征优化网络，应用多个窗口对所述语义特征图进行分割获得多个特征子图并分别压缩为特征向量，其中部分特征子图之间包含相同的特征区域；
[0011]采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息。
[0012]可选的，应用多个窗口对所述语义特征图进行分割获得多个特征子图并分别压缩为特征向量，包括：
[0013]根据预设的尺度确定窗口大小，根据预设的不同位置信息应用相应的窗口从所述
语义特征图中分割出多个特征子图，其中一个特征子图与其他任意一个特征子图之间局部特征区域重叠；
[0014]分别对各个特征子图实施池化操作实现特征压缩，获得初始的特征向量；
[0015]将所述初始的特征向量分别进行全连接后归一化为最终的特征向量。
[0016]可选的，采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息，包括：
[0017]将所述多个特征向量取均值实现融合，获得所述商品图像的图像特征信息；
[0018]或者，
[0019]将所述多个特征向量加权求和实现融合，获得所述商品图像的图像特征信息。
[0020]可选的，采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息之后，包括：
[0021]将所述商品图像作为待查商品图像，计算待查商品图像的图像特征信息与商品数据库中的每个商品图像的图像特征信息之间的语义相似度，所述商品数据库中的每个商品图像的图像特征信息预先采用所述图像特征提取模型生成；
[0022]筛选出所述商品数据库中所述语义相似度相对较高的部分商品图像，获取该部分商品图像相对应的来源商品的商品信息，构造为商品信息列表；
[0023]输出所述商品信息列表。
[0024]可选的，将所述商品图像输入预设的图像特征提取模型的图像编码器中提取其深层语义信息，获得相应的语义特征图之前，启动对所述图像特征提取模型的训练过程，包括：
[0025]将所述图像特征提取模型后接分类器构成模型训练架构；
[0026]基于所述模型训练架构，采用预设的训练数据集，对所述图像特征提取模型实施分类任务训练，将其训练至收敛状态；所述训练数据集中包含多个训练样本及其监督标签，所述训练样本为商品图像。
[0027]可选的，基于所述模型训练架构，采用预设的训练数据集，对所述图像特征提取模型实施分类任务训练，将其训练至收敛状态，包括：
[0028]调用所述训练数据集中单个训练样本输入所述图像特征提取模型确定出所述训练样本的图像特征信息；
[0029]采用所述模型训练架构中的分类器根据所述图像特征信息获得其映射到预设的分类空间中各个类别的分类概率作为分类结果；
[0030]采用所述训练样本相对应的监督标签计算所述分类结果的总体损失值，在模型训练架构未达到收敛状态时，根据总体损失值对模型训练架构实施梯度更新，并调用下一训练样本实施迭代训练直至收敛状态。
[0031]可选的，采用所述训练样本相对应的监督标签计算所述分类结果的总体损失值，包括：
[0032]采用所述监督标签计算所述图像特征信息相对应的第一损失值；
[0033]计算所述图像特征提取模型生成的用于构造所述图像特征信息的两两特征向量之间的数据距离，并求取所有数据距离的均值作为第二损失值；
[0034]融合所述第一损失值和第二损失值获得所述总体损失值。
[0035]根据本申请的另一方面，提供一种商品图像特征表示装置，包括：
[0036]图像获取模块，设置为获取商品图像；
[0037]语义提取模块，设置为将所述商品图像输入预设的图像特征提取模型的图像编码器中提取其深层语义信息，获得相应的语义特征图；
[0038]特征优化模块，设置为采用所述图像特征提取模型中的特征优化网络，应用多个窗口对所述语义特征图进行分割获得多个特征子图并分别压缩为特征向量，其中部分特征子图之间包含相同的特征区域；
[0039]特征融合模块，设置为采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息。
[0040]根据本申请的另一方面，提供一种商品图像特征表示设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的商品图像特征表示方法的步骤。
[0041]根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的商品图像特征表示方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。
[0042]根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。
[0043]相对于现有技术，本申请在利用图像特征提取模型中的图像编码器提取出商品图像的语义特征图之后，进一步利用特征优化网络对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种商品图像特征表示方法，其特征在于，包括：获取商品图像；将所述商品图像输入预设的图像特征提取模型的图像编码器中提取其深层语义信息，获得相应的语义特征图；采用所述图像特征提取模型中的特征优化网络，应用多个窗口对所述语义特征图进行分割获得多个特征子图并分别压缩为特征向量，其中部分特征子图之间包含相同的特征区域；采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息。2.根据权利要求1所述的商品图像特征表示方法，其特征在于，应用多个窗口对所述语义特征图进行分割获得多个特征子图并分别压缩为特征向量，包括：根据预设的尺度确定窗口大小，根据预设的不同位置信息应用相应的窗口从所述语义特征图中分割出多个特征子图，其中一个特征子图与其他任意一个特征子图之间局部特征区域重叠；分别对各个特征子图实施池化操作实现特征压缩，获得初始的特征向量；将所述初始的特征向量分别进行全连接后归一化为最终的特征向量。3.根据权利要求1所述的商品图像特征表示方法，其特征在于，采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息，包括：将所述多个特征向量取均值实现融合，获得所述商品图像的图像特征信息；或者，将所述多个特征向量加权求和实现融合，获得所述商品图像的图像特征信息。4.根据权利要求1所述的商品图像特征表示方法，其特征在于，采用所述图像特征提取模型中的融合网络将所有特征向量融合为所述商品图像的图像特征信息之后，包括：将所述商品图像作为待查商品图像，计算待查商品图像的图像特征信息与商品数据库中的每个商品图像的图像特征信息之间的语义相似度，所述商品数据库中的每个商品图像的图像特征信息预先采用所述图像特征提取模型生成；筛选出所述商品数据库中所述语义相似度相对较高的部分商品图像，获取该部分商品图像相对应的来源商品的商品信息，构造为商品信息列表；输出所述商品信息列表。5.根据权利要求1至4中任意一项所述的商品图像特征表示方法，其特征在于，将所述商品图像输入预设的图像特征提取模型的图像编码器中提取其深层语义信息，获得相应的语义特征图之前，启动对所述图像特征提取模型的训练过程，包括：将所述图像特征提取模型后接分类器构成模型训练架构；基于所述模型训练架构，采用预设的训练...
【专利技术属性】
技术研发人员：李保俊，
申请(专利权)人：广州欢聚时代信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。