多模态电商商品对齐方法技术

本发明专利技术公开一种多模态电商商品对齐方法，包括：从多个渠道采集相同商品的第一数据；对不符合第一预设标准的第一数据，通过对齐技术进行纠正，得到第二数据；通过将第二数据中的商品图像和文字描述进行匹配校验，以判断第二数据是否符合第二预设标准，并将不符合第二预设标准的数据进行优化处理，得到第三数据；对第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将视觉特征向量和文本特征向量进行融合，得到商品的多模态特征向量；对多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据多模态特征表示来确定商品的最终特征表示和文字描述

【技术实现步骤摘要】
多模态电商商品对齐方法、装置、电子设备及存储介质


[0001]本专利技术涉及信息处理
，尤其涉及一种多模态电商商品对齐方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着互联网技术的不断发展和普及，电商平台已经成为了人们购物的主要渠道之一
。
消费者可以在电商平台上方便地浏览和比较不同品牌
、
不同型号的商品，同时也可以通过电商平台享受到更加便捷
、
快速的购物体验
。
电商平台的快速崛起也促进了物流
、
支付等相关产业的发展，为消费者提供了更加全面
、
便捷的服务
。
[0003]但是，在对现有技术的研究和实践中，本申请的专利技术人发现：在电商平台中，同一件商品可能会有多个模态的信息，如商品图片
、
商品描述
、
商品视频等
。
这些信息来源于不同的渠道，如商家上传
、
用户评价
、
第三方平台等，因此可能存在差异和矛盾
。
例如，商品图片可能与商品描述不符，商品视频可能展示的是不同的商品型号，这些差异和矛盾会给用户带来困扰，降低用户的购物体验和信任度
。
其中，就商家上传而言，如果商家发布过度美化的图片或者虚假描述或者把商品分在错误的品类中，就会导致商品品类监测的错误，进而极大地影响到市场的监测和分析，使得商品信息混乱
。
虽然现有技术中可以通过构建知识图谱的方式来解决多模态电商商品对齐的问题，但处理过程复杂且容易受到商品的冗余信息干扰，处理结果并不理想
。
[0004]因此，有必要提供一种多模态电商商品对齐方法，以解决上述问题
。

技术实现思路

[0005]为了解决上述提出的至少一个技术问题，本专利技术提供一种多模态电商商品对齐方法
、
装置
、
电子设备及存储介质
。
[0006]第一方面，提供了一种多模态电商商品对齐方法，所述方法包括：
[0007]从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述；对不符合第一预设标准的商品图像
、
文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据，包括：对过度美化的商品图像
、
或错误的商品图像，或虚假的文字描述
、
错误的文字描述以及重复的文字描述，进行去重和对齐处理；其中，所述错误的文字描述包括商品属性信息缺失和冲突；所述进行去重和对齐处理，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类
、
重复分类或未完整分类；对错误分类
、
重复分类或未完整分类的商品，纠正该商品的分类；具体的：识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值；针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强；通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优
化处理，并结合符合所述第二预设标准的第二数据，得到第三数据；
[0008]对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量；
[0009]对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示
。
[0010]在一种可能实现的方式中，所述识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值，包括：
[0011]根据商品的属性，采用图像识别技术或文本分类技术，对商品进行分类识别，得到每个类别中商品的数量；
[0012]对商品信息进行对齐调整纠正，规范商品的商品信息，统计每个类别中商品的数量，并记录下类别数量的变化，以得到每个类别中商品的数量和变化情况；
[0013]在确定类别数量变动超过预设的阈值，确定哪些类别发生了变化，以及哪些相关属性受到影响之，对文本与图像因素进行分析，确定变化的原因和内容；
[0014]根据分析结果进行总结，重点突出类别变动统计的情况
。
[0015]在一种可能实现的方式中，所述判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值，包括：
[0016]通过对商品属性进行分析，确定商品属性属于哪些类别；
[0017]获取商品数据，通过数据分析，得到商品所属的类别；
[0018]确定错误数量超过预设阈值的类别，进而根据商品属性，确定商品的真实价值，包括采用客观的方法获取商品的评价信息，判断商品的真实价值和评价信息
。
[0019]在一种可能实现的方式中，所述针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强，包括：
[0020]根据商品的类别和特点，确定特征增强的方式，包括：
[0021]针对服装
、
饰品类商品，采用图像增强技术来增强颜色和纹理的表现；具体的，获取商品的图像数据，并通过调整色彩平衡
、
增强对比度，得到鲜艳明亮的商品图像；
[0022]针对家具
、
玩具类商品，采用
3D
建模技术来增强商品的形状特征；具体的，通过获取商品的三维模型数据，确定商品的形状特征并进行精细化调整，得到形状清晰
、
逼真的商品图像；
[0023]针对材质特点的商品，采用物理模拟技术来增强商品的材质特征；具体的，获取商品的物理参数，通过物理模拟技术模拟商品在光照下的反射和折射情况，得到商品的光泽度和质感效果；
[0024]针对电子产品
、
家用电器类商品，采用声学模拟技术来增强商品的音效表现；具体的，获取商品的声学参数，通过声学模拟技术模拟商品的音质
、
音量，得到高品质的声音输出
。
[0025]在一种可能实现的方式中，所述通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据，包括：
[0026]通过匹配校验以判断所述第二数据中的商品图像和文字描述之间是否一致的和可信的，并对不一致和
/
或不可信的商品图像
、
文字描述进行优化处理，得到第三数据
。
[0027]在一种可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态电商商品对齐方法，其特征在于，所述方法包括：从多个渠道采集相同商品的第一数据，所述第一数据包括商品图像和文字描述；对不符合第一预设标准的商品图像
、
文字描述，通过对齐技术进行纠正，并结合符合所述第一预设标准的第一数据，得到第二数据，包括：对过度美化的商品图像
、
或错误的商品图像，或虚假的文字描述
、
错误的文字描述以及重复的文字描述，进行去重和对齐处理；其中，所述错误的文字描述包括商品属性信息缺失和冲突；所述进行去重和对齐处理，包括：将采用自动对齐技术对商品进行自动分类的结果与各个渠道呈现的分类结果进行比对，判断商品是否错误分类
、
重复分类或未完整分类；对错误分类
、
重复分类或未完整分类的商品，纠正该商品的分类；具体的：识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值；判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值；针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强；通过将所述第二数据中的商品图像和文字描述进行匹配校验，以判断所述第二数据是否符合第二预设标准，并将不符合所述第二预设标准的数据进行优化处理，并结合符合所述第二预设标准的第二数据，得到第三数据；对所述第三数据进行特征提取，得到商品的视觉特征向量和文本特征向量，并将所述视觉特征向量和所述文本特征向量进行融合，得到商品的多模态特征向量；对所述多模态特征向量进行建模和训练，得到商品的多模态特征表示，并根据所述多模态特征表示来确定商品的最终特征表示
。2.
根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述识别出哪些类别的商品，在对齐调整纠正后类别数量变动超过预设的阈值，包括：根据商品的属性，采用图像识别技术或文本分类技术，对商品进行分类识别，得到每个类别中商品的数量；对商品信息进行对齐调整纠正，规范商品的商品信息，统计每个类别中商品的数量，并记录下类别数量的变化，以得到每个类别中商品的数量和变化情况；在确定类别数量变动超过预设的阈值，确定哪些类别发生了变化，以及哪些相关属性受到影响之，对文本与图像因素进行分析，确定变化的原因和内容；根据分析结果进行总结，重点突出类别变动统计的情况
。3.
根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述判断纠正的类别中，哪种情况产生分类错误的概率大于预设的阈值，进一步判断什么商品引发商家过度美化的概率大于预设的阈值，包括：通过对商品属性进行分析，确定商品属性属于哪些类别；获取商品数据，通过数据分析，得到商品所属的类别；确定错误数量超过预设阈值的类别，进而根据商品属性，确定商品的真实价值，包括采用客观的方法获取商品的评价信息，判断商品的真实价值和评价信息
。4.
根据权利要求1所述的多模态电商商品对齐方法，其特征在于，所述针对品类造假的概率大于预设的阈值的类别的商品，进行特征增强，包括：根据商品的类别和特点，确定特征增强的方式，包括：针对服装
、
饰品类商品，采用图像增强技术来增强颜色和纹理的表现；具体的，获取商
品的图像数据，并通过调整色彩平衡
、
增强对比度，得到鲜艳明亮的商品图像；针对家具
、
玩具类商品，采用
3D
建模技术来增强商品的形状特征；具体的，通过获取商品的三维模型数据，确定商品的形状特征并进行精细化调整，得到形状清晰
、
逼真的商品图像；针对材质特点的商品，采用物理模拟技术来增强商品的材质特征；具体的，获取商品的物理参数，通过物理模拟技术模拟商品在光照下的反射和折射情况，得到商品的光泽度和质感效果；针对电子产品
、
家用电器类商品，采用声学模拟技术来增强商品的音效表现；具体的，获取商品的声学参数，通过声学模拟技术模拟商品的音质
、
音量，得到高品质的声音输出
。
确定商品的类别和属性
。5.
根据权利要求1所述的多模态电...

【专利技术属性】
技术研发人员：牟昊，邓钢清，何宇轩，徐亚波，李旭日，
申请(专利权)人：广州数说故事信息科技有限公司，
类型：发明
国别省市：