计算设备和通过特征转换升级搜索服务的方法技术

一种用于执行视觉搜索的计算设备，包括视觉编码器模块，所述视觉编码器模块用于接收查询图像并生成结构化视觉表示，所述结构化视觉表示将所述查询图像表示为视觉属性的线性组合。所述计算设备还包括语音编码器模块，所述语音编码器模块用于接收包括一个或多个视觉属性修改的语音交互，并生成对应的语音嵌入。所述计算设备还包括变换模块，所述变换模块用于根据所述语音嵌入通过用经修改视觉属性替换一个或多个视觉属性来变换所述结构化视觉表示。所述计算设备还包括搜索模块，所述搜索模块用于根据所述经变换结构化视觉表示生成图像搜索查询，并根据所述图像搜索查询输出至少一个目标图像。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术大体上涉及视觉搜索领域；更具体地，涉及计算设备和通过特征转换升级搜索服务(例如，通过对话交互执行和升级视觉搜索)的方法。

技术介绍

1、在过去几十年中，出现了许多在线搜索平台、系统和技术。视觉搜索在其它搜索技术中越来越重要，因为它可以通过在网络上查找内容来提高用户的体验。但是，现有的视觉搜索技术在本质上是不灵活的，这使得执行视觉搜索查找相关结果非常麻烦。例如，在一些场景下，消费者可能需要在在线搜索平台上搜索特定的产品。例如，消费者可能需要在搜索平台上搜索特定颜色和设计的服装。在这种情况下，在整个产品目录中导航以在电子商务平台上视觉搜索所需的服装是一项繁琐的任务。此外，搜索平台可以根据一个或多个筛选器对产品进行排序，该一个或多个筛选器可以由消费者设置以实现细化的搜索结果。但是，这种细化的搜索结果可能包括大量可能与消费者无关的产品列表，从而使消费者难以搜索所需的产品。此外，在一些情况下，为了帮助消费者，搜索平台可以提供帮助，例如人类用户，或者可以使用机器人来引导消费者完成查找和购买合适产品的过程。消费者与人类用户或机器人之间的交互通常在在线聊天平台上本文档来自技高网...

【技术保护点】

1.一种用于执行视觉搜索的计算设备(102)，其特征在于，包括：

2.根据权利要求1所述的计算设备(102)，其特征在于，所述视觉编码器模块(104)为卷积网络或视觉变换器网络。

3.根据权利要求1或2所述的计算设备(102)，其特征在于，替换视觉属性包括：识别所述结构化视觉表示中的对应的视觉属性，移除所述识别的属性，并根据所述语音嵌入添加所述经修改视觉属性。

4.根据上述权利要求中任一项所述的计算设备(102)，其特征在于，所述变换模块(108)包括多层感知器，所述多层感知器包括每层之间的一个或多个ReLU激活。

5.根据上述权利要求中任...

【技术特征摘要】
【国外来华专利技术】

1.一种用于执行视觉搜索的计算设备(102)，其特征在于，包括：

2.根据权利要求1所述的计算设备(102)，其特征在于，所述视觉编码器模块(104)为卷积网络或视觉变换器网络。

3.根据权利要求1或2所述的计算设备(102)，其特征在于，替换视觉属性包括：识别所述结构化视觉表示中的对应的视觉属性，移除所述识别的属性，并根据所述语音嵌入添加所述经修改视觉属性。

4.根据上述权利要求中任一项所述的计算设备(102)，其特征在于，所述变换模块(108)包括多层感知器，所述多层感知器包括每层之间的一个或多个relu激活。

5.根据上述权利要求中任一项所述的计算设备(102)，其特征在于，响应于接收到第二语音交互：

6.一种训练根据上述权利要求中任一项所述的计算设备(102)的方法(400)，其特征在于，包括：

7.根据权利要求6所述的方法(400)，其特征在于，所述损失函数(202)还包括基于复合损失(204)、可识别性损失(206)和/或可分性损失(208)的一个或多个独立损失函数。

8.根据权利要求7所述的方法(400)，其特...

【专利技术属性】
技术研发人员：梅尔特·基利卡亚，夏柏强，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：