本发明专利技术涉及基于顾客动作的商品检索方法、装置、电子设备及存储介质，其中，基于顾客动作的商品检索方法包括如下步骤：获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；基于所述图像数据，进行动作识别；基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；基于所述商品类型，进行商品检索。本发明专利技术实施例的商品检索方法，可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。的体验。的体验。
【技术实现步骤摘要】
基于顾客动作的商品检索方法、装置及电子设备
[0001]本专利技术涉及计算机
，具体涉及一种基于顾客动作的商品检索方法、装置和电子设备以及计算机存储介质。
技术介绍
[0002]现有的可与顾客互动的广告屏，主要依据接收到的顾客的语音信息对商品信息进行检索并对顾客进行广告推送，然而，当顾客不太清楚所需要的商品的名称，或者顾客暂时想不起商品的具体名称，以及当顾客因为各种原因失声时，无法准确的通过语音与广告屏进行互动，以致于无法对顾客需要的商品信息进行检索。
技术实现思路
[0003]为解决上述技术问题，本专利技术的一个目的在于提供一种基于顾客动作的商品检索方法，该商品检索方法可基于顾客的动作对商品进行检索，从而当顾客不清楚所需要商品的名称或者失声时，也可以对顾客所需要的商品信息进行准确的检索，利于提高用户的体验。
[0004]本专利技术的另一个目的在于提供一种包括上述基于顾客动作的商品检索方法的基于顾客动作的商品推荐方法。
[0005]本专利技术的再一个目的在于提供一种实现上述基于顾客动作的商品检索方法的基于顾客动作的商品检索装置。
[0006]为达到上述目的，本专利技术采用如下技术方案：
[0007]根据本专利技术第一方面实施例的基于顾客动作的商品检索方法，包括如下步骤：
[0008]获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
[0009]基于所述图像数据，进行动作识别；
[0010]基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
[0011]基于所述商品类型，进行商品检索。
[0012]优选地，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
[0013]优选地，通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
[0014]优选地，所述商品与使用动作的映射关系通过如下方法得到：
[0015]分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
[0016]对于所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
[0017]将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的
映射关系。
[0018]优选地，所述商品检索方法还包括如下步骤：
[0019]获取所述顾客的图像数据的同时还获取该顾客的语音数据；
[0020]对于所述语音数据进行语义分析，得到语义分析结果；
[0021]基于所述语义分析结果，提取商品信息关键字；
[0022]在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
[0023]当验证准确后，基于所述商品类型进行商品检索。
[0024]优选地，基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
[0025]根据本专利技术第二方面实施例的基于顾客动作的商品推荐方法，包括如下步骤：
[0026]通过上述任一实施例所述的商品检索方法进行商品检索；
[0027]获取顾客图像；
[0028]基于所述顾客图像，提取用户特征，所述用户特征包括年龄、性别、服饰特征、体型特征中的一种或多种；
[0029]基于所述商品检索结果，与所述用户特征进行匹配，基于匹配结果向该顾客推荐商品。
[0030]根据本专利技术第三方面实施例的基于顾客动作的商品检索装置，包括：
[0031]获取模块，用于获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
[0032]动作识别模块，用于基于所述图像数据进行动作识别；
[0033]商品类型确定模块，用于基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
[0034]检索模块，用于基于所述商品类型，进行商品检索。
[0035]优选地，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。
[0036]优选地，所述动作识别模块通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。
[0037]优选地，所述商品与使用动作的映射关系通过映射关系形成装置得到，所述映射关系形成装置包括：
[0038]样本获取模块，用于分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；
[0039]动作识别模块，用于对所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；
[0040]映射关系确认模块，用于将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。
[0041]优选地，所述商品检索装置还包括：
[0042]语音采集模块，用于获取所述顾客的图像数据的同时还获取该顾客的语音数据；
[0043]语义分析模块，用于对于所述语音数据进行语义分析，得到语义分析结果；
[0044]商品信息关键字提取模块，用于基于所述语义分析结果，提取商品信息关键字；
[0045]验证模块，在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，
[0046]当验证准确后，所述检索模块基于所述商品类型进行商品检索。
[0047]优选地，所述商品类型确定模块还用于基于验证结果对于所述商品与使用动作的映射关系进行迭代更新。
[0048]根据本专利技术第四方面实施例的用于基于顾客的动作进行商品检索的电子设备，包括：
[0049]一个或多个处理器；
[0050]一个或多个存储器，其中存储了计算机可读代码，所述计算机可读代码当由所述一个或多个处理器执行时进行如下处理：
[0051]获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
[0052]基于所述图像数据，进行动作识别；
[0053]基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
[0054]基于所述商品类型，进行商品检索。
[0055]根据本专利技术第五方面实施例的计算机存储介质，其中存储了计算机可读代码，所述计算机可读代码当由一个或多个处理器执行时进行如下处理：
[0056]获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；
[0057]基于所述图像数据，进行动作识别；
[0058]基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；
[0059]基于所述商品类型，进行商品检索。
[0060]本专利技术的有益效果在于：
[0061]通过基于顾客的图像数据进行动作识别，并基于商品与使用动作的映射关系确定商品类型以进行商品检本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于顾客动作的商品检索方法，其特征在于，包括如下步骤：获取顾客的图像数据，所述图像数据包括一帧或多帧图片、视频中的任一种；基于所述图像数据，进行动作识别；基于动作识别结果，根据商品与使用动作的映射关系，确定商品类型；基于所述商品类型，进行商品检索。2.根据权利要求1所述的商品检索方法，其特征在于，所述动作识别包括手势识别、手部关键点识别、步态识别、人体姿态识别、手臂识别中的一种或多种。3.根据权利要求2所述的商品检索方法，其特征在于，通过动作识别模型进行所述动作识别，所述动作识别模型基于手势识别算法、手部关键点识别算法、步态识别算法、人体姿态识别算法、手臂识别算法中的一种或多种形成。4.根据权利要求3所述的商品检索方法，其特征在于，所述商品与使用动作的映射关系通过如下方法得到：分别获取多个商品样本以及分别使用各种商品样本时获得的使用动作图像数据样本；对于所述使用动作图像数据样本通过所述动作识别模型进行动作识别，获得使用动作；将多个商品样本与其对应的使用动作进行一一对应，形成所述商品与使用动作的映射关系。5.根据权利要求1所述的商品检索方法，其特征在于，还包括如下步骤：获取所述顾客的图像数据的同时还获取该顾客的语音数据；对于所述语音数据进行语义分析，得到语义分析结果；基于所述语义分析结果，提取商品信息关键字；在确定商品类型后，通过所述商品信息关键字验证该商品类型的准确性，当验证准确后，基于所述商品类型进行商品检索。6.根据权利要求5所述的商品检索方法，其特征在于，基于验证结果对于所述商品与使用动作的映射关系进行迭代更新...
【专利技术属性】
技术研发人员：韩奕，吕昊，
申请(专利权)人：上海依图信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。