一种自动驾驶售货车及其人机交互方法技术

本发明专利技术涉及无人车、自动驾驶及无人驾驶技术领域，提供了一种自动驾驶售货车及其人机交互方法，该人机交互方法包括：识别购买用户和该购买用户的位置；该购买用户进行付款；根据摄像头实时获取的图像，识别出该购买用户的人手位置；将该购买用户购买的物品送到该购买用户的人手位置；通过语音提示该购买用户抬手或张开手掌，并通过摄像头实时获取的图像调整送出的物品坐标，直至该购买用户获得其购买的物品。本发明专利技术提供的人机交互方法适用于多种特殊人群(如盲人、聋哑人和行动不便的残疾人)的购物，提高了自动驾驶售货车的实用性，实现了无接触购物，提高了公共卫生安全性。

【技术实现步骤摘要】
一种自动驾驶售货车及其人机交互方法
本专利技术涉及无人车、自动驾驶及无人驾驶领域，具体涉及一种自动驾驶售货车及其人机交互方法。
技术介绍
生活中的公共场合，如车站、广场、商场等地，出行人群众多，包括有盲人，盲人通常具备灵敏的触觉和听觉，他们当中有一部分人仅仅是存在视觉障碍，但是没有听觉障碍和语音障碍，他们可在实体店购置水、饮料、零食等商品，可通过借助触觉和听觉进行商品的识别、购买和支付，但这只能借助盲人单方面的灵敏性完成商品交易，盲人在公共场合的实体店购置商品并不方便快捷。盲人还可通过公共场合的无人售货机进行购物，但现有的无人售货机，其操作流程、操作步骤提示，均是通过触摸人机交互设备进行信息提醒的，盲人根本无法顺利购物，即便是有声音提示，但是盲人依然无法准确地按下触摸人机交互设备的按键。可见，现有的无人售货机，也同样不能给盲人的购物带来方便，同时在当下疫情期间，传统支付方式如现金、刷卡、触摸屏操作等直接或间接接触，会造成一定的卫生安全隐患。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种自动驾驶售货车及其人机交互方法，该人机交互方法适用于存在视觉障碍，但是没有听觉障碍和语音障碍的盲人进行购物，提高了自动驾驶售货车的实用性和公共卫生安全性。一方面本专利技术提供了一种用于自动驾驶售货车的人机交互方法，其中包括：识别购买用户和该购买用户的位置；该购买用户进行付款；获取该购买用户的手的位置，结合语音提示将购买用户购买的物品送到该购买用户。优选地，前述获取该购买用户的手的位置，结合语音提示将购买用户购买的物品送到前述购买用户包括：根据实时获取的图像，识别出该购买用户的手的位置；将该购买用户购买的物品送到该购买用户的手的位置；通过语音提示该购买用户抬手或张开手掌，并根据前述图像调整送出的物品坐标，直至该购买用户获得其购买的物品。优选地，前述将该购买用户购买的物品送到该购买用户的手的位置包括：根据识别出的购买用户的手的位置，控制机械手臂或移动升降台将该购买用户购买的物品送到该购买用户的手的位置。优选地，前述根据实时获取的图像，识别出该购买用户的手的位置包括：根据摄像头实时获取的图像，通过成像控制系统调整摄像头；并根据前述图像准确识别出该购买用户的手的位置。优选地，前述购买用户进行付款包括：实时获取该自动驾驶售货车周围的图像；对前述图像进行处理识别出该购买用户的人脸图像；以及通过成像控制系统调整前述摄像头，以获得购买用户清晰完整的正脸图像。优选地，前述通过成像控制系统调整前述摄像头包括：根据前述图像切换不同的摄像头，或调整前述摄像头的参数，该参数包括前述摄像头的位置、角度和焦距。优选地，在识别购买用户和该购买用户的位置后该人机交互方法还包括：确定该自动驾驶售货车与购买用户的位置之间的距离，如果该距离大于预设距离，自动驾驶售货车以该购买用户的位置规划行进路线，前往该购买用户的位置；如果该距离小于或等于预设距离，根据该购买用户的位置调整自动驾驶售货车的位置。另一方面本专利技术还提供了一种自动驾驶售货车，包括厢体、控制器和位于厢体上的机械手臂或移动升降台，以及语音识别系统，用于获取购买用户的语音信息和播报该语音识别系统生成的语音提示；摄像头，用于实时获取该自动驾驶售货车周围的图像；其中，控制器分别与语音识别系统和摄像头连接，用于：对前述语音信息进行处理；根据语音提示和从前述图像中识别出的购买用户的人脸图像完成付款；以及根据语音提示和从前述图像中识别出购买用户的手的位置，调整机械手臂或移动升降台送出的物品坐标，直到将该购买用户购买的物品送到该购买用户。优选地，前述自动驾驶售货车还包括：成像控制系统，与前述摄像头连接，用于根据前述图像切换不同的摄像头，或调整摄像头的参数，该参数包括摄像头的位置、角度和焦距。优选地，前述自动驾驶售货车还包括：人机交互设备，用于在该自动驾驶售货车无人机交互的状态下，对该自动驾驶售货车中物品的信息进行文案显示和/或图像展示，并且前述语音识别系统还用于在该自动驾驶售货车无人机交互的状态下，对该自动驾驶售货车中物品的信息进行语音播报。本专利技术的有益效果是：本专利技术提供了一种用于自动驾驶售货车及其人机交互方法，通过识别购买用户和该购买用户的位置；基于根据摄像头实时获取的图像识别出该购买用户的人脸进行付款；并根据摄像头实时获取的图像识别出该购买用户的人手位置；将该购买用户购买的物品送到该购买用户的人手位置；以及通过语音提示该购买用户抬手或张开手掌，并通过摄像头实时获取的图像调整送出的物品坐标，直至该购买用户获得其购买的物品。本专利技术提供的自动驾驶售货车以车服务人的方式，使购买用户无需移动，根据无接触的人机交互操作即可完成购买，简单便捷，适用于多种特殊人群(存在视觉障碍，但是没有听觉障碍和语音障碍的盲人、存在听觉障碍和语言障碍，但没有视觉障碍的聋哑人和行动不便的残疾人)的购物，提高了自动驾驶售货车的实用性和公共卫生安全性。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其他目的、特征和优点将更为清楚。图1a和图1b分别示出本专利技术实施例提供的自动驾驶售货车的结构示意图和自动驾驶售货车中厢体的示意性结构框图；图2示出本专利技术实施例提供的一种用于自动驾驶售货车的人机交互方法的流程示意图；图3示出本专利技术实施方式一对应的人机交互方法的流程示意图；图4示出本专利技术实施方式二对应的人机交互方法的流程示意图；图5示出本专利技术实施方式三对应的人机交互方法的流程示意图；图6示出本专利技术实施方式四对应的人机交互方法的流程示意图；图7示出本专利技术实施方式五对应的人机交互方法的流程示意图；图8示出本专利技术实施方式六对应的人机交互方法的流程示意图；图9示出本专利技术实施方式七对应的人机交互方法的流程示意图；图10示出本专利技术实施方式八对应的人机交互方法的流程示意图；图11示出本专利技术实施方式九对应的人机交互方法的流程示意图；图12示出本专利技术实施方式十对应的人机交互方法的流程示意图。具体实施方式为了便于理解本专利技术，下面将参照相关附图对本专利技术进行更全面的描述。附图中给出了本专利技术的较佳实施例。但是，本专利技术可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本专利技术的公开内容的理解更加透彻全面。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。下面，参照附图对本专利技术进行详细说明。图1a和图1b分别示出本专利技术实施例提供的自动驾驶售货车的结构示意图和自动驾驶售货车中厢体的示意性结构框图。本文档来自技高网...

【技术保护点】
1.一种用于自动驾驶售货车的人机交互方法，其中，包括：/n识别购买用户和该购买用户的位置；/n所述购买用户进行付款；/n获取所述购买用户的手的位置，结合语音提示将所述购买用户购买的物品送到所述购买用户。/n

【技术特征摘要】
1.一种用于自动驾驶售货车的人机交互方法，其中，包括：
识别购买用户和该购买用户的位置；
所述购买用户进行付款；
获取所述购买用户的手的位置，结合语音提示将所述购买用户购买的物品送到所述购买用户。


2.根据权利要求1所述的人机交互方法，其中，所述获取所述购买用户的手的位置，结合语音提示将所述购买用户购买的物品送到所述购买用户包括：
根据实时获取的图像，识别出所述购买用户的手的位置；
将所述购买用户购买的物品送到所述购买用户的手的位置；
通过语音提示该购买用户抬手或张开手掌，并根据所述图像调整送出的物品坐标，直至所述购买用户获得所述物品。


3.根据权利要求2所述的人机交互方法，其中，所述将所述购买用户购买的物品送到所述购买用户的手的位置包括：
根据识别出的所述购买用户的手的位置，控制机械手臂或移动升降台将所述购买用户购买的物品送到所述购买用户的手的位置。


4.根据权利要求2所述的人机交互方法，其中，所述根据实时获取的图像，识别出所述购买用户的手的位置包括：
根据摄像头实时获取的图像，通过成像控制系统调整所述摄像头；
并根据所述图像准确识别出所述购买用户的手的位置。


5.根据权利要求1所述的人机交互方法，其中，所述购买用户进行付款包括：
实时获取所述自动驾驶售货车周围的图像；
对所述图像进行处理识别出所述购买用户的人脸图像；以及
通过成像控制系统调整所述摄像头，以获得所述购买用户清晰完整的正脸图像。


6.根据权利要求4或5所述的人机交互方法，其中，所述通过成像控制系统调整所述摄像头包括：
根据所述图像切换不同的摄像头，或调整所述摄像头的参数...

【专利技术属性】
技术研发人员：赵银，范志新，
申请(专利权)人：嘉善新石器智牛科技有限公司，
类型：发明
国别省市：浙江;33