用户行为的检测方法、装置及机器人制造方法及图纸

技术编号:20160962 阅读:49 留言:0更新日期:2019-01-19 00:13
本发明专利技术实施例提供一种用户行为的检测方法、装置及机器人,该用户行为的检测方法包括:确定待检测图像;通过手势分类模型检测待检测图像中目标对象的手势信息;并通过用餐情景分类模型检测待检测图像中目标对象对应的餐桌上的当前食物信息;之后,再根据目标对象的手势信息和当前食物信息确定目标对象的当前行为。本发明专利技术实施例提供的用户行为的检测方法、装置及机器人,通过目标对象的手势信息和当前食物信息确定目标对象的当前行为,实现对目标对象行为的自动识别,从而提高了目标对象的沟通效率。

【技术实现步骤摘要】
用户行为的检测方法、装置及机器人
本专利技术涉及机器人
,尤其涉及一种用户行为的检测方法、装置及机器人。
技术介绍
现有的餐饮服务主要是传统的人为引导,服务员根据用户需求引导客户入座,点餐,用餐,买单等,这就需要保证每个相对独立的服务区都需要有专门的服务员来了解客户的需求,并提供相应的服务。然而,当服务员的人手不够,或者用餐高峰期人流量过多时,客户的需求就不能及时被响应,从而导致沟通效率不高。
技术实现思路
本专利技术提供一种用户行为的检测方法、装置及机器人,实现了对目标对象行为的自动识别,从而提高了目标对象的沟通效率。第一方面,本专利技术实施例提供一种用户行为的检测方法,该用户行为的检测方法可以包括:确定待检测图像;通过手势分类模型检测所述待检测图像中目标对象的手势信息;通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息;根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为。在一种可能的实现方式中,所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为之前,还包括:通过所述用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌的当前人数;所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为,包括:根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为。在一种可能的实现方式中,所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为,包括:将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态;其中,所述目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种;根据所述目标对象的手势信息和所述目标对象的用餐状态确定所述目标对象的当前行为。在一种可能的实现方式中,所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态,包括:当所述待检测图像中所述目标对象对应的餐桌上和所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上均无食物信息,所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述准备用餐状态。在一种可能的实现方式中,所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态,包括:当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类,且所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述正在用餐状态。在一种可能的实现方式中,所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态,包括:在预设时间段内,当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类相同,且所述待检测图像中所述目标对象对应的餐桌上的当前人数等于或小于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述用餐完成状态。在一种可能的实现方式中,所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为之后,还包括:根据所述目标对象的当前行为,及目标对象的行为与服务操作之间的映射关系,为所述目标对象提供相应的服务操作。在一种可能的实现方式中,所述服务操作至少包括下述任一种:传送菜单和/或餐具操作、打包操作和/或协助买单操作。第二方面,本专利技术实施例提供一种用户行为的检测装置,该用户行为的检测装置可以包括:确定单元,用于确定待检测图像;检测单元,用于通过手势分类模型检测所述待检测图像中目标对象的手势信息;所述检测单元,还用于通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息;所述确定单元,还用于根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为。在一种可能的实现方式中,所述检测单元,还用于通过所述用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌的当前人数;所述确定单元,具体用于根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为。在一种可能的实现方式中,所述确定单元,具体用于将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态;其中,所述目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种;并根据所述目标对象的手势信息和所述目标对象的用餐状态确定所述目标对象的当前行为。在一种可能的实现方式中,所述确定单元,具体用于当所述待检测图像中所述目标对象对应的餐桌上和所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上均无食物信息,所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述准备用餐状态。在一种可能的实现方式中,所述确定单元,具体用于当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类,且所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述正在用餐状态。在一种可能的实现方式中,所述确定单元,具体用于在预设时间段内,当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类相同,且所述待检测图像中所述目标对象对应的餐桌上的当前人数等于或小于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述用餐完成状态。在一种可能的实现方式中,该用户行为的检测装置还可以包括提供单元;提供单元,用于根据所述目标对象的当前行为,及目标对象的行为与服务操作之间的映射关系,为所述目标对象提供相应的服务操作。在一种可能的实现方式中,所述服务操作至少包括下述任一种:传送菜单和/或餐具操作、打包操作和/或协助买单操作。第三方面,本专利技术实施例提供一种机器人,该机器人可以包括处理器和存储器,其中,所述存储器用于存储程序指令;所述处理器用于读取所述存储器中的程序指令,并根据所述存储器中的程序指令执行上述第一方面任一项所示的用户行为的检测方法。第四方面,本专利技术实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,在所述计算机程序被处理器执行时,执行上述第一方面任一项所本文档来自技高网...

【技术保护点】
1.一种用户行为的检测方法,其特征在于,包括:确定待检测图像;通过手势分类模型检测所述待检测图像中目标对象的手势信息;通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息;根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为。

【技术特征摘要】
1.一种用户行为的检测方法,其特征在于,包括:确定待检测图像;通过手势分类模型检测所述待检测图像中目标对象的手势信息;通过用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌上的当前食物信息;根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为。2.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为之前,还包括:通过所述用餐情景分类模型检测所述待检测图像中所述目标对象对应的餐桌的当前人数;所述根据所述目标对象的手势信息和所述当前食物信息确定所述目标对象的当前行为,包括:根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为。3.根据权利要求2所述的方法,其特征在于,所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为,包括:将所述当前食物信息和所述当前人数与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态;其中,所述目标对象的用餐状态包括准备用餐状态、正在用餐状态或用餐完成状态中的任一种;根据所述目标对象的手势信息和所述目标对象的用餐状态确定所述目标对象的当前行为。4.根据权利要求3所述的方法,其特征在于,所述将所述当前食物信息和所述当前人数与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态,包括:当所述待检测图像中所述目标对象对应的餐桌上和所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上均无食物信息,所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述准备用餐状态。5.根据权利要求3所述的方法,其特征在于,所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态,包括:当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类,且所述待检测图像中所述目标对象对应的餐桌上的当前人数大于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述正在用餐状态。6.根据权利要求3所述的方法,其特征在于,所述将所述当前食物信息和所述当前人数与目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息和人数进行比较,确定所述目标对象的用餐状态,包括:在预设时间段内,当所述待检测图像中所述目标对象对应的餐桌上的食物信息的种类与所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的食物信息的种类相同,且所述待检测图像中所述目标对象对应的餐桌上的当前人数等于或小于所述目标对象的前一个用餐状态中所述目标对象对应的餐桌上的人数时,确定所述目标对象的用餐状态为所述用餐完成状态。7.根据权利要求2所述的方法,其特征在于,所述根据所述目标对象的手势信息、所述当前食物信息及所述当前人数确定所述目标对象的当前行为之后,还包括:根据所述目标对象的当前行为,及目标对象的行为与服务操作之间的映射关系,为所述目标对象提供相应的服务操作。8.根据权利要求7所述...

【专利技术属性】
技术研发人员:林湘粤刘昆乔爽爽梁阳韩超朱名发郭江亮李旭刘俊李硕尹世明
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1