与乘员交互的方法及装置、车辆、电子设备和存储介质制造方法及图纸

本公开涉及一种与乘员交互的方法及装置、车辆、电子设备和存储介质。所述方法包括：获取车舱内的影像信息；响应于交互请求，基于所述影像信息，检测所述车舱内的乘员的头部回转动作，其中，一次头部回转动作包括向两个相反方向转头的动作；基于所述头部回转动作，确定所述乘员的头部动作检测结果；基于所述头部动作检测结果，确定所述交互请求对应的响应信息。确定所述交互请求对应的响应信息。确定所述交互请求对应的响应信息。

【技术实现步骤摘要】
与乘员交互的方法及装置、车辆、电子设备和存储介质


[0001]本公开涉及车辆
，尤其涉及一种与乘员交互的方法及装置、车辆、电子设备和存储介质。

技术介绍

[0002]相关技术中，大部分车辆(例如乘用车)的驾驶员主要通过触摸车机的中控屏幕完成与车辆的互动。对于驾驶员而言，这种交互方式需要眼睛看向中控屏幕、手指接触中控屏幕，因此容易增加行车风险。对于后排乘员而言，由于难以接触中控屏幕，导致难以进行交互。

技术实现思路

[0003]本公开提供了一种与乘员交互的技术方案。
[0004]根据本公开的一方面，提供了一种与乘员交互的方法，包括：
[0005]获取车舱内的影像信息；
[0006]响应于交互请求，基于所述影像信息，检测所述车舱内的乘员的头部回转动作，其中，一次头部回转动作包括向两个相反方向转头的动作；
[0007]基于所述头部回转动作，确定所述乘员的头部动作检测结果；
[0008]基于所述头部动作检测结果，确定所述交互请求对应的响应信息。
[0009]在一种可能的实现方式中，所述基于所述头部回转动作，确定所述乘员的头部动作检测结果，包括：
[0010]响应于检测到第一预设时长内预设方向的头部回转动作的次数大于或等于第一预设阈值，确定所述头部动作检测结果包括所述预设方向的头部回转动作对应的预设头部动作。
[0011]在一种可能的实现方式中，
[0012]所述预设方向的头部回转动作包括垂直方向的头部回转动作，一次垂直方向的头部回转动作包括向上抬头的动作和向下低头的动作，所述垂直方向的头部回转动作对应的预设头部动作包括点头；
[0013]和/或，
[0014]所述预设方向的头部回转动作包括水平方向的头部回转动作，一次水平方向的头部回转动作包括向右转头的动作和向左转头的动作，所述水平方向的头部回转动作对应的预设头部动作包括摇头。
[0015]在一种可能的实现方式中，所述响应于交互请求，基于所述影像信息，检测所述车舱内的乘员的头部回转动作，包括：
[0016]响应于交互请求，基于所述影像信息，获得所述车舱内的乘员的头部姿态数据；
[0017]基于所述头部姿态数据，检测所述乘员的头部回转动作。
[0018]在一种可能的实现方式中，所述基于所述头部姿态数据，检测所述乘员的头部回
转动作，包括：
[0019]基于所述头部姿态数据，检测所述乘员转头的动作；
[0020]响应于在检测到所述乘员向第一方向转头的动作之后的第二预设时长内，检测到所述乘员向与所述第一方向相反的第二方向转头的动作，确定检测到所述第一方向和/或所述第二方向对应的预设方向的头部回转动作，其中，所述第二预设时长小于所述第一预设时长。
[0021]在一种可能的实现方式中，所述头部姿态数据包括所述乘员在一段时间内的多个时刻的头部姿态角；
[0022]所述基于所述头部姿态数据，检测所述乘员转头的动作，包括：
[0023]在根据多个时刻的头部姿态角确定所述乘员的头部在第一时间段内持续向所述第一方向转动，且所述第一时间段内的任一时刻的头部姿态角与所述第二方向对应的第二姿态角阈值之间的差值的绝对值大于或等于第二预设阈值的情况下，确定检测到所述乘员向所述第一方向转头的动作；
[0024]和/或，
[0025]在根据多个时刻的头部姿态角确定所述乘员的头部在第二时间段内持续向所述第二方向转动，且所述第二时间段内的任一时刻的头部姿态角与所述第一方向对应的第一姿态角阈值之间的差值的绝对值大于或等于第三预设阈值的情况下，确定检测到所述乘员向所述第二方向转头的动作。
[0026]在一种可能的实现方式中，所述方法还包括：
[0027]在根据多个时刻的头部姿态角确定所述乘员的头部在所述第一时间段内持续向所述第一方向转动，且所述第一时间段内的第一时刻的头部姿态角与所述第二姿态角阈值之间的差值的绝对值大于或等于所述第二预设阈值的情况下，将所述第二姿态角阈值更新为所述第一时刻的头部姿态角；以及，在所述第一时间段内的第二时刻的头部姿态角对应的头部姿态比所述第一姿态角阈值对应的头部姿态更倾向于所述第一方向的情况下，将所述第一姿态角阈值更新为所述第二时刻的头部姿态角；其中，所述第一时刻和所述第二时刻为所述第一时间段内的任意时刻；
[0028]和/或，
[0029]在根据多个时刻的头部姿态角确定所述乘员的头部在所述第二时间段内持续向所述第二方向转动，且所述第二时间段内的第三时刻的头部姿态角与所述第一姿态角阈值之间的差值的绝对值大于或等于所述第三预设阈值的情况下，将所述第一姿态角阈值更新为所述第三时刻的头部姿态角；以及，在所述第二时间段内的第四时刻的头部姿态角对应的头部姿态比所述第二姿态角阈值对应的头部姿态更倾向于所述第二方向的情况下，将所述第二姿态角阈值更新为所述第四时刻的头部姿态角；其中，所述第三时刻和所述第四时刻为所述第二时间段内的任意时刻。
[0030]在一种可能的实现方式中，所述头部姿态角包括头部俯仰角，所述第一方向包括垂直向上方向，所述第二方向包括垂直向下方向，所述第一姿态角阈值包括俯仰角上限值，所述第二姿态角阈值包括俯仰角下限值，所述第二预设阈值包括第一俯仰角阈值，所述第三预设阈值包括第二俯仰角阈值；
[0031]所述在根据多个时刻的头部姿态角确定所述乘员的头部在第一时间段内持续向
所述第一方向转动，且所述第一时间段内的任一时刻的头部姿态角与所述第二方向对应的第二姿态角阈值之间的差值的绝对值大于或等于第二预设阈值的情况下，确定检测到所述乘员向所述第一方向转头的动作，包括：在根据多个时刻的头部俯仰角确定所述乘员的头部在第一时间段内持续向所述垂直向上方向转动，且所述第一时间段内的任一时刻的头部俯仰角与所述俯仰角下限值之间的差值的绝对值大于或等于所述第一俯仰角阈值的情况下，确定检测到所述乘员向上抬头的动作；
[0032]和/或，
[0033]所述在根据多个时刻的头部姿态角确定所述乘员的头部在第二时间段内持续向所述第二方向转动，且所述第二时间段内的任一时刻的头部姿态角与所述第一方向对应的第一姿态角阈值之间的差值的绝对值大于或等于第三预设阈值的情况下，确定检测到所述乘员向所述第二方向转头的动作，包括：在根据多个时刻的头部俯仰角确定所述乘员的头部在第二时间段内持续向所述垂直向下方向转动，且所述第二时间段内的任一时刻的头部俯仰角与所述俯仰角上限值之间的差值的绝对值大于或等于所述第二俯仰角阈值的情况下，确定检测到所述乘员向下低头的动作。
[0034]在一种可能的实现方式中，所述方法还包括：
[0035]在根据多个时刻的头部俯仰角确定所述乘员的头部在所述第一时间段内持续向所述垂直向上方向转动，且所述第一时间段内的第一时刻的头部俯仰角与所述俯仰角下限值之间的差值的绝对值大于或等于所述第一俯仰角阈值的情况下，将所述俯仰角下限值更新为所述第一时刻的头部俯仰角；以及，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种与乘员交互的方法，其特征在于，包括：获取车舱内的影像信息；响应于交互请求，基于所述影像信息，检测所述车舱内的乘员的头部回转动作，其中，一次头部回转动作包括向两个相反方向转头的动作；基于所述头部回转动作，确定所述乘员的头部动作检测结果；基于所述头部动作检测结果，确定所述交互请求对应的响应信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述头部回转动作，确定所述乘员的头部动作检测结果，包括：响应于检测到第一预设时长内预设方向的头部回转动作的次数大于或等于第一预设阈值，确定所述头部动作检测结果包括所述预设方向的头部回转动作对应的预设头部动作。3.根据权利要求2所述的方法，其特征在于，所述预设方向的头部回转动作包括垂直方向的头部回转动作，一次垂直方向的头部回转动作包括向上抬头的动作和向下低头的动作，所述垂直方向的头部回转动作对应的预设头部动作包括点头；和/或，所述预设方向的头部回转动作包括水平方向的头部回转动作，一次水平方向的头部回转动作包括向右转头的动作和向左转头的动作，所述水平方向的头部回转动作对应的预设头部动作包括摇头。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述响应于交互请求，基于所述影像信息，检测所述车舱内的乘员的头部回转动作，包括：响应于交互请求，基于所述影像信息，获得所述车舱内的乘员的头部姿态数据；基于所述头部姿态数据，检测所述乘员的头部回转动作。5.根据权利要求4所述的方法，其特征在于，所述基于所述头部姿态数据，检测所述乘员的头部回转动作，包括：基于所述头部姿态数据，检测所述乘员转头的动作；响应于在检测到所述乘员向第一方向转头的动作之后的第二预设时长内，检测到所述乘员向与所述第一方向相反的第二方向转头的动作，确定检测到所述第一方向和/或所述第二方向对应的预设方向的头部回转动作，其中，所述第二预设时长小于所述第一预设时长。6.根据权利要求5所述的方法，其特征在于，所述头部姿态数据包括所述乘员在一段时间内的多个时刻的头部姿态角；所述基于所述头部姿态数据，检测所述乘员转头的动作，包括：在根据多个时刻的头部姿态角确定所述乘员的头部在第一时间段内持续向所述第一方向转动，且所述第一时间段内的任一时刻的头部姿态角与所述第二方向对应的第二姿态角阈值之间的差值的绝对值大于或等于第二预设阈值的情况下，确定检测到所述乘员向所述第一方向转头的动作；和/或，在根据多个时刻的头部姿态角确定所述乘员的头部在第二时间段内持续向所述第二
方向转动，且所述第二时间段内的任一时刻的头部姿态角与所述第一方向对应的第一姿态角阈值之间的差值的绝对值大于或等于第三预设阈值的情况下，确定检测到所述乘员向所述第二方向转头的动作。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在根据多个时刻的头部姿态角确定所述乘员的头部在所述第一时间段内持续向所述第一方向转动，且所述第一时间段内的第一时刻的头部姿态角与所述第二姿态角阈值之间的差值的绝对值大于或等于所述第二预设阈值的情况下，将所述第二姿态角阈值更新为所述第一时刻的头部姿态角；以及，在所述第一时间段内的第二时刻的头部姿态角对应的头部姿态比所述第一姿态角阈值对应的头部姿态更倾向于所述第一方向的情况下，将所述第一姿态角阈值更新为所述第二时刻的头部姿态角；其中，所述第一时刻和所述第二时刻为所述第一时间段内的任意时刻；和/或，在根据多个时刻的头部姿态角确定所述乘员的头部在所述第二时间段内持续向所述第二方向转动，且所述第二时间段内的第三时刻的头部姿态角与所述第一姿态角阈值之间的差值的绝对值大于或等于所述第三预设阈值的情况下，将所述第一姿态角阈值更新为所述第三时刻的头部姿态角；以及，在所述第二时间段内的第四时刻的头部姿态角对应的头部姿态比所述第二姿态角阈值对应的头部姿态更倾向于所述第二方向的情况下，将所述第二姿态角阈值更新为所述第四时刻的头部姿态角；其中，所述第三时刻和所述第四时刻为所述第二时间段内的任意时刻。8.根据权利要求6或7所述的方法，其特征在于，所述头部姿态角包括头部俯仰角，所述第一方向包括垂直向上方向，所述第二方向包括垂直向下方向，所述第一姿态角阈值包括俯仰角上限值，所述第二姿态角阈值包括俯仰角下限值，所述第二预设阈值包括第一俯仰角阈值，所述第三预设阈值包括第二俯仰角阈值；所述在根据多个时刻的头部姿态角确定所述乘员的头部在第一时间段内持续向所述第一方向转动，且所述第一时间段内的任一时刻的头部姿态角与所述第二方向对应的第二姿态角阈值之间的差值的绝对值大于或等于第二预设阈值的情况下，确定检测到所述乘员向所述第一方向转头的动作，包括：在根据多个时刻的头部俯仰角确定所述乘员的头部在第一时间段内持续向所述垂直向上方向转动，且所述第一时间段内的任一时刻的头部俯仰角与所述俯仰角下限值之间的差值的绝对值大于或等于所述第一俯仰角阈值的情况下，确定检测到所述乘员向上抬头的动作；和/或，所述在根据多个时刻的头部姿态角确定所述乘员的头部在第二时间段内持续向所述第二方向转动，且所述第二时间段内的任一时刻的头部姿态角与所述第一方向对应的第一姿态角阈值之间的差值的绝对值大于或等于第三预设阈值的情况下，确定检测到所述乘员向所述第二方向转头的动作，包括：在根据多个时刻的头部俯仰角确定所述乘员的头部在第二时间段内持续向所述垂直向下方向转动，且所述第二时间段内的任一时刻的头部俯仰角与所述俯仰角上限值之间的差值的绝对值大于或等于所述第二俯仰角阈值的情况下，确定检测到所述乘员向下低头的动作。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
在根据多个时刻的头部俯仰角确定所述乘员的头部在所述第一时间段内持续向所述垂直向上方向转动，且所述第一时间段内的第一时刻的头部俯仰角与所述俯仰角下限值之间的差值的绝对值大于或等于所述第一俯仰角阈值的情况下，将所述俯仰角下限值更新为所述第一时刻的头部俯仰角；以及，在所述第一时间段...

【专利技术属性】
技术研发人员：卫承，吴阳平，许亮，相硕琦，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：