遮阳操作触发方法及设备技术

本申请提供了一种遮阳操作触发方法及设备，涉及人工智能技术领域，能够准确地捕捉用户的遮阳意图，自动触发遮阳板进行遮阳。该方法包括：追踪用户手部位置，确定包含手部图像的目标图像；基于目标图像，检测用户的手部姿态是否符合触发条件；触发条件包括多个手指处于并拢状态和/或用户手部处于悬停状态；确定手部姿态符合触发条件的情况下，触发遮阳操作。作。作。

【技术实现步骤摘要】
遮阳操作触发方法及设备


[0001]本申请涉及人工智能
，尤其涉及一种遮阳操作触发方法及设备。

技术介绍

[0002]在日常生活中，人们可能遇到阳光刺眼、灼肤的情形，存在遮阳需求。例如，机动车驾驶途中经常会遇到光线较强影响视线的情况，人们希望能在合适的位置自动地展开遮阳设备。遮阳设备的自动展开，首先需要准确地识别用户的遮阳需求。然而目前有的方案，难以准确地识别用户的遮阳意图，误判率较高。如何更为准确地捕捉用户的遮阳需求，进而触发遮阳设备以执行遮阳操作，成为本领域技术人员需要解决的技术问题之一。

技术实现思路

[0003]本申请提供一种遮阳操作触发方法及设备，能够准确捕捉用户遮阳意图，自动触发遮阳设备实现智能遮阳。
[0004]第一方面，本申请技术方案提供了一种遮阳操作触发方法，应用于电子设备，方法包括：追踪用户手部位置，确定包含手部图像的目标图像；基于目标图像，检测用户的手部姿态是否符合触发条件；触发条件包括多个手指处于并拢状态、用户手部处于悬停状态、手指处于伸直状态中的至少一种；确定手部姿态符合触发条件的情况下，触发遮阳操作。该方法能够有效分辨出用户的手势动作是否为遮阳手势，进而准确地捕捉用户的遮阳需求。
[0005]在一种可能的实现方式中，检测用户的手部姿态是否符合触发条件，包括：检测用户的多个手指是否处于并拢状态；和/或，检测用户的手指是否处于伸直状态。实际应用中，用户不存在遮阳意图而做出多个手指处于并拢状态、手指处于伸直状态的手势的概率很小，至少通过这两项判别因素的检测，能够在很多场景中准确反映出用户是否具备遮阳意图。
[0006]在一种可能的实现方式中，检测用户的多个手指是否处于并拢状态，包括：检测相邻的两个手指之间的夹角；基于夹角，确定用户的多个手指是否处于并拢状态。实际应用中，不同的用户做出遮阳的手势动作会略微有所差别，多数情况下，用户在遮阳时不会特意张开手指而趋向于并拢，因而通过用户手部相邻手指之间的夹角的检测，可以反映出用户手部是否并拢，进而为遮阳意图识别提供参考。
[0007]在一种可能的实现方式中，检测相邻的两个手指之间的夹角，包括：检测用户的手部的多个关键点，多个关键点对应于手部的多个骨节点；在对应于相同手指的多个关键点中，连接相邻的两个关键点，确定出各个手指分别对应的线段；将相邻的两个手指分别对应的线段之间的夹角，确定为相邻的两个手指之间的夹角。
[0008]在一种可能的实现方式中，检测用户的多个手指是否处于并拢状态，包括：对目标图像进行边缘检测，确定出用户的手部的边缘，以及确定边缘对应的第一长度；至少基于第一长度，确定用户的多个手指是否处于并拢状态。手部趋向于并拢的遮阳动作，与手指张开的手势之间，另一个显著的区别在于手部边缘长度的变化，通过边缘长度的确定和比较，能
够另一个角度鉴别用户手部是否处于并拢状态。
[0009]在一种可能的实现方式中，至少基于第一长度，确定用户的多个手指是否处于并拢状态之前，方法还包括：确定用户的多个手指处于并拢状态下用户手部的边缘对应的第一参考长度；至少基于第一长度，确定用户的多个手指是否处于并拢状态，包括：比较第一长度和第一参考长度，基于比较结果，确定用户的多个手指是否处于并拢状态。
[0010]在一种可能的实现方式中，至少基于第一长度，确定用户的多个手指是否处于并拢状态之前，方法还包括：确定用户的多个手指处于张开状态下用户手部的边缘对应的第二参考长度；至少基于第一长度，确定用户的多个手指是否处于并拢状态，包括：比较第一长度与第二参考长度；在第一长度小于第二参考长度的情况下，比较第一长度与第一参考长度；在基于第一长度与第一参考长度确定出的比较结果落入预定的第一阈值范围内的情况下，确定用户的多个手指是否处于并拢状态。
[0011]在一种可能的实现方式中，确定边缘对应的第一长度，包括：以相邻的两个手指为一组，分别确定各组中相邻的两个手指形成的边缘对应的第三长度；至少基于第一长度，确定用户的多个手指是否处于并拢状态，包括：至少基于各组分别对应的第三长度，识别相应的相邻的两个手指是否处于并拢状态，以确定用户的多个手指是否处于并拢状态。
[0012]在一种可能的实现方式中，确定边缘对应的第一长度，包括：确定整只手的边缘对应的第二长度；至少基于第一长度，确定用户的多个手指是否处于并拢状态，包括：至少基于第二长度，确定用户的多个手指是否处于并拢状态。
[0013]在一种可能的实现方式中，检测用户的手指是否处于伸直状态，包括：从指尖向指根的方向，确定手指的各个骨节点分别为第一节点至第四节点，其中第一节点为指尖节点，第四节点为指根节点；基于第三节点和第四节点确定出第一直线；基于第一节点和第二节点确定出第二直线；和/或，基于第二节点与第三节点确定出第三直线；在第一直线，与第二直线和/或第三直线之间的夹角，落入预定的第二阈值范围内的情况下，确定手指处于伸直状态。手指伸直是多数用户在做出遮阳手势时的再一种特征，通过手指是否伸直的识别，可以提升遮阳意图识别的准确度，防止误判。
[0014]在一种可能的实现方式中，检测用户的手指是否处于伸直状态，还包括：确定对应于掌心的骨节点为第五节点；基于至少两根手指对应的至少两个第四节点和第五节点，确定出手掌所在的第一平面；在第一直线、第二直线、第三直线中的至少一条直线，与第一平面的夹角，落入预定的第三阈值范围内的情况下，确定手指处于伸直状态。
[0015]在一种可能的实现方式中，检测用户的手部姿态是否符合触发条件，包括：检测用户的手部是否处于悬停状态。手部悬停是多数用户在做出遮阳手势时的又一种特征，用户手部挥动一般不会是进行遮阳，因而通过手部是否悬停的识别，可以进一步提升遮阳意图识别的准确度。
[0016]在一种可能的实现方式中，检测用户的手部是否处于悬停状态，包括：确定用户的多个手指处于并拢状态的情况下，检测用户的手部的多个关键点，多个关键点对应于手部的多个骨节点；根据手部骨骼连接信息，连接相邻的两个关键点，确定出至少一条线段；检测至少一条线段在预定时长内的位移；基于位移，确定用户的手部是否处于悬停状态。
[0017]在一种可能的实现方式中，检测至少一条线段在预定时长内的位移，包括：确定预定时长内的多帧图像；检测多帧图像中的各帧图像中的第一线段，确定第一像素点和第二
像素点；其中，第一线段为至少一条线段中的一条；第一像素点和第二像素点为第一线段的两个端点；获取各帧图像中的第一像素点的第一坐标值和第二像素点的第二坐标值；计算多个第一坐标值的第一均值，以第一均值为坐标值的像素点作为第一参考像素点；以及，计算多个第二坐标值的第二均值，以第二均值作为坐标值的像素点作为第二参考像素点；以第一参考像素点和第二参考像素点作为两个端点，确定出参考线段；分别计算各帧图像中的第一线段与参考线段之间的距离，将获得的多个距离作为至少一条线段在预定时长内的位移；基于位移，确定用户的手部是否处于悬停状态，包括：在多个距离均落入预定的第四阈值范围内的情况下，确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遮阳操作触发方法，其特征在于，应用于电子设备，所述方法包括：追踪用户手部位置，确定包含手部图像的目标图像；基于所述目标图像，检测用户的手部姿态是否符合触发条件；所述触发条件包括多个手指处于并拢状态、所述用户手部处于悬停状态、手指处于伸直状态中的至少一种；确定所述手部姿态符合所述触发条件的情况下，触发遮阳操作。2.如权利要求1所述的方法，其特征在于，所述检测用户的手部姿态是否符合触发条件，包括：检测所述用户的多个手指是否处于并拢状态；和/或，检测所述用户的手指是否处于伸直状态。3.如权利要求2所述的方法，其特征在于，所述检测所述用户的多个手指是否处于并拢状态，包括：检测相邻的两个手指之间的夹角；基于所述夹角，确定所述用户的多个手指是否处于并拢状态。4.如权利要求3所述的方法，其特征在于，所述检测相邻的两个手指之间的夹角，包括：检测所述用户的手部的多个关键点，所述多个关键点对应于手部的多个骨节点；在对应于相同手指的多个关键点中，连接相邻的两个关键点，确定出各个手指分别对应的线段；将相邻的两个手指分别对应的线段之间的夹角，确定为所述相邻的两个手指之间的夹角。5.如权利要求2所述的方法，其特征在于，所述检测所述用户的多个手指是否处于并拢状态，包括：对所述目标图像进行边缘检测，确定出所述用户的手部的边缘，以及确定所述边缘对应的第一长度；至少基于所述第一长度，确定所述用户的多个手指是否处于并拢状态。6.如权利要求5所述的方法，其特征在于，所述至少基于所述第一长度，确定所述用户的多个手指是否处于并拢状态之前，所述方法还包括：确定所述用户的多个手指处于并拢状态下所述用户手部的边缘对应的第一参考长度；所述至少基于所述第一长度，确定所述用户的多个手指是否处于并拢状态，包括：比较所述第一长度和所述第一参考长度，基于比较结果，确定所述用户的多个手指是否处于并拢状态。7.如权利要求6所述的方法，其特征在于，所述至少基于所述第一长度，确定所述用户的多个手指是否处于并拢状态之前，所述方法还包括：确定所述用户的多个手指处于张开状态下所述用户手部的边缘对应的第二参考长度；所述至少基于所述第一长度，确定所述用户的多个手指是否处于并拢状态，包括：比较所述第一长度与所述第二参考长度；
在所述第一长度小于所述第二参考长度的情况下，比较所述第一长度与第一参考长度；在基于所述第一长度与所述第一参考长度确定出的比较结果落入预定的第一阈值范围内的情况下，确定所述用户的多个手指是否处于并拢状态。8.如权利要求5所述的方法，其特征在于，所述确定所述边缘对应的第一长度，包括：以相邻的两个手指为一组，分别确定各组中相邻的两个手指形成的边缘对应的第三长度；所述至少基于所述第一长度，确定所述用户的多个手指是否处于并拢状态，包括：至少基于各组分别对应的第三长度，识别相应的相邻的两个手指是否处于并拢状态，以确定所述用户的多个手指是否处于并拢状态。9.如权利要求5所述的方法，其特征在于，所述确定所述边缘对应的第一长度，包括：确定整只手的边缘对应的第二长度；所述至少基于所述第一长度，确定所述用户的多个手指是否处于并拢状态，包括：至少基于所述第二长度，确定用户的多个手指是否处于并拢状态。10.如权利要求2所述的方法，其特征在于，所述检测所述用户的手指是否处于伸直状态，包括：从指尖向指根的方向，确定手指的各个骨节点分别为第一节点至第四节点，其中第一节点为指尖节点，第四节点为指根节点；基于第三节点和第四节点确定出第一直线；基于第一节点和第二节点确定出第二直线；和/或，基于第二节点与第三节点确定出第三直线；在所述第一直线，与所述第二直线和/或所述第三直线之间的夹角，落入预定的第二阈值范围内的情况下，确定所述手指处于伸直状态。11.如权利要求10所述的方法，其特征在于，所述检测所述用户的手指是否处于伸直状态，还包括：确定对应于掌心的骨节点为第五节点；基于至少两根手指对应的至少两个第四节点和所述第五节点，确定出手掌所在的第一平面；在所述第一直线、第二直线、第三直线中的至少一条直线，与所述第一平面的夹角，落入预定的第三阈值范围内的情况下，确定所述手指处于伸直状态。12.如权利要求1所述的方法，其特征在于，所述检测用户的手部姿态是否符合触发条件，包括：检测所述用户的手部是否处于悬停状态。13.如权利要求10所述的方法，其特征在于，所述检测所述用户的手部是否处于悬停状态，包括：确定所述用户的多个手指处于并拢状态的情况下，检测所述用户的手部的多个关键点，所述多个关键点对应于手部的多个骨节点；
根据手部骨骼连接信息，连接相邻的两个关键点，确定出至少一条线段；检测所述至少一条线段在预定时长内的位移；基于所述位移，确定所述用户的手部是否处于悬停状态。14.如权利要求13所述的方法，其特征在于，所述检测所述至少一条线段在预定时长内的位移，包括：确定预定时长内的多帧图像；检测所述多帧图像中的各帧图像中的第一线段，确定第一像素点和第二像素点；其中，所述第一线段为所述至少一条线段中的一条；所述第一像素点和所述第二像素点为所述第一线段的两个端点；获取各帧图像中的第一像素点的第一坐标值和第二像素点的第二坐标值；计算多个第一坐标值的第一均值，以第一均值为坐标值的像素点作为第一参考像素点；以及，计算多个第二坐标值的第二均值，以第二均值作为坐标值的像素点作为第二参考像素点；以所述第一参考像素点和所述第二参考像素点作为两个端点，确定出参考线段；分别计算各帧图像中的第一线段与所述参考线段之间的距离，将获得的多个距离作为所述至少一条线段在预定时长内的位移；所述基于所述位移，确定所述用户的手部是否处于悬停状态，包括：在所述多个距离均落入预定的第四阈值范围内的情况下，确定所述用户的手部处于悬停状态。15.如权利要求1所述的方法，其特征在于，所述触发条件还包括：所述用户的手部形成的投影区域中包含皮肤；所述检...

【专利技术属性】
技术研发人员：邰彦坤，李凌飞，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：