一种基于人工智能的人机交互方法及系统技术方案

本发明专利技术涉及人机交互技术领域，具体涉及一种基于人工智能的人机交互方法及系统，通过获取图像数据，识别出惯用手初始点并建立平面直角坐标系，将在显示画面上生成的第一对象、第一区域与平面直角坐标系中的坐标原点和第二区域对应，之后在显示画面上生成第二对象并使第二对象向任意一个第一区域移动，通过识别使用者的惯用手的挥动动作，判断第二对象移动到第一区域中时，使用者是否在对应的第二区域中作出挥动动作，记录和反馈的结果可以让使用者得知自己的训练情况，从而能够准确识别使用者是否按照设定规则作出挥动动作，解决现有的人机交互训练方法难以精确识别人体动作与设定规则的相符合程度的问题。规则的相符合程度的问题。规则的相符合程度的问题。

【技术实现步骤摘要】
一种基于人工智能的人机交互方法及系统


[0001]本专利技术涉及人机交互
，尤其涉及一种基于人工智能的人机交互方法及系统。

技术介绍

[0002]随着计算机技术的进步和设备的普及，计算机化辅助训练开始受到广泛关注，如出现了通过虚拟现实设备进行认知训练的技术，但虚拟现实设备价格昂贵，佩戴不适。
[0003]对此，中国专利技术专利CN202011178035.6提供了一种基于非接触式交互的认知训练系统，采用非交互式技术，拜托了传统认知训练对实物装置及鼠标键盘的依赖，该系统虽然通过如Azure Kinect深度相机等非接触式交互设备，对手势、身体动作等进行识别，实现人机交互，但并未考虑到在实际使用动作识别进行交互时，由于动作速度快、动作幅度不一、站姿变化等情况导致难以评价训练过程中用户的动作是否符合训练规则和要求的问题，因此需要一种能够更加精确识别人体动作与设定规则的相符合程度，从而提升训练效果的技术。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提出一种基于人工智能的人机交互方法及系统，以解决现有的人机交互方法难以精确识别人体动作与设定规则的相符合程度的问题。
[0005]基于上述目的，本专利技术提供了一种基于人工智能的人机交互方法，包括以下步骤：获取图像数据；根据识别出的使用者的初始动作得出使用者的惯用手初始点，并根据图像数据中使用者的身体朝向，以惯用手初始点作为坐标原点，建立平面直角坐标系；以直角坐标系的x轴正向为起点，按逆时针方向依次将坐标系平面划分为n个区间，并生成n
‑
1条虚拟分隔线；在显示画面上生成第一对象，和分布在所述第一对象周围设定范围内的多个第一区域，使坐标原点和第一对象对应，并在直角坐标系所在的平面生成多个分别与各所述第一区域匹配的第二区域，各所述第二区域的中心点均位于虚拟分隔线上；每隔设定时间，在显示画面上生成第二对象，并模拟第二对象向任意一个所述第一区域移动的动画；识别使用者的惯用手的挥动动作，判断第二对象移动到第一区域中时，使用者是否在对应的第二区域中作出挥动动作；记录判断结果并反馈。
[0006]优选地，判断使用者在对应的第二区域中作出挥动动作需同时满足以下条件：使用者的惯用手从第二区域的中心点所处的虚拟分隔线的一侧移动到另一侧；惯用手移动路径经过对应的第二区域；惯用手移动速度大于预设值v。
[0007]优选地，本方法还包括：在显示画面上生成第一虚拟三维空间，所述第一对象与所述第二对象均位于所述第一虚拟三维空间中，所述模拟第二对象向任意一个所述第一区域移动的动画包括：模拟第二对象自远离屏幕方向向接近屏幕方向移动的动画，并模拟第二对象在移动过程中的大小变化。
[0008]优选地，第二对象的移动路径为直线或弧线。
[0009]优选地，本方法进一步包括：获取第二对象移动到第一区域中心点的第一时间节点；检测使用者的惯用手经过对应的虚拟分隔线的第二时间节点；计算第一时间节点和第二时间节点的时间差；基于时间差对使用者的挥动动作准确度进行评价并反馈。
[0010]优选地，检测使用者的惯用手经过对应的虚拟分隔线的第二时间节点包括：获取使用者的惯用手腕部多角度图像，建立多个腕部特征点；识别惯用手的挥动动作时，根据识别到的腕部特征点，判断惯用手的手腕位置和角度；根据惯用手的手腕位置和角度，得出惯用手的定位点；检测惯用手的定位点经过对应的虚拟分隔线的第二时间节点。
[0011]通过腕部特征点判断惯用手的手腕位置和角度准确率较高，通过根据惯用手的手腕位置和角度，得出惯用手的定位点，即模拟手部以固定姿态活动时的所在位置，可以更加准确合理地检测惯用手的定位点经过对应的虚拟分隔线的第二时间节点。
[0012]优选地，在直角坐标系所在的平面生成多个分别与各所述第一区域匹配的第二区域包括：获取使用者的肩宽w和臂长l；根据使用者的肩宽和臂长，在直角坐标系所在的平面生成多个分别与各所述第一区域匹配的第二区域，使各第二区域的中心点与坐标原点的距离符合：d=k1w+k2l，其中d为第二区域的中心点与坐标原点的距离，k1和k2均为系数。
[0013]优选地，本方法还包括：在第一虚拟三维空间中生成第三对象；根据定位点经过第二区域的速度、角度和第二时间节点，模拟第三对象对第二对象的击打动画。
[0014]优选地，第二对象包括至少两种具有不同显示特征的虚拟物体，分别为第一虚拟物体和第二虚拟物体；所述方法还包括：若移动到第一区域中的第二对象为第一虚拟物体，则判断使用者在对应的第二区域中作出挥动动作还需要满足条件：惯用手按顺时针方向移动；若移动到第一区域中的第二对象为第二虚拟物体，则判断使用者在对应的第二区域中作出挥动动作还需要满足条件：惯用手按逆时针方向移动。
[0015]本说明书还提供一种基于人工智能的人机交互系统，包括：
图像采集模块，用于获取图像数据；数据处理模块，用于根据识别出的使用者的初始动作得出使用者的惯用手初始点，并根据图像数据中使用者的身体朝向，以惯用手初始点作为坐标原点，建立平面直角坐标系，并以直角坐标系的x轴正向为起点，按逆时针方向依次将坐标系平面划分为n个区间，并生成n
‑
1条虚拟分隔线；模拟模块，用于在显示画面上生成第一对象，和分布在所述第一对象周围设定范围内的多个第一区域，使坐标原点和第一对象对应，并在直角坐标系所在的平面生成多个分别与各所述第一区域匹配的第二区域，各所述第二区域的中心点均位于虚拟分隔线上，并每隔设定时间，在显示画面上生成第二对象，并模拟第二对象向任意一个所述第一区域移动的动画；识别模块，用于识别使用者的惯用手的挥动动作，判断第二对象移动到第一区域中时，使用者是否在对应的第二区域中作出挥动动作；反馈模块，用于记录判断结果并反馈。
[0016]本专利技术的有益效果：基于人工智能的人机交互方法，通过获取图像数据，识别出惯用手初始点并建立平面直角坐标系，将在显示画面上生成的第一对象、第一区域与平面直角坐标系中的坐标原点和第二区域对应，之后在显示画面上生成第二对象并使第二对象向任意一个第一区域移动，通过识别使用者的惯用手的挥动动作，判断第二对象移动到第一区域中时，使用者是否在对应的第二区域中作出挥动动作，记录和反馈的结果可以让使用者得知自己的训练情况，即挥动动作模拟触碰/击打第二对象的准确率，从而在使用者作出快速的、幅度不一的动作时，能够准确识别使用者是否按照设定规则作出挥动动作，在降低训练对于场地和设备的依赖性的基础上，解决现有的人机交互方法难以精确识别人体动作与设定规则的相符合程度的问题。
附图说明
[0017]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例的人机交互方法流程示意图；图2为本专利技术实施例的第二区域生成示意图；图3为本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的人机交互方法，其特征在于，包括：获取图像数据；根据识别出的使用者的初始动作得出使用者的惯用手初始点，并根据图像数据中使用者的身体朝向，以惯用手初始点作为坐标原点，建立平面直角坐标系；以直角坐标系的x轴正向为起点，按逆时针方向依次将坐标系平面划分为n个区间，并生成n
‑
1条虚拟分隔线；在显示画面上生成第一对象，和分布在所述第一对象周围设定范围内的多个第一区域，使坐标原点和第一对象对应，并在直角坐标系所在的平面生成多个分别与各所述第一区域匹配的第二区域，各所述第二区域的中心点均位于虚拟分隔线上；每隔设定时间，在显示画面上生成第二对象，并模拟第二对象向任意一个所述第一区域移动的动画；识别使用者的惯用手的挥动动作，判断第二对象移动到第一区域中时，使用者是否在对应的第二区域中作出挥动动作；记录判断结果并反馈。2.根据权利要求1所述的基于人工智能的人机交互方法，其特征在于，判断使用者在对应的第二区域中作出挥动动作需同时满足以下条件：使用者的惯用手从第二区域的中心点所处的虚拟分隔线的一侧移动到另一侧；惯用手移动路径经过对应的第二区域；惯用手移动速度大于预设值v。3.根据权利要求1所述的基于人工智能的人机交互方法，其特征在于，所述方法还包括：在显示画面上生成第一虚拟三维空间，所述第一对象与所述第二对象均位于所述第一虚拟三维空间中，所述模拟第二对象向任意一个所述第一区域移动的动画包括：模拟第二对象自远离屏幕方向向接近屏幕方向移动的动画，并模拟第二对象在移动过程中的大小变化。4.根据权利要求3所述的基于人工智能的人机交互方法，其特征在于，第二对象的移动路径为直线或弧线。5.根据权利要求3所述的基于人工智能的人机交互方法，其特征在于，所述方法进一步包括：获取第二对象移动到第一区域中心点的第一时间节点；检测使用者的惯用手经过对应的虚拟分隔线的第二时间节点；计算第一时间节点和第二时间节点的时间差；基于时间差对使用者的挥动动作准确度进行评价并反馈。6.根据权利要求5所述的基于人工智能的人机交互方法，其特征在于所述检测使用者的惯用手经过对应的虚拟分隔线的第二时间节点包括：获取使用者的惯用手腕部多角度图像，建立多个腕部特征点；识别惯用手的挥动动作时，根据识别到的腕部特征点，判断惯用手的手腕位置和角度；根据惯用...

【专利技术属性】
技术研发人员：潘飞，
申请(专利权)人：彭城工匠江苏信息科技研究有限公司，
类型：发明
国别省市：