一种MR智能眼镜基于眼动追踪技术的体育辅助训练系统技术方案

本发明专利技术属于运动技术领域，公开了一种MR智能眼镜基于眼动追踪技术的体育辅助训练系统，专家终端利用AR/MR智能眼镜设备收集专家的眼动行为数据和视频影像数据，并将收集到的数据传输至云端服务器；云端服务器对接收到的相关数据构建AI人工智能数据训练，分析眼动数据，还接收新手用户模块发送的请求，反馈对应数据模型；新手用户模块通过AR/MR智能眼镜设备上传当前所在位置以及相应请求，并结合AR/MR智能眼镜设备进行实时学习。本发明专利技术在眼动数据分析过程中利用AI人工智能技术识别出视频数据中的运动事件，并且图像识别技术自动对视频中画面内容绘制兴趣区域，提高眼动数据分析效率。率。率。

【技术实现步骤摘要】
一种MR智能眼镜基于眼动追踪技术的体育辅助训练系统


[0001]本专利技术属于运动
，尤其涉及一种MR智能眼镜基于眼动追踪技术的体育辅助训练系统。

技术介绍

[0002]随着近几年科技的高速发展，AR/MR智能眼镜可能是淘汰智能手机的下一代智能终端。那么智能眼镜上的应用就如同智能手机上刚兴起时的应用，存在着巨大的市场价值和市场潜力。
[0003]近眼显示设备(HMD)还包括电子显示器和光学组件。HMD可以是例如混合现实(Mixed Reality)—MR眼镜、增强现实(Augmented Reality)—AR眼镜、虚拟现实-(Virtual Reality)—VR眼镜、扩展现实(Extended Reality)—XR眼镜或其某种组合。电子显示器配置为发射图像光。光学组件被配置为将图像光引导到与用户眼睛的位置对应的HMD的出射光瞳，AR/MR/XR智能眼镜把其所创造的虚拟数字世界和现实世界环境相结合，使佩戴者既可以看到现实世界也可以看到虚拟的全息影像。
[0004]随着最近几年的科技不断发展，国内外推出的AR/MR/XR智能眼镜都带有眼动追踪功能，例如：Magic Leap one、Hololens 2。利用眼动追踪技术捕获用户眼动行为数据然后把眼动行为数据分析后结合在各行各业中使用，例如：心理学，医学和工程学。
[0005]在眼动和运动心理学的研究中可以发现:获取运动员的眼动行为数据，再通过眼动行为数据可以预判运动员的反应和一些操作，准确率很高。反观传统的体育运动训练方式都是基于教练的主观经验为主，然后进行大量的训练进行的，所述主观经验难以通过言语表达出来供人学习，更难以将经验量化并且可视化的展示出来。因此，经验教学低效，传播困难，成本高。
[0006]人类的信息加工在很大程度上依赖于视觉，大脑神经反馈控制眼球运动能以有效的方式和速度采集外界信息，眼动仪问世以来，心理学家通过眼动技术探索各种不同条件下视觉对信息的加工机制，进而观察其与心理活动的关系，提供了高校的工具。而在体育运动中，视觉信息提取的模式不同则可能反映了高水平运动员与一般水平的或新手之间运动能力的各种差异。眼动分析的方法己经被广泛地应用于各运动项目的研究中以记录不同水平运动员在运动、训练或比赛中的眼动模式，将极大地有利于对新手的有效训练和运动员的选拔。大多数项目，如篮球、足球、乒乓球、冰球、高尔夫球、网球、台球、铅球、板球、体操、击剑、自行车和职业国际象棋等都可以利用眼动分析进行研究
[0007]在许多对抗性体育项目中，都存在着瞬息变化的比赛局势，这就要求运动员能够迅速地搜寻到有用的视觉信息，同时做出相应的动作反应。许多研究发现，专家运动员比新手运动员的视觉搜索策略更恰当和更有效率。视觉搜索策略是指在搜索相关的信息时眼睛的移动方式。运动员在比赛中的视觉搜索及注视情况，可以通过眼动仪来进行研究。
[0008]例如在现有的羽毛球杀球眼动研究中发现，非专业的新手运动员在观看击球和发球视频时，往往更多的是注视腿部、球拍、和羽毛球、，然而专业运动员更多的是关注对手的
肩部、胸部、手臂、头部。专业运动员在杀球路线的预测上精确度远高于非专业的新手运动员。
[0009]在体育运动中，视觉信息提取的模式不同则可能反映了高水平运动员与一般水平的或新手之间运动能力的各种差异。传统体育运动方式一直通常采用主观和经验为主的训练方法教学，训练效率低下主观经验难以通过言语表达出来供人学习，并且往往在运动过程中良好视觉搜索模式需要经过专业运动员长时间的训练才能够养成，然而这些视觉搜索模式往往是专业运动在潜意识情况下的条件反射，因此这些运动经验难以表达传授给新手。
[0010]综上所述，现有技术存在的问题是：(1)目前的在体育运动的眼动分析多用于研究院校内的项目研究，广大的普通人群没有机会受到眼动运动教学，因此目前的教学技术不善于传播。
[0011](2)目前在球类体育运动教学中，需要专家对学员进行训练，但是优秀的教学资源是有限的。因此如何将有效的主观教学经验变成可视化的教学方法，并且把技巧经验转变为便于传播的教学方法是如今需要解决的问题。
[0012](3)传统体育运动方式通常采用主观经验教学，主观经验难以通过言语表达出来供人学习，并且往往在运动过程中良好视觉搜索模式需要经过专业运动员长时间的训练才能够养成，然而这些视觉搜索模式往往是专业运动在潜意识情况下的条件反射，因此这些运动经验难以表达传授给新手。
[0013](4)目前市面上比较有代表性的智能眼镜如：Magic Leap one、Hololens 2，他们的产品中的主流应用大部分以游戏娱乐性，企业用户性为主，缺少真正贴合用户生活中所需的应用，在实用性，功能性没有广大的用户基础，则导致AR智能眼镜设备行业或/和技术发展缓慢。
[0014]解决上述技术问题的意义：本专利技术可以帮助用户在体育运动中快速的集中注意力，辅助快速行为决策，尽快掌握动作的技术要领，减少盲目的重复，极大地提高训练效率，降低用户受到伤害的可能性，从而达到最佳的训练效果。不仅可以将专家运动员潜意识的视觉搜索经验可视化地展示出来供新手学习，而且还可以通过互联网快速的将经验传送给任何新手。
[0015]在未来AR/MR智能眼镜设备为主导的智能眼镜时代，本专利技术所述的体育运动辅助训练系统能够帮助人们迅速的学习体育运动。
[0016]本专利技术通过AI的人工智能技术在云端服务中构建训练集，实现了对运动情境的自主学习，自动识别环境中的兴趣物体，进而分析获得有效的视觉搜索经验。因此在提出了利用人工智能机器学习设置特征标签，不仅使得计算机自主学习有效视觉搜索的方法，而且对于传统眼动心理学实验数据的处理上也起到的促进作用，大大降低了人工数据处理的工作量，手动绘制兴趣区域的工作量。
[0017]在新手用户段MR/AR眼镜利用的边缘计算技术将视频实时传至云端服务器与云端数据库比对，快速的为新手用户提供决策建议。因此降低了本地MR/AR眼镜的计算量和功耗。这将是5G发展背景下的一个消费级应用。
[0018]AR/MR智能眼镜设备结合上述应用具备能够解决人们实际需要解决的问题，而后可以在普通消费者中得到实际应用，如果能够普及在普通消费者人群，则可以提高AR/MR智
能眼镜设备的购买量，产品需求达到一定程度则加速产品硬件的更新迭代，便可以促进AR/MR智能眼镜设备的发展，符合未来科技的发展趋势。

技术实现思路

[0019]针对现有技术存在的问题，本专利技术提供了一种MR智能眼镜基于眼动追踪技术的体育辅助训练系统。
[0020]本专利技术是这样实现的，一种基于眼动追踪技术的体育运动的辅助训练系统，包括：
[0021]专家终端、云端服务器以及新手用户终端；
[0022]专家终端：用于利用AR/MR智能眼镜设备收集专家的数据，并将收集到的数据传输至云端服务器；
[0023]云端服务器：用于接收专家的相关数据，并对接收到的相关数据进行处理人工智能的机器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于眼动追踪技术的体育运动的辅助训练方法，其特征在于，所述基于眼动追踪技术的体育运动的辅助训练方法包括：步骤一，专家人群佩戴AR/MR智能眼镜参与或观看某对抗性运动比赛；AR/MR眼镜的眼动追踪模块、前置摄像头收集且记录下专家在该对抗性运动中的眼动行为数据和生理数据、视频，最终将收集到的专家数据上传至云端服务器；步骤二，云端服务器对上传的数据进行人工智能算法的分析；云端服务器接受来自专家端MR智能眼镜的数据，云端服务器通过预先AI训练好的事件特征库识别MR眼镜前置摄像头所拍摄的视频影像，理解该运动中各个时刻所发生的运动事件，并对视频中内容识别出兴趣物且划分兴趣区域；将专家运动过程的眼动数据进行复盘，注视点坐标映射在视频画面中，进而AI训练专家在该体育项目的该运动事件下的眼睛行为数据，获得视觉搜索模式和认知决策模型；步骤三，新手用户在佩戴MR智能眼镜时，眼镜系统进入此时新手用户正在进行中体育项目的教学系统，并将前置摄像头拍到的影像和眼动数据实时上传至服务器；步骤四，云端服务器对实时接收的视频数据进行识别，判断新手在该体育项目当前时刻的情境事件；识别视频内容中的兴趣物体，最终通过将新手的运动事件与云端数据库匹配相同的情境事件找到专家在该情境事件下的视觉搜索模式和视觉注视点；步骤五，MR/AR智能眼镜接受云端服务器传回结果数据，并通过MR智能眼镜光学显示系统进行呈现在当前情境事件下的视觉搜索模式和视觉注视点。2.如权利要求1所述的基于眼动追踪技术的体育运动的辅助训练方法，其特征在于，步骤一中，专家端AR/MR眼镜系统程序执行的方法包括：通过AR/MR眼镜前置摄像头拍摄专家视野前方画面，通过将摄像头拍摄到的运动过程视频和目标图像与经过人工智能技术训练过的物体特征数据库进行比对，进而计算出此时体育运动项目；还包括使用AR/MR智能眼镜设备上集成的GPS定位对当前所在位置的定位判断专家现在正处于什么环境中；相关数据包括专家眼动数据和AR/MR智能眼镜设备前置摄像头所捕捉到的对手运动的视频数据；其中专家眼动数据内容包括：其中专家眼动数据内容包括：注视点位置，注视持续时长，注视次数，对注视区域的首次注视时间，注视点的注视次数，瞳孔直径的变化，眼跳幅度/距离，眼跳次数，眼睛运动速度，扫视路径，首次注视时长，浏览顺序，一些扫视路径的可视化速度图表等信息，用户对视野前方各物体注视顺序，兴趣区域的平均注视时长，兴趣区域空间分布；MR眼镜上其他传感器还可以监测括专家用户此时的心跳、血压、身体运动的加速度、方向、身体姿态；专家收集数据时AR/MR智能眼镜设备前置摄像头所捕捉到比赛中对手的身体运动行为数据包括身体倾斜度，双腿的跨度，关节的特征，肩膀的屈伸程度及手腕的伸展程度，双腿的跳起或下蹲；所述收集数据方法包括：AR/MR智能眼镜设备上集成的眼动追踪模块和图像识别模块以及前置摄像头进行实时的采集所拍摄到的画面；眼动追踪模块根据专家在运动过程中收集眼动行为数据和对手的身体运动行为数据。3.如权利要求1所述的基于眼动追踪技术的体育运动的辅助训练方法，其特征在于，步骤二中，所述云端服务器通过人工智能机器学习算法识别MR眼镜前置摄像头所拍摄的视频影像，识别该运动中各个时刻所发生的情况，对视频中人物进行运动的姿态识别，处理为人
体骨骼运动的形式，通过将视频中目标人物的运动姿态与经过人工智能技术训练过的运动特征数据库进行比对，即可判断出此时目标人物的运动事件；将这些运动事件所发时间进行标记，记录下运动事件持续时间段或帧数；所述并对视频中内容识别出兴趣物且划分兴趣区域包括，兴趣区域能够有效的帮助眼动数据的分析；通过上述人工智能的图像识别技术对视频画面中的目标物体进行图像识别、图像的语义分割，进而在目标物体边缘绘制出兴趣区域；其中兴趣区域的形状为矩形或与目标物体形状相同；兴趣区域中内容包括头部、球拍、小臂、球台、胸、肩、大腿、小腿、球、其他人体身体结构；云端服务器的眼动数据与兴趣区域的分析包括：根据视频中已获取的运动事件发生地顺序为时间轴进行眼动数据分析，及分析专家在不同情境事件不同兴趣区域的眼动指标；按照时间顺序，将同一时刻专家的眼动数据映射在同一时刻的视频画面中，进而将眼动数据与兴趣区域进行对比运算；专家在对手的手臂、头、球兴趣区域的眼动数据包括注视平均时间、平均瞳孔直径、注视点个数、眼跳距离、首次注视点持续时间、次注视点持续时间、眨眼；通过统计总结出专家的有效视觉搜索点和兴趣物体、视觉认知模式；进一步确定专家眼动行为的有效性，并优化数据模型，在得到眼动数据分析结果后，将数据结果与其他专家、新的眼动数据分析结果进行对比，排除的专家的个别异常注视点指标方法；优化数据模型的方法具体为，通过专家手动确认其的预测球体或拳击的落点与实际结果是否一致；或通过计算机视觉系统自动识别在本情景事件下，专家的视觉搜索是否有效的回击了球体或有效的躲避攻击，如果是，则判断专家的视觉搜索做出的知觉预测与实际结果一致；进而，将该有效的专家眼动追踪数据加入到视觉搜索眼动数据模型中，优化人工智能算法和运动训练样本模型库；在另外一种可替换实施例中，视觉搜索模型训练的数据不仅仅通过佩戴MR/AR眼镜的专家采集获得对抗性运动中的眼动行为数据和生理数据、情境事件视频素材，还可以通过专家观看平面比赛视频过程中收集眼动数据，通过显示器、平板播放比赛视频给专家观看，并通过桌面是眼动仪采集眼动数据；所述人工智能机器学习算法包括：计算机视觉算法的非限制性示例包括：尺度不变特征变换SIFT，加速鲁棒特征SURF，附加地或替代地通过各种机器学习算法执行对象识别；训练后，机器学习算法由云端服务器或HMD存储。4.如权利要求1所述的基于眼动追踪技术的体育运动的辅助训练方法，其特征在于，步骤三中，新手用户在佩戴MR智能眼镜时，眼镜系统进入此时新手用户正在进行的体育项目，并将前置摄像头拍到的影像和眼动数据实时上传至服务器具体包括：1)进入应用的过程包括：通过MR/AR眼镜上的人机交互技术操控MR/AR眼镜显示的虚拟按键进入体育项目的教学系统并选择相应的教学科目；所述的人机交互技术包括眼动追踪、头动追踪、手势识别、语音识别、6DOF手柄；还包括MR/AR眼镜系统自动识别周围环境，眼镜系统自动进入新手体育项目教学当中；利用MR/AR眼镜前置摄像头拍摄新手视野前方画面，通过将摄像头拍摄到的运动过程视频和目标图像与经过人工智能技术训练过的物体特征数据库进行比对，进而计算出此时体育运动项目；将新手运动过程中前置摄像头拍摄到的视频实时上传至云端服务器进行处理，并等待并接收云端服务器的处理后的教学方案；
2)所述获取人眼注视点的过程包括：AR/MR智能眼镜已有眼动追踪模块获取人眼注视点；注视时，左右两只眼睛的视线汇聚相交于一对象；测出两只眼睛各自的视线角度和两眼视线夹角，确定双眼视线交点三维坐标，确定人眼注视点；步骤四中，通过将新手的运动事件与云端数据库匹配相同的情境事件找到专家在该情境事件下的视觉搜索模式和视觉注视点的人过程包括：云端服务器对接收的实时视频数据进行识别，通过人工智能机器学习算法识别MR眼镜前置摄像头所拍摄的实时视频影像，识别新手在当下运动时刻所发生的情况，对视频中人物进行运动的姿态识别，处理成骨骼运动的形式，通过将实时视频中目标人物的运动姿态与经过人工智能...

【专利技术属性】
技术研发人员：陈涛，陈忠坤，
申请(专利权)人：武汉市天蝎科技有限公司，
类型：发明
国别省市：