MR智能眼镜内容交互、信息输入、应用推荐技术的方法技术

本发明专利技术属于近眼显示设备应用交互技术领域，公开了一种MR智能眼镜内容交互、信息输入、应用推荐技术的方法，判断用户是否处于精神游离状态；获取局部图像；根据图像分割处理结果为用户提供确认选择的视觉反馈；根据图像处理、理解的结果，推荐系统对应用通知图标进行相关度排序；将声带肌肉神经信号识别为语言文字，并将指令传入MR眼镜系统。本发明专利技术弥补了纯眼动和脑电波(脑机接口)交互的缺陷，对智能眼镜和交互技术的发展有着重要的意义，弥补国内外本领域的技术不足；本发明专利技术通过识别用户对任何事物产生的疑惑感觉并通过图像识别进行信息反馈解答用户疑惑的近眼显示设备，能够帮助用户更便捷地认识信息，了解信息和解答信息。

【技术实现步骤摘要】
MR智能眼镜内容交互、信息输入、应用推荐技术的方法
本专利技术属于计算机
，尤其涉及一种MR智能眼镜内容交互、信息输入、应用推荐技术的方法。具体涉及一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法、信息输入系统、具有皮肤表面捕捉语言神经肌肉信号捕获功能的HMD设备、近眼显示设备、可穿戴的交互界面、全新的应用入口。
技术介绍
目前，业内常用的现有技术是这样的：全息影像的解释：全息影像是指在机器(近眼显示设备、智能眼镜)生成的虚拟对象通过智能眼镜的光学显示器看到的虚拟影像。交互式世界包含真实内容(与物理环境中的真实对象相关联)和虚拟内容的任何组合，在最普遍的意义上，修改现实技术可以产生这样一个互动的世界。AR技术和MR技术提供了交互式世界，其包括作为基础的物理环境的展示，其中添加了任何类型的虚拟对象。虚拟对象可以包括文本，图标，视频，图形用户界面演示，静态场景元素，动画角色等。VR技术提供完全由虚拟内容组成的交互式世界。近眼显示设备是一款集成眼动追踪技术、脑电波感应技术、图像识别技术与近眼光学成像等技术的智能设备，未来它能够代替手机成为新一代智能计算终端设备。它可以帮助人们在日常生活中便利地解决许多问题，它将成为人们离不开的智能工具。在生活中，人们70％通过眼睛获取外界的信息，无时无刻都有着认知需求，例如这个东西是什么？这个产品怎么使用？这个产品效果怎么样？这个食物好不好吃？这是什么汽车品牌、什么性能？这么店铺的评价是什么？目前的现有技术以图搜图的图像识别技术(淘宝的拍立淘)已经可以实现对兴趣图片进行识别分析获取到相关的产品信息(例如产品价格、销量、评论等)，但是基于未来的智能眼镜在人眼前呈现这些大量的信息内容会造成较差的体验、以及过高的认知负荷和安全风险。体验差体现在目前的智能眼镜视场角很小，不能一起显示过多的信息，并且使人们在对关键信息进行视觉搜索时造成不必要的干扰信息；安全风险体现在过量的信息呈现会阻挡人的视线，造成人在行走过程中的安全隐患。因此智能眼镜不建议一次呈现过多信息。当人们注视着眼前的事物时，单从眼球行为一个维度分析不能够确定用户是对这个物体感兴趣还是诱惑，甚至是目前的脑机接口技术，眼动追踪和脑机接口两个技术在单独使用的情况下都无法获得更加详细的心理活动状态，在没有用户输入详细信息的条件下，计算机无法得知用户具体的需求。例如，当人注视着一个食品产品时，计算机不知道用户是想获取食品的价格、还是加工原材料、还是网友评价、还是所含热量等信息。目前AR/VR智能眼镜的交互技术有手势识别、语音识别、眼动追踪、脑机接口、控制手柄这几种交互技术，其中眼动追踪是其使用过程中最重要的交互方式之一。当然眼动追踪交互方式具有移动选择快、隐私性强、消耗体力少、方便快捷等无可取代的优势。当通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向(眼球往上看、往左右看等)等一系列的眼睛行为与近眼显示设备或者显示器中所呈现的虚拟影像进行交互时(交互包括选择确认、点击、翻页滑动、属性弹出等，包括但不限于上述交互行为)需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的一定主观精力，并且影响视线，因此单纯的眼动追踪交互方式不是一个好的人机交互方式。专利CN104173063A公开了一种视觉注意的检测方法及系统，其采用眼动追踪技术对眼球瞳孔进行跟踪检测，通过在视觉搜索过程中注意的变化引起瞳孔直径的变化来判断人实时的注意状态。专利CN108042145A公开了情绪状态识别方法和系统、情绪状态识别设备，其通过计算脑电波的能量特征信息得到脑电放松度特征识别模型，对用户脑电信号进行识别获取放松度等级，从而确定用户的情绪状态。如今科技的发展，在军事领域出现了很多机械外骨骼装备，他们像“钢铁侠”战衣附着在人的体外，随着人的意念就可以与人的肢体动作协同进行操控，让人瞬间可以举起千斤巨石。机械外骨骼通过截获大脑发送至四肢的肌肉神经电信号，计算机将神经电信号翻译成机械外骨骼的控制信号，由此达到与人体运动行为一致的效果，达到辅助人体的作用。本专利技术专利以此类推，可以截获人的面部肌肉和声带肌肉的神经信号来翻译出人的语音。综上所述，现有技术存在的问题是：现有技术中，近眼显示设备的操作交互体验感性。手势识别交互技术：在艺术创作(绘画、制作3D模型)、办公应用场景中，手势识别具有不错的体验。但是在平常的生活场景中，很难想象在等地铁的过程中，每个人张牙舞爪的操作着全息虚拟界面，这是很不现实的。这不仅违反人的习惯，而且还会造成个人信息的泄露。语音识别交互技术：很难想象在等地铁的时候或者是公众场合通过语音识别来对计算机输入信息，这不仅可能会泄露隐私信息，并且对周围人也造成了干扰。对于很多性格内向的人，并不喜欢说话出声，语音识别的交互方式对这类人群的用户体验并不好；除此之外，监听:语音接口总是监听对话，当不需要的时候，只会在稍后被一个特定的触发词明显激活(例如-“hi，Siri”激活苹果助手，但应用程序仍然打开)；非个人设备:这些设备不是个人设备，任何其他用户都可以有意或无意地向这些设备发送有效的语音输入。目前的语音交互设备作为一种设备的可用性较低，用户不能随时随地使用语音界面，这在固定的专用语音设备(例如-亚马逊Echo)。此外，最佳语音识别(电信设备)需要用户接近设备。脑机接口交互技术：脑机接口是未来最有效的人机交互方式，但是目前的人们对大脑的研究是有限且缓慢的，现在非侵入式脑机接口只能检测大脑皮质层的脑电波和人体神经网络的生物电，因此现在脑机接口交互技术不是很成熟，并不能读取人的思维和想法。眼动追踪交互技术：对比于手势识别交互方式，眼动追踪交互的优势在于隐蔽性高而不失操作便捷，适用于对隐私由要求的应用场景。但是在目前的眼动交互是通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向(眼球往上看、双面往中心看等)等一系列的眼睛行为与近眼显示设备中所呈现的虚拟影像进行交互时(交互包括选择确认、点击、翻页滑动、属性弹出)需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。对比纯眼动交互(注视目标一定时长、双目眨眼、单目眨眼、)体验不好以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的主观精力。综上所示，目前市场上在普通消费者日常生活场景下还没有出现一套舒适的AR/MR智能眼镜的人机交互方式，现有技术或设备无法帮助用户更便捷地认识信息，了解信息和解答信息。解决上述技术问题的难度：目前AR/MR智能眼镜还处于发展的初期阶段，全球范围内的交互技术都还不是很成熟，因此目前的交互技术有着巨大的提升空间。解决上述技术问题的意义：本专利技术的交互方案为：通过视线本文档来自技高网...

【技术保护点】
1.一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法包括：/n步骤一，根据用户的眼动行为或脑电判断用户精神状态，判断用户精神状态是否处于非精神游离状态或精神游离状态，是否将注意力集中在视觉前方，并获取视觉注视点区域局部图像；/n步骤二，对获取的图像内容进行人工智能图像识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知；/n步骤三，根据图像识别、理解结果，智能眼镜的推荐系统智能对相关应用、相关服务、相关信息的通知图标进行优先度排序；将大脑传送至面部和声带的肌肉神经信号识别为语言文字计算机指令，然后对智能眼镜中内容进行交互控制；/n步骤四，根据采集到的面部肌肉指令信息与注视点位置的图像信息来判断用户的需求属性；如果是信息则在数据库检索答案，并将检索到的答案呈现在光学近显示器上；如果是应用则打开相关应用呈现在光学近眼显示器上。/n

【技术特征摘要】
1.一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法包括：
步骤一，根据用户的眼动行为或脑电判断用户精神状态，判断用户精神状态是否处于非精神游离状态或精神游离状态，是否将注意力集中在视觉前方，并获取视觉注视点区域局部图像；
步骤二，对获取的图像内容进行人工智能图像识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知；
步骤三，根据图像识别、理解结果，智能眼镜的推荐系统智能对相关应用、相关服务、相关信息的通知图标进行优先度排序；将大脑传送至面部和声带的肌肉神经信号识别为语言文字计算机指令，然后对智能眼镜中内容进行交互控制；
步骤四，根据采集到的面部肌肉指令信息与注视点位置的图像信息来判断用户的需求属性；如果是信息则在数据库检索答案，并将检索到的答案呈现在光学近显示器上；如果是应用则打开相关应用呈现在光学近眼显示器上。


2.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，所述判断用户是否处于精神游离状态，是否将注意力集中在视觉前方采用实时检测瞳孔直径变化状态，判断用户注意状态；
判断用户注意状态中，对瞳孔的实时跟踪检测、对用户脑电波实时检测；
注意状态包括注意准备阶段、注意处理阶段、注意保持阶段、注意解除阶段；
判断用户是否处于注意保持阶段，若非注意保持阶段，则设备不进行任何操作，若为注意保持阶段则进行下一步操作；
当用户处于注意保持阶段，则触发眼动追踪模块获取人眼注视点方向与坐标；
当用户处于注意保持阶段，则触发图像识别模块获取人眼当前注视物体。


3.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，处于非精神游离状态，则通过智能眼镜已有的眼动追踪模块获取用户此时的视觉注视点，并计算映射到真实三维世界和AR眼镜成像屏幕，实时判断用户注视点是否为真实世界物体还是智能眼镜所呈现的三维全息影像，智能眼镜通过双目视觉深度摄像头计算获得世界三维坐标；若处于精神游离状态则不进行任何操作；眼动坐标具体包括：人眼的注视点和眼球运动坐标向量并将人眼注视点映射在真实三维世界的和成像屏幕坐标。


4.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，所述获取视觉注视点区域局部图像；如果用户注视智能眼镜所呈现的全息影像，则智能眼镜计算机系统内部进行截图指令或者直接与全息内容产生信息交互；如果用户注视现实场景中的真实对象，则截取注视点区域的真实场景图像；将获取的图像发送至图像识别模块进行处理。


5.如权利要求4所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，所述获取局部图像条件进一步包括：设备检测到用户注视同一物体超过一定时长；设备检测到用户视觉追踪物体，眼球持续移动了一段距离；设备检测到用户注视同一物体超过一定次数；设备检测到用户注视同一物体时瞳孔直径发生变化；设备检测到用户注视同一物体时生物电产生非一般信号；外部功能硬件设备给予的预设关联指令。


6.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤二中，所述对获取的图像内容进行人工智能识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知之后根据图像分割处理结果，对用户所注视真实目标外围进行拟合的轮廓线标注，以此为用户提供确认选择的视觉反馈，轮廓线为MR智能眼镜所呈现的虚拟影像。


7.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤三中，所述根据图像识别、理解结果，智能眼镜的推荐系统智能地对相关应用、相关服务、相关信息的通知图标进行优先度排序，应用、服务、信息与通知图标为相关联关系，应用通知的图标标注在真实目标轮廓线外围，优先度排序根据用户情绪波动状态和真实目标本身的全息内容；
将大脑传送至面部和声带的肌肉神经信号识别为语言文字，并将指令传入AR眼镜系统，与所述全息目标进行交互控制，实现用户需求和指令的输入，即相关应用、相关服务、相关信息的选择。


8.如权利要求7所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，通过接收用户大脑传到面部和声带肌肉神经信号，设备对特定的肌肉神经信号进行检测识别成特定的语言文字信息，设备将该信息进行解读从而获取用户具体指令；根据用户指令对图像信息进行处理；当用户发出解读所注视物体的指令后，设备将通过光学成像模块自动呈现信息；
当设备检测到用户对所注视物体产生疑惑，设备则通过光学成像模块自动呈现信息；设备将获取的图像内容进行图像识别，将识别结果传输到云端数据库，数据库进行信息比对，筛选有效信息并传输回设备上；
信息包括注视物体的名称、注视物体的含义与解释、注视物体的组成成分、注视物体的使用信息。


9.如权利要求8所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，信息呈现中，设备触...

【专利技术属性】
技术研发人员：陈涛，
申请(专利权)人：陈涛，
类型：发明
国别省市：湖北;42