非感知的MR眼镜人机识别方法、系统、设备及存储介质技术方案

本发明专利技术属于人机识别技术领域，公开了一种非感知的MR眼镜人机识别方法、系统、设备及存储介质，包括采集多种用户行为数据并进行多个维度的特征提取；当应用发出人机识别需求时，MR眼镜将提取到的特征数据加密后发送给人机识别服务器；人机识别服务器对接收到的用户行为数据进行解密计算后，根据特征数据识别用户当前应用场景，并选择相应的人机识别模型；所述用户行为特征数据输入到AI预先训练好的一个或多个人机特征模型中，利用所述人机特征模型确定真人和机器人的识别概率与预设阈值预测概率。本发明专利技术不再需要用户执行任何额外的操作，最大程度地降低了用户操作复杂度，同时利用多维特征数据进行模型训练，准确度更高。

【技术实现步骤摘要】
非感知的MR眼镜人机识别方法、系统、设备及存储介质
本专利技术属于人机识别
，尤其涉及一种非感知的MR眼镜人机识别方法、系统、设备及存储介质。
技术介绍
目前，随着互联网的普及，各种网络服务日益成为人们日常生活的一部分，如电子商务、免费的电子邮箱服务、免费的资源下载等等。然而，这些面向人类用户的服务时常被非法用户攻击和一些恶意计算机程序滥用，它们占用服务资源，产生大量的网络垃圾，影响用户的网络体验，对网络服务的安全性造成极大威胁。人机识别系统针对个人有助于保护免受垃圾邮件和密码解密的干扰；针对企业可有效阻止垃圾评论、论坛灌水、恶意注册、刷单、薅羊毛等行为。该系统会要求您完成一个简单的测试，以证明您是人，而不是一台试图攻入受密码保护账户、或恶意批量操作的计算机。人机识别系统是一种全自动开放式人机区分图灵机测试(CompletelyAutomatedPublicTuringtesttotellcomputersandhumansapart，CAPTCHA)，利用进行问答式身份验证的安全措施来区分计算机与人为目标的系统。CAPTCHA的运行机制如下：一个专门的服务器负责产生和评估CAPTCHA测试，用户使用某个需验证的网络服务时，服务器提供给用户一个测试，用户做完后将测试结果提交给服务器，服务器根据结果进行评估，决定该用户能否通过测试。机器人访问可以划分为两类，一类为：非恶意的访问，如常见各类爬虫机器人，或站点流量分析服务，一般情况下不对网络服务造成影响，但在业务繁忙时段可能进一步加大资源压力；另一类为：恶意的访问，如常见为黑色产业链攻击者，通过构造特殊的网络请求报文，恶意消耗网络服务资源，造成拒绝服务攻击，进一步达到对网络服务提供者勒索或恶性商业竞争的目的。两类机器人访问的IP都频繁地发起访问请求，不管是爬虫或恶意攻击的情况，对访问频次均有很高的要求，明显区别于正常用户使用特点；两类请求通常访问固定的资源，但爬虫和流量分析服务通常只会针对特定的页面进行分析，而恶意攻击者的目标往往针对最消耗系统资源的连接或资源，从而达到拒绝服务的目的。单一iP的访问频次同样显著高于个人用户动态分配IP，但请求当中的用户代理字段，请求链接资源由于正常用户使用的关系，往往不会趋于相同的特征，而呈现高度离散的特点。因此，关联规则算法可以利用最小支持度和置信度概念，从统计学上找到的频繁集。近眼显示设备(HMD)还包括电子显示器和光学组件。HMD可以是例如混合现实(MixedReality)—MR眼镜、增强现实(AugmentedReality)—AR眼镜、虚拟现实-(VirtualReality)—VR眼镜、扩展现实(ExtendedReality)—XR眼镜或其某种组合。电子显示器配置为发射图像光。光学组件被配置为将图像光引导到与用户眼睛的位置对应的HMD的出射光瞳，AR/MR/XR智能眼镜把其所创造的虚拟数字世界和现实世界环境相结合，使佩戴者既可以看到现实世界也可以看到虚拟的全息影像。随着近几年科技的高速发展，AR/MR智能眼镜人们生活中必不可少的智能终端，存在着巨大的市场价值和市场潜力。在当前已知手机和电脑上的人机识别技术中包括标准型验证码、文本验证码、视频动画验证码、扭曲或粘连模糊型验证码、图文点击验证码、知识型验证码、手机短信、及语音验证码、交互式验证码等。目前只有电脑和手机上的人机识别方法，针对AR/VR眼镜所用的人机识别方法国内外还没出现。AR/VR眼镜上的交互方式是电脑和手机不具备的，例如眼动交互、手势交互、控制器手柄，因此当前为电脑和手机设计的人机交互技术并不适用于AR/VR眼镜，或者说交互体验很差，但是AR/VR眼镜的不断发展，人机识别是刚需，同手机、电脑、服务器一样，是保护企业安全和利益的重要安全机制。而电脑和手机上的绝大多数人机识别方式需要用户输入某种交互操作(例如键盘输入验证码、拖动拼图)，不仅用户体验差；且识别精度不高，准确率低，且用户操作复杂度高。通过上述分析，现有技术存在的问题及缺陷为：(1)现有技术中没有针对AR/VR眼镜的人机识别方法。(2)现有人机识别方法需要用户输入某种交互操作，不仅用户体验差；且识别精度不高，准确率低，且用户操作复杂度高。解决以上问题及缺陷的难度为：AR/VR眼镜所用的交互方式(例如眼动追踪、头动追踪、控制器追踪等)，并且需要考虑用户的眼动行为和认知心理学、AI人工智能全新设计人机交互方法。在正常的人类活动中，眼睛也被广泛使用，因此在通过眼睛的行为(交互行为、观察行为、视觉搜索行为等)作为人机识别的依据时，可能需要分辨出用户的眼睛行为是有意识的还是无意识的。其中实现本技术的难点为区分正常的日常活动相关的眼睛运动与有意/无意眼球运动。解决以上问题及缺陷的意义为：对比于现有的手机和电脑上常见的人机识别方案，例如用户识别验证码图片后键盘输入验证码、用户鼠标拖动拼图至规定位置完整验证等等诸如此类，无外乎用到了键盘、鼠标、手指点击触摸屏。本专利技术结合VR/AR/MR眼镜特有的交互技术实现了人机识别，采用非感知的方式来执行人机识别。即，在用户不知晓的情况下，通过采集的终端设各处的特征(操作行为、轨迹等)，例如当用户利用眼睛在做其他事情的同时，顺便采集人机识别所需要的数据，把数据存储在安全缓存器中，和/或将人机识别后的结果存储在缓存器中一段时间，在规定时间内等待系统调用。上述“其他事情”为用户主观意识控制眼睛的应用场景，例如用户在执行某项任务时(购票、购物、下载文件等)、输入文字信息(打字)、阅读、眼动校准、视觉搜索、眼动交互、平滑追视等。再利用人工智能对行为数据集进行机器学习，最后利用训练出的行为模型与当下用户行为进行对比，来判断终端设备处的操作是否为正常用户的操作，进而达到人机识别的效果。与现有技术中用户需要计算验证码来执行人机识别的方式相比，不再需要用户执行任何额外的操作，从而最大程度地降低了用户操作复杂度。为AR/VR智能眼镜提供了多种人机识别方法，不仅为AR/VR眼镜提供安全保障，降低企业的服务器的安全风险，而且有效促进行业的发展，弥补了本领域国内和国外的技术空白，为正在高速发展的MR眼镜未雨绸缪。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种非感知的MR眼镜人机识别方法、系统、设备及存储介质。本专利技术是这样实现的，一种非感知的MR眼镜人机识别方法，所述非感知的MR眼镜人机识别方法包括：第一步，设置在MR眼镜用户客户端交互界面中的脚本或插件采集用于人机识别的数据的多种用户行为数据，并将行为数据存储至安全缓存器；第二步，对获取到的用户行为原始数据进行预处理，并对预处理后的数据进行多个维度的特征提取；第三步，当应用发出人机识别需求时，MR眼镜将提取到的特征数据加密后发送给人机识别服务器，人机识别服务器对接收到的用户行为数据进行解密计算后执行第四步；第四步，人机识别服务器根据特征数据识别用户当前应用场景，并选择相应的人机识别模型；第五步，用户行为特征数据本文档来自技高网...

【技术保护点】
1.一种非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法包括：/n第一步，设置在MR眼镜用户客户端交互界面中的脚本或插件采集用于人机识别的数据的多种用户行为数据，并将行为数据存储至安全缓存器；/n第二步，对获取到的用户行为原始数据进行预处理，并对预处理后的数据进行多个维度的特征提取；/n第三步，当应用发出人机识别需求时，MR眼镜将提取到的特征数据加密后发送给人机识别服务器，人机识别服务器对接收到的用户行为数据进行解密计算后执行第四步；/n第四步，人机识别服务器根据特征数据识别用户当前应用场景，并选择相应的人机识别模型；/n第五步，用户行为特征数据输入到AI预先训练好的一个或多个人机特征模型中，利用人机特征模型确定真人和机器人的识别概率与预设阈值预测概率。/n

【技术特征摘要】
1.一种非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法包括：
第一步，设置在MR眼镜用户客户端交互界面中的脚本或插件采集用于人机识别的数据的多种用户行为数据，并将行为数据存储至安全缓存器；
第二步，对获取到的用户行为原始数据进行预处理，并对预处理后的数据进行多个维度的特征提取；
第三步，当应用发出人机识别需求时，MR眼镜将提取到的特征数据加密后发送给人机识别服务器，人机识别服务器对接收到的用户行为数据进行解密计算后执行第四步；
第四步，人机识别服务器根据特征数据识别用户当前应用场景，并选择相应的人机识别模型；
第五步，用户行为特征数据输入到AI预先训练好的一个或多个人机特征模型中，利用人机特征模型确定真人和机器人的识别概率与预设阈值预测概率。


2.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述第一步中的用户行为数据包括眼球行为和轨迹数据、眼睛无意识生理反应数据、头动数据、身体运动数据、手势数据、6DOF控制器手柄数据；
所述眼球行为和轨迹数据为按照时间顺序呈现的视觉注视点位置连线形成的轨迹图以及在相应位置的注视时长；
所述眼睛无意识生理反应数据包括眨眼、瞳孔直径变化、视觉深度数据；
所述头动数据和身体运动数据为通过MR智能眼镜设备中的加速度传感器、陀螺仪传感器、磁力计、IMU获取的头部和身体数据。


3.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述第二步中的对原始数据进行预处理；具体来说，预处理包括数据等长填充和异常数据清洗，对于经过预处理后的数据执行特征提取处理。


4.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述第三步中的MR眼镜将提取到的特征数据加密后发送给人机识别服务器包括：MR眼镜将提取到的特征数据通过独有PKI加密技术进行加密，基于SSL协议将采集的用户行为特征数据上传至人机识别服务器。


5.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述第四步中的人机识别服务器根据特征数据识别用户当前应用场景并选择相应的人机识别模型包括：
(1)眼睛注视点视觉轨迹模型：当存在阅读场景时，选择眼睛注视点视觉轨迹模型作为人机识别模型；
眼睛注视点视觉轨迹模型利用包括目标在页面的坐标、大小、色彩、文字的复杂程度、空格的注视目标信息、注视位置、注视持续时间、注视次数、首次注视区域、首次注视时长、眼跳次数、眼跳距离、瞳孔大小、眼球运动速度、浏览顺序、注视轨迹及相关眼动指标作为特征数据进行训练得到；
(2)眼睛无意识行为模型：
当不存在具体的搜索目的时，采用眼睛无意识行为模型作为人机识别模型；
眼睛无意识行为模型利用眨眼、瞳孔直径、眼颤、视觉深度及相关眼动指标作为特征数据进行模型训练得到；
(3)其他身体行为模型：
其他身体行为模型选择头动数据作为特征数据进行人工智能模型训练得到；
头动数据包括：加速度传感器、陀螺仪、磁力计、IMU信号数据。


6.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法的眼睛注视点视觉轨迹模型包括：
(1)视觉搜索轨迹模型：
当用户具有明确的搜索任务、产生具有明显共性特征的视觉轨迹的场景中选择视觉搜索轨迹模型作为人机识别模型；
所述视觉搜索轨迹模型选择选择注视时长、注视次数、首次注视时长、瞳孔大小、眼球运动速度、扫视路径、眼跳距离、眼跳次数、浏览顺序、UI界面按钮时间和空间分布、一些扫视路径的可视化速度图表及相关信息作为特征数据，进行人工智能模型训练获得；
(2)阅读文字的视觉轨迹模型特征：
当阅读的应用场景下，选择阅读文字的视觉轨迹模型特征作为人机识别模型；
所述阅读文字的视觉轨迹模型特征选择眼跳后与文字的位置关系、眼跳距离、眼跳次数、注视时长、文本的内容作为特征数据进行人工智能模型训练获得；
(3)打字输入过程中的视觉轨迹模型：
当存在打字输入的场景时，选择所述打字输入过程中的视觉轨迹模型作为人机识别模型；
基于选择的人机识别模型利用对应所述人机识别模型的特征数据进行训练，得到多个人机识别特征模型；
基于训练得到的眼睛注视点视觉轨迹模型、眼睛无意识行为模型、其他身体行为模型构建融合人机识别模型，并使用样本库中的用户行为数据训练所述融合人机识别模型，得到所述人机识别特征模型。


7.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述第五步中的用户行为特征数据输入到AI预先训练好的一个或多个人机特征模型中，利用所述人机特征模型确定真人和机器人的识别概率与预设阈值，确定操作所述近眼显示设备的对象是用户或机器人包括：
通过识别概率与预设阈值之间的大小关系，确定待识别数据来自于用户或者是来自于机器人，进而确定操作智能电子设备的对象是用户或者是机器人。


8.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法设置在MR眼镜用户客户端交互界面中的脚本/插件采集多种用户行为数据，当应用发出人机识别需求时，MR眼镜将数据被加密后发送给人机识别服务器；所述用于人机识别的用户行为数据包括眼球行为数据、头动数据、身体运动数据、手势数据、6DOF控制器手柄数据；
所述客户端交互界面应用场景具体为，应用在安装在智能眼镜上的客户端软件、MR眼镜内部系统软件，或者网页浏览器；其中客户端软件在启动时加载采集用户行为数据的第一可执行代码程序组件；网页浏览器可能需要安装某种安全插件用于采集用户行为数据；
采集数据是在应用程序的使用过程中或者浏览器的使用过程中就具备收集行为数据的能力，及用户正常使用的过程中就已经开始采集用户数据用于人机识别；通常采集人机识别程序启动前一段时间内的数据，当在具有人机识别需求时调用自动当前行为数据，自动判断是否符合真人模型，无需额外的交互操作；人机识别需求包括登陆、注册、提交信息、下载。


9.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法数据采集方式具体为：随机采集用户使用过程中一段时间内的多种用户行为数据，以生成样本数据，将时间上、幅值上都连续的模拟信号，在采样脉冲的作用下，转换成时间上离散、但幅值上仍然连续的离散模拟信号；通过随机采样方法、分层采样方法或者是窗口方法对获取的待识别数据进行采样；对获取的待识别数据的采样频率为20Hz，对每个待识别数据的采样时间可以为6.4秒，根据该采样频率和采样时间生成对应的样本数据。


10.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法当应用人机识别请求时，将特征数据上传至服务器将多种用户行为数据加密传送至人机识别服务器的过程中对数据进行加密计算，具体实现流程：基于SSI协议将加密后的用户行为数据发送到人机识别服务器，以供人机识别服务器在对接收到的用户行为数据进行解密计算后，则依据预先设置好的行为特征模型，对用户行为数据的触发主体进行人机识别；具体的，通过独有PKI加密技术，基于SSL协议将采集的用户行为数据上传至验证服务端。


11.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法人机识别服务器根据特征数据识别用户当前应用场景，并选择相应的人机识别模型，用户行为特征数据输入到AI预先训练好的一个或多个人机特征模型中，利用人机特征模型确定真人和机器人的预测概率；
当应用人机识别服务器时，根据用户当前应用场景选择相应的人机识别模型；
第一种眼睛注视点视觉轨迹模型：
(1)视觉搜索轨迹模型：当用户具有明确的搜索任务时，产生具有明显共性特征的视觉轨迹；模型中包括的特征信息有：
一.注视点轨迹先后顺序为注视点先停留在出发城市；注视点先停留到达城市；注视点先停留搜索；注视点先停留时间与价格栏，眼动轨迹首先停留在当天价格栏，然后眼动轨迹成左右扫视；用户选择合理时间和价格；在航班展示栏选择航空公司和具体时间，用户可能根据自身偏好优先注视信息，然后用户从该信息位置进行上下或左右的扫视搜寻次要选择；预定机票；
二.时间上：订票页面的注意力的时间分布；
三.空间上：最吸引用户注意力的区域、订票过程中的浏览轨迹；
四.信息检索效率：总体的注视次数；
五.决策效率：首次注视到首次鼠标点击的时耗；
六.内容布局：订票相关的信息和功能区之间眼跳次数、浏览顺序；
七.瞳孔大小、眼球运动速度、扫视路径；
(2)阅读文字的视觉轨迹模型特征：阅读英文和中文时，两者分别的轨迹特征：
1)英文轨迹特征：以往关于拼音文字阅读的研究结果发现，读者对某个词的首次眼跳落点会落在该词的中间偏左位置，该位置被定义为偏向注视位置，相较于词长较长的词，词长较短的词的偏向注视位置更靠近词的中心，词长越长，再注视概率越高；
2)中文轨迹特征：在用户阅读一段中文文字材料时，用户在该段文字材料中每个词组和/或每个字的注视位置、注视时长在时间先后顺序下形成的视觉轨迹；
文字材料中任意词组和/或字的首次注视位置，注视位置可能是词首、中央、词尾；
词组内的再注视眼跳目标注视位置是词组中央，而相邻的词组间眼跳目标注视位置是单独字上；
汉字的复杂性影响读者的注视时间，具体表现为汉字的复杂性越低，凝视时间越短；复杂性越高，凝视时间越长；注视时间和眼跳目标选择受汉字的复杂性影响；
在阅读过程中，首字的笔画数会对目标词的注视概率、眼跳距离、眼睛的落点位置以及首次注视时间产生影响；具体为，首字笔画数越少，注视概率越低，眼跳距离越长，眼睛落点位置距离起跳位置越远，首次注视时间也越短；
词后加空格，被试眼睛的注视位置会落在远离空格的地方，而不是落在词组中央上；相反，在词前加空格没有对阅读起促进作用；
如果目标为高频词，不管是跳入还是跳出目标词N的眼跳长度都会增长，并且注视时长较短；
在用户阅读中文文字材料时，用户在该段文字材料中每个词组和/或每个字的注视位置、注视时长、眼跳距离在时间先后顺序下形成的视觉轨迹为一条与X轴平行的曲线；
阅读时，当时用户读到难以理解的部分时，会在跳回到没有没有理解的地方重新阅读进行理解；
当阅读到句尾会眼跳至下一段句首进行阅读；
3)打字输入过程中的视觉轨迹模型：当用户在打字的过程中，表现在，一遍看输入法app窗口，一遍看键盘按键位置；所述输入法app窗口具体位置为所输入联想词组提示窗口；所述键盘位置是能够组成当下正在输入文字的拼音字母位置；
在输入一段文字后，用户会反复阅读已经输入的内容，确认文字是否通常；
眼睛注视点视觉轨迹模型训练过程中，将真人的眼动数据输入AI训练模型进行训练；
第二种眼睛无意识行为模型：在用户的平时生活中，这些眼球行为无时无刻的发生，并且人无法通过主观意识控制；眨眼、瞳孔放大、眼颤、视觉深度；
眼睛无意识行为模型训练过程中，将真人的眼动数据输入AI训练模型进行训练，特征数据包括眨眼、瞳孔直径、眼颤、视觉深度眼动指标生成AI训练模型，该数据被眼动追踪模组在任意时刻采集；
第三种其他身体行为模型：
通过加速度传感器以及陀螺仪传感器获取待识别数据，基于待识别数据中的明显差异对获取的待识别数据进行识别测试；利用测试仪、编写程序或者是其他方式，通过软件开发工具包采集加速度传感器数掘以及陀螺仪传感器数据；其中，加速度传感器数据以及陀螺仪传感器数据分别包括X轴、Y轴和Z轴三个子维度的数据，采集的待识别数据对应为6维数据；加速度传感器以及陀螺仪传感器设置于智能电子设备中；通过加速度传感器以及陀螺仪传感器获取待识别数据，基于待识别数据中的明显差异对获取的待识别数据进行识别测试。


12.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法通过对比一个人机识别特征模型或几个融合人机识别特征模型的识别概率与预设阈值，确定操作近眼显示设备的对象是用户或机器人；
预设阈值设置为0至1之间的任意数值，根据测试集的评价指标，识别概率即为识别模型的输出，是一个取值范围为0至1之间的概率值，用于表示待识别数据类型的概率；通过识别概率与预设阈值之间的大小关系，确定待识别数据来自于用户或者是来自于机器人，确定操作智能电子设备的对象是用户或者是机器人；
将训练得到的第一种眼睛注视点视觉轨迹模型和第二种眼睛无意识行为模型、第三种其他身体行为模型构建融合人机识别模型，并使用所述样本库中的用户行为数据训练所述融合人机识别模型。


13.如权利要求1所述的非感知的MR眼镜人机识别方法，其特征在于，所述非感知的MR眼镜人机识别方法人机识别模型的构建训练方法包括：首先通过MR眼镜接收到的眼动行为数据，头部位置信息，上下文内容信息、交互控制设备；
通过成千上万的不同MR眼镜用户收集的真人行为数据，当获得用户授权后数据被上传至人机识别模型训练服务器被用于训练人机识别模型，并且已被进行预处理；
应用场景的信息，每一种应用场景都是独立的一种人机识别方法，应用场景因而采集的用户数据不同，进而用于训练人机识别的数据特征不同，最终人机识别模型不同，每种考核方案对应着一种；通过应用场景提供的眼睛行为进行训练和目标点位置坐标，具体为：
(1)视觉搜索轨迹模型：当用户具有明确的搜索任务时，会产生具有明显共性特征的视觉轨迹，具体为在人类在视觉搜索过程中存在有目的自我意图的“扫视”行为。在具有明确的搜索任务的应用场景下可以选择注视时长、注视次数、首次注视时长、瞳孔大小、眼球运动速度、扫视路径、眼跳距离、眼跳次数、浏览顺...

【专利技术属性】
技术研发人员：陈涛，
申请(专利权)人：陈涛，
类型：发明
国别省市：湖北;42