一种AR界面交互方法及AR显示设备技术

本发明专利技术涉及一种AR界面交互方法及装置，其方法包括当AR界面显示有控件时，按照预设周期获取人体体感信息；根据预设的机器学习模型对人体体感信息进行学习训练，得到体感变化矢量；根据体感变化矢量和预设矢量范围在AR界面上触发控件。本发明专利技术提供的AR界面交互方法及装置，通过机器学习模型学习训练人体体感信息得到体感变化矢量，进而利用体感变化矢量和预设矢量范围触发控件，不仅实现在AR界面上智能化触发控件，而且能够在一定程度上保证控件触发的准确性。

An AR Interface Interactive Method and AR Display Device

The invention relates to an AR interface interaction method and device, which includes acquiring human body sensory information according to preset period when the AR interface displays controls; learning and training human body sensory information according to preset machine learning model to obtain somatosensory change vector; triggering control on AR interface according to somatosensory change vector and preset vector range. The interactive method and device of AR interface provided by the invention can acquire the somatosensory change vector by learning and training the somatosensory information of human body through machine learning model, and then trigger the control by using the somatosensory change vector and preset vector range, which not only realizes the intelligent trigger control on AR interface, but also ensures the accuracy of the trigger control to a certain extent.

【技术实现步骤摘要】
一种AR界面交互方法及AR显示设备
本专利技术涉及AR显示
，尤其涉及一种AR界面交互方法及AR显示设备。
技术介绍
随着增强现实技术(AugmentedReality，下称AR技术)的发展，诸多领域开始广泛应用AR技术，用户可以通过AR屏幕互动于虚拟世界与现实世界之间，大大提高了用户体验，例如：旅游实景展示、广告投放、人物实时成像和游戏体验等领域均应用AR技术带给用户更好的体验。在一些场景中，AR屏幕上显示的AR界面需要提供用于用户与AR界面交互功能的控件，该控件不能通过用户在传统交互界面上的操作而被触发，阻碍了用户与AR界面交互。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术中AR界面呈现的控件不能适应用户操作而被触发，阻碍了用户与AR界面交互的不足，提供一种AR界面交互方法及AR显示设备。本专利技术解决上述技术问题的技术方案如下：依据本专利技术的第一方面，提供了一种AR界面交互方法，包括：当AR界面显示有控件时，按照预设周期获取人体体感信息；根据预设的机器学习模型对所述人体体感信息进行学习训练，得到体感变化矢量；根据所述体感变化矢量和预设矢量范围在所述AR界面上触发所述控件。依据本专利技术的第二方面，提供了一种AR显示设备，包括体感信息获取单元、学习训练单元和控件触发单元；所述体感信息获取单元，用于当AR界面显示有控件时，按照预设周期获取人体体感信息；所述学习训练单元，用于根据预设的机器学习模型对所述人体体感信息进行学习训练，得到体感变化矢量；所述控件触发单元，用于根据所述体感变化矢量和预设矢量范围在所述AR界面上触发所述控件。本专利技术提供的一种AR界面交互方法及AR显示设备的有益效果是：控件显示于AR界面作为按照预设周期获取人体体感信息的条件，在AR界面没有显示控件时，无需获取人体体感信息，可以降低人体体感信息的冗余；利用机器学习模型训练人体体感信息得到的体感变化矢量，可以保证体感变化矢量的准确性，相比于传统的用户操作触发传统界面上的控件和通过判断用户在识别区触发AR屏幕，通过体感变化矢量和预设矢量范围触发AR界面上的控件，不仅实现在AR界面上智能化触发控件，而且能够在一定程度上保证控件触发的准确性。附图说明图1为本专利技术实施例提供的一种AR界面交互方法的流程示意图；图2为本专利技术实施例提供的在两个预设周期内同步接收至少两组眼部图像和至少两组心率图的示意图；图3为本专利技术实施例提供的一种AR显示设备的结构示意图；图4为本专利技术实施例提供的另一种AR显示设备的结构示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例一如图1所示，本实施例提供的一种AR界面交互方法，以AR界面为游戏交互界面进行描述，该交互方法包括：当AR界面显示有控件时，按照预设周期获取人体体感信息；根据预设的机器学习模型对人体体感信息进行学习训练，得到体感变化矢量；根据体感变化矢量和预设矢量范围在AR界面上触发控件。控件显示于AR界面作为按照预设周期获取人体体感信息的条件，在AR界面没有显示控件时，无需获取人体体感信息，可以降低人体体感信息的冗余；利用机器学习模型训练人体体感信息得到的体感变化矢量，可以保证体感变化矢量的准确性，相比于传统的用户操作触发传统界面上的控件和通过判断用户在识别区触发AR屏幕，通过体感变化矢量和预设矢量范围触发AR界面上的控件，不仅实现在AR界面上智能化触发控件，而且能够在一定程度上保证控件触发的准确性。优选地，步骤1具体包括：从AR界面定位控件；当控件的显示面积小于预设显示面积时，忽略控件；当控件的显示面积等于或大于预设显示面积时，按照预设周期同步接收至少两组眼部图像和至少两组心率图；从任一组眼部图像中确定眼球区域信息，从任一组心率图中确定心率信息；组合任一预设周期内的所有眼球区域信息和所有心率信息，得到人体体感信息。利用预设关键词在AR界面上遍历每个控件，每个控件显示有用于提示用户控件功能的提示信息，当该提示信息与预设关键词匹配时，定位该提示信息对应的控件，例如：游戏交互界面上显示有两个图形控件，一个图形控件显示有“微信登录”，另一个图形控件显示有“取消登录”，“微信登录”与预设关键词“微信”相匹配，即可定位显示有“微信登录”的图形控件。在每一个预设周期内，通过集成在AR显示设备中的左右相机采集两组眼部图像，并且通过访问服务器接收至少两组心率图；以两组眼部图像和两组心率图像为例，从每一组眼部图像中对应检测一组眼部区域信息，一组眼部区域信息可以包括眼球区域、眼球周边区域、眨眼次数、瞳孔基准点等信息；从每一组心率图中对应检测出一组心率信息，一组心率信息可以包括心跳次数和心率曲线上的斜率。通过判断控件的显示面积与预设面积之间的大小关系，可以过滤掉显示面积较小的控件，并且触发显示面积较大的控件，控件的显示面积越大，其上显示的提示信息越大，有助于用户浏览提示信息相关联的控件功能。优选地，按照预设周期同步接收至少两组眼部图像和至少两组心率图具体包括：在任一预设周期内的预定时刻，同步采集至少两组眼部图像中的一组眼部图像和发送心率图请求；接收依据心率图请求所反馈的至少两组心率图，至少两组心率图根据不同心率采集设备所上传的心率信息生成得到；当接收到至少两组心率图时，采集至少两组眼部图像中的剩余组眼部图像。如图2所示，t1到t2为一个周期，在t1到t2之间的t11时刻同时采集一组眼部图形和向服务器发送心率图请求，服务器根据心率图请求反馈两组心率图，两组心率图分别由不同的运动手环将其采集的心率信息上传到服务器，服务器根据心率信息随着时间变化生成得到，在t12时刻接收到两组心率图时，立即采集剩余组眼部图像，例如：剩余组眼部图像为另一组眼部图像；t2到t3为一个周期，在t2到t3之间的t21时刻同时采集一组眼部图形和向服务器发送心率图请求，在t22时刻接收到两组心率图时，立即采集剩余组眼部图像；其中，预设周期可以在1-3秒，例如：预设周期为2秒，t1与t11的时间间隔以及t2与t21之间的时间间隔均为0.3秒，t2与t21之间的时间间隔以及t2与t22之间的时间间隔均为1.5秒。在每个预设周期内，先同步采集至少两组眼部图像中的一组眼部图像和发送心率图请求，继而将接收依据心率图请求所反馈的心率图作为采集该预设周期内的其他眼部图像的条件，可以保证在同一预设周期完整接收至少两组眼部图像和至少两组心率图。优选地，机器学习模型包括眼部学习子模型和心率学习子模型，步骤2具体包括：根据眼部学习子模型对人体体感信息中的所有眼球区域信息进行学习训练，得到瞳孔位移矢量；根据心率学习子模型对人体体感信息中的所有心率信息进行学习训练，得到心率变化矢量；组合任一预设周期内的所有瞳孔位移矢量和所有心率变化矢量，得到体感变化矢量。眼部学习子模型预先利用不同人体的大量眼部区域信息训练得到，该眼部学习子模型输出的瞳孔位移矢量的准确率较为稳定，心率学习子模型预先利用不同人体的大量心率信息训练得到，心率学习子模型输出的心率变化矢量较为稳定，通过眼部学习子模型和心率学习子模型对眼部区域信息和心率信息分离训练，减少眼部区域信息和心率信息相互干扰，可以提高瞳孔位移矢量和心率变化矢量的准确率。优选地，预设本文档来自技高网...

【技术保护点】
1.一种AR界面交互方法，其特征在于，包括：当AR界面显示有控件时，按照预设周期获取人体体感信息；根据预设的机器学习模型对所述人体体感信息进行学习训练，得到体感变化矢量；根据所述体感变化矢量和预设矢量范围在所述AR界面上触发所述控件。

【技术特征摘要】
1.一种AR界面交互方法，其特征在于，包括：当AR界面显示有控件时，按照预设周期获取人体体感信息；根据预设的机器学习模型对所述人体体感信息进行学习训练，得到体感变化矢量；根据所述体感变化矢量和预设矢量范围在所述AR界面上触发所述控件。2.根据权利要求1所述的一种AR界面交互方法，其特征在于，所述步骤1具体包括：从所述AR界面定位所述控件；当所述控件的显示面积小于预设显示面积时，忽略所述控件；当所述控件的显示面积等于或大于所述预设显示面积时，按照所述预设周期同步接收至少两组眼部图像和至少两组心率图；从任一组所述眼部图像中确定眼球区域信息，从任一组所述心率图中确定心率信息；组合任一所述预设周期内的所有所述眼球区域信息和所有所述心率信息，得到所述人体体感信息。3.根据权利要求2所述的一种AR界面交互方法，其特征在于，按照所述预设周期同步接收至少两组眼部图像和至少两组心率图具体包括：在任一所述预设周期内的预定时刻，同步采集至少两组所述眼部图像中的一组所述眼部图像和发送心率图请求；接收依据所述心率图请求所反馈的至少两组所述心率图，至少两组所述心率图根据不同心率采集设备所上传的心率信息生成得到；当接收到至少两组所述心率图时，采集至少两组所述眼部图像中的剩余组所述眼部图像。4.根据权利要求2所述的一种AR界面交互方法，其特征在于，所述机器学习模型包括眼部学习子模型和心率学习子模型，所述步骤2具体包括：根据所述眼部学习子模型对所述人体体感信息中的所有所述眼球区域信息进行学习训练，得到瞳孔位移矢量；根据所述心率学习子模型对所述人体体感信息中的所有所述心率信息进行学习训练，得到心率变化矢量；组合任一所述预设周期内的所有所述瞳孔位移矢量和所有所述心率变化矢量，得到所述体感变化矢量。5.根据权利要求4所述的一种AR界面交互方法，其特征在于，所述预设矢量范围包括第一矢量范围和第二矢量范围，所述步骤3具体包括：当所述体感变化矢量中的所述瞳孔位移矢量在所述第一矢量范围内，且所述体感变化矢量中的所述心率变化矢量在所述第二矢量范围内时，根据所述瞳孔位移矢量和所述心率变化矢量触发所述控件；当所述体感变化矢量中的所述瞳孔位移矢量超过所述第一矢量范围，或/和，所述体感变化矢量中的所述心率变化矢量超过所述第二矢量范围时，忽略所述瞳孔位移矢量和所述心率变化矢量。6.一种AR显示设备，其特征在于，包括体感信息获取单元、学习训练单元和控件触发单元；所述体感信息获取...

【专利技术属性】
技术研发人员：刘于飞，
申请(专利权)人：武汉中地地科传媒文化有限责任公司，
类型：发明
国别省市：湖北,42