本说明书实施例提供基于AR/VR眼镜的交互方法以及装置，其中所述基于AR/VR眼镜的交互方法包括：获取AR/VR眼镜的图像采集设备采集的视频流；从所述视频流提取目标的动作形态和动作参量；判断所述目标的动作形态和动作参量是否符合预设唤醒动作；在符合预设唤醒动作的情况下，通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据；基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作。互操作。互操作。
【技术实现步骤摘要】
基于AR/VR眼镜的交互方法、装置及AR/VR眼镜
[0001]本说明书实施例涉及智能穿戴
，特别涉及一种基于AR/VR眼镜的交互方法以及装置。
技术介绍
[0002]随着智能穿戴技术的发展，为人们提供了AR/VR眼镜的技术。AR/VR眼镜，是基于增强现实(Augmented Reality)/虚拟现实(Virtual Reality),将虚拟信息与真实世界巧妙融合的智能穿戴技术。对AR/VR眼镜进行智能化设计可以为用户提供多种多样的交互体验。
[0003]目前，AR/VR眼镜主要通过一些额外的配件例如手套、手环、绑带等对距离、接触的感应来实现交互。但是，这样的交互方式需要用户除了AR/VR眼镜本身之外，还要额外佩戴配件，导致用户穿戴复杂。
技术实现思路
[0004]有鉴于此，本说明书实施例提供了一种基于AR/VR眼镜的交互方法。本说明书一个或者多个实施例同时涉及一种基于AR/VR眼镜的交互装置，一种AR/VR眼镜，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种基于AR/VR眼镜的交互方法，所述方法包括：获取AR/VR眼镜的图像采集设备采集的视频流；从所述视频流提取目标的动作形态和动作参量；判断所述目标的动作形态和动作参量是否符合预设唤醒动作；在符合预设唤醒动作的情况下，通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据；基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作。
[0006]可选地，所述AR/VR眼镜的图像采集设备为单目摄像头。
[0007]可选地，所述从所述视频流提取目标的动作形态和动作参量，包括：从所述视频流抽取采样帧，从所述采样帧提取目标的动作形态和动作参量；所述通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据，包括：通过对所述视频流中的目标进行逐帧地追踪，得到所述目标的时序动作数据。
[0008]可选地，所述基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作，包括：在所述AR/VR眼镜播放视频时，基于所述目标的时序动作数据控制所述AR/VR眼镜对所述视频执行对应的交互操作。
[0009]可选地，所述基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作，包括：获取交互界面的屏幕坐标系；计算出所述目标的预设多个关键点在所述视频流中的坐标序列；计算所述坐标序列在所述屏幕坐标系对应的交互位置；在所述时序动作数据满足所述交互位置的预设操作条件的情况下，控制所述AR/VR眼镜执行所述预设操作条件对应的交互渲染与交互操作。
[0010]可选地，还包括：在符合预设唤醒动作的情况下，确定进入连续交互状态；在所述连续交互状态下，利用所述目标的时序动作数据对追踪到的目标进行动作识别，判断所述
目标的动作是否为预设正确交互动作；如果否，退出连续交互状态，重新进入所述获取AR/VR眼镜的图像采集设备采集的视频流的步骤。
[0011]可选地，所述判断所述目标的动作形态和动作参量是否符合预设唤醒动作，包括：计算出所述目标在所述视频流中的时序图像特征；计算出所述目标的预设多个关键点在所述视频流中的坐标序列；将所述坐标序列与所述目标的时序图像特征进行融合，得到融合后的动作特征，所述动作特征包括动作形态特征和动作参量；判断融合后的动作特征是否符合预设唤醒动作。
[0012]可选地，所述计算出所述目标的预设多个关键点在所述视频流中的坐标序列，包括：基于多分支深度卷积神经网络，对所述目标在所述视频流的多个采样帧中所在的区域进行预设多个关键点的坐标的预测，其中，所述多分支深度卷积神经网络是基于多分支结构对不同分辨率的图片进行特征学习训练得到的。
[0013]可选地，所述多分支深度卷积神经网络中包括以下任一种设置或多种设置的组合：由1x1卷积，分组卷积，以及空洞卷积组成的卷积模块；用于多分支卷积交叉融合计算的1x1卷积；用于编译层中的分组卷积集中存放数据的存储区域。
[0014]可选地，所述目标为人手，所述预设多个关键点包括人手的关节点和/或手指的指尖点。
[0015]可选地，所述从视频流提取目标的动作形态和动作参量的步骤中，和/或，所述在符合预设唤醒动作的情况下，通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据的步骤中，通过使用卷积神经网络进行特征学习；所述卷积神经网络的训练过程包括：在所述卷积神经网络的多分支卷积阶段进行模型剪枝，得到模型剪枝后的卷积神经网络；基于模型剪枝后的卷积神经网络进行特征学习训练，得到卷积神经网络模型；对所述卷积神经网络模型进行模型量化，得到模型量化后的卷积神经网络模型；对模型量化后的卷积神经网络模型进行特征学习训练，得到轻量化的卷积神经网络模型。
[0016]可选地，所述通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据，包括：基于多目标追踪算法以及单目标追踪算法，对所述视频流的多个采样帧中的目标进行追踪，得到所述目标的时序动作数据。
[0017]根据本说明书实施例的第二方面，提供了一种基于AR/VR眼镜的交互装置，所述装置包括：视频获取模块，被配置为获取AR/VR眼镜的图像采集设备采集的视频流。唤醒检测模块，被配置为从所述视频流提取目标的动作形态和动作参量，并判断所述目标的动作形态和动作参量是否符合预设唤醒动作。目标追踪模块，被配置为在符合预设唤醒动作的情况下，通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据。交互控制模块，被配置为基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作。
[0018]根据本说明书实施例的第三方面，提供了一种AR/VR眼镜，包括：图像采集设备、存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现本说明书任意实施例所述基于AR/VR眼镜的交互方法的步骤。
[0019]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本说明书任意实施例所述基于AR/VR眼镜的交互方法的步骤。
[0020]根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行所述基于AR/VR眼镜的交互方法的步骤。
[0021]本说明书一个实施例实现了基于AR/VR眼镜的交互方法，由于该方法获取AR/VR眼镜的图像采集设备采集的视频流，从所述视频流提取目标的动作形态和动作参量，判断所述目标的动作形态和动作参量是否符合预设唤醒动作，在符合预设唤醒动作的情况下，通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据，基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作，因此，该方法受用户的特定唤醒动作唤醒而进入交互状态，使AR/VR眼镜基于特定唤醒动作精准地与用户开始交互，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于AR/VR眼镜的交互方法，所述方法包括：获取AR/VR眼镜的图像采集设备采集的视频流；从所述视频流提取目标的动作形态和动作参量；判断所述目标的动作形态和动作参量是否符合预设唤醒动作；在符合预设唤醒动作的情况下，通过对所述视频流中的目标进行追踪，得到所述目标的时序动作数据；基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作。2.根据权利要求1所述的方法，所述基于所述目标的时序动作数据控制所述AR/VR眼镜执行对应的交互操作，包括：获取交互界面的屏幕坐标系；计算出所述目标的预设多个关键点在所述视频流中的坐标序列；计算所述坐标序列在所述屏幕坐标系对应的交互位置；在所述时序动作数据满足所述交互位置的预设操作条件的情况下，控制所述AR/VR眼镜执行所述预设操作条件对应的交互渲染与交互操作。3.根据权利要求1所述的方法，所述判断所述目标的动作形态和动作参量是否符合预设唤醒动作，包括：计算出所述目标在所述视频流中的时序图像特征；计算出所述目标的预设多个关键点在所述视频流中的坐标序列；将所述坐标序列与所述目标的时序图像特征进行融合，得到融合后的动作特征，所述动作特征包括动作形态特征和动作参量；判断融合后的动作特征是否符合预设唤醒动作。4.根据权利要求2或3所述的方法，所述计算出所述目标的预设多个关键点在所述视频流中的坐标序列，包括：基于多分支深度卷积神经网络，对所述目标在所述视频流的多个采样帧中所在的区域进行...
【专利技术属性】
技术研发人员：李颖，邵柏韬，刘朋浩，姜飞俊，
申请(专利权)人：浙江猫精人工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。