一种利用AR眼镜模拟图像的方法、装置、AR眼镜及介质制造方法及图纸

本申请涉及一种利用AR眼镜模拟图像的方法、装置、AR眼镜及介质，涉及AR眼镜的领域，该方法包括与用户对应的终端设备进行配对连接，获取环境图像信息，基于环境图像信息进行载体识别处理，若识别到载体，则在载体上控制显示终端设备的显示画面信息，基于环境图像信息进行操作特征识别处理，操作特征包括手部特征，若识别到操作特征，则基于操作特征进行手势信息识别，若识别到手势信息，则基于手势信息向终端设备发送与手势信息对应的操作指令。本申请具有便于通过AR眼镜操作终端设备的效果。请具有便于通过AR眼镜操作终端设备的效果。请具有便于通过AR眼镜操作终端设备的效果。

【技术实现步骤摘要】
一种利用AR眼镜模拟图像的方法、装置、AR眼镜及介质


[0001]本申请涉及AR眼镜的领域，尤其是涉及一种利用AR眼镜模拟图像的方法、装置、AR眼镜及介质。

技术介绍

[0002]增强现实技术（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。
[0003]AR眼镜是基于AR技术应运而生的一种产品，可以在AR眼镜的镜片上显示信息，但是目前终端设备如手机等无法与AR眼镜做到很好的连接交互，用户不能较为方便的通过AR眼镜操作手机等终端设备。

技术实现思路

[0004]为了便于通过AR眼镜操作终端设备，本申请提供一种利用AR眼镜模拟图像的方法、装置、AR眼镜及介质。
[0005]第一方面，本申请提供一种利用AR眼镜模拟图像的方法，采用如下的技术方案：一种利用AR眼镜模拟图像的方法，包括与用户对应的终端设备进行配对连接；获取环境图像信息；基于所述环境图像信息进行载体识别处理；若识别到所述载体，则在所述载体上控制显示所述终端设备的显示画面信息；基于所述环境图像信息进行操作特征识别处理，所述操作特征包括手部特征；若识别到操作特征，则基于所述操作特征进行手势信息识别，所述手势信息包括上滑、下滑、左滑、右滑以及点击；若识别到手势信息，则基于所述手势信息向所述终端设备发送与所述手势信息对应的操作指令。
[0006]通过采用上述技术方案，AR眼镜先与用户的终端设备进行配对连接，与终端设备进行配对连接后，AR眼镜获取AR眼镜镜片范围内的环境图像信息，以使得AR眼镜识别环境图像信息中是否存在载体，AR眼镜识别到载体后，AR眼镜将用户终端设备的显示画面信息在载体上进行显示，AR眼镜从环境图像信息中识别操作特征，比如手部特征，AR眼镜识别到操作特征后识别手势信息，AR眼镜通过识别手势信息判断是否对终端设备进行操作，AR眼镜识别到手势信息后，基于手势信息向终端设备发送操作指令，以使得终端设备按照操作指令运行。通过识别载体并将终端设备的显示画面信息在载体上进行显示，并且识别手势信息以使得终端设备按照手势信息对应的操作指令运行，从而达到便于通过AR眼镜操作终端设备的效果。
[0007]在另一种可能实现的方式中，所述基于所述环境图像信息进行载体识别处理，包括：将所述环境图像信息输入至训练好的第一网络模型中进行载体识别处理，基于载体识别结果确定所述环境图像信息中是否存在载体。
[0008]通过采用上述技术方案，训练好的第一网络模型对环境图像信息进行载体识别，以确定环境图像信息中是否存在载体，训练好的第一网络模型识别环境图像信息中存在载体更准确。
[0009]在另一种可能实现的方式中，所述基于所述环境图像信息进行操作特征识别处理，包括：将所述环境图像信息输入至训练好的第二网络模型中进行操作特征识别处理，基于操作特征识别结果确定所述环境图像信息中是否存在操作特征。
[0010]通过采用上述技术方案，训练好的第二网络模型对环境图像信息进行操作特征识别，以确定环境图像信息中是否存在操作特征，训练好的第二网络模型识别环境图像信息中存在操作特征更准确。
[0011]在另一种可能实现的方式中，所述基于所述操作特征进行手势信息识别，包括：对所述操作特征进行目标追踪；基于所述目标追踪结果生成所述操作特征的移动轨迹信息；将所述移动轨迹信息与至少一个预设移动轨迹进行比较；若所述移动轨迹满足任一预设移动轨迹，则确定所述任一预设移动轨迹对应的手势信息。
[0012]通过采用上述技术方案，对操作特征进行目标追踪，从而便于得到操作特征的移动轨迹信息，通过移动轨迹信息与至少一个预设移动轨迹进行比较，确定出满足移动轨迹信息的预设移动轨迹，进而确定出预设移动轨迹对应的手势信息，通过目标追踪确定手势信息更准确。
[0013]在另一种可能实现的方式中，所述方法还包括：对所述载体进行目标追踪，基于所述载体的位置调节所述显示画面信息的位置。
[0014]通过采用上述技术方案，载体在环境图像信息中的位置发生变化，进而会导致显示画面信息不能很好地在载体上进行显示，对载体进行目标追踪，并且调节显示画面信息的位置，使得显示画面信息能够始终在载体上进行显示，进而改善显示效果。
[0015]在另一种可能实现的方式中，所述基于所述环境图像信息进行载体识别处理，之后包括：若未识别到所述载体，则对所述环境图像信息进行轮廓检测；基于轮廓检测结果从所述环境图像信息中确定备选载体；将所述显示画面信息移动至所述备选载体上进行显示。
[0016]通过采用上述技术方案，若环境图像信息中未识别到载体，则对环境图像信息进行轮廓检测，通过轮廓检测结果确定出备选载体，AR眼镜将显示画面信息显示在备选载体上，从而使得显示画面信息在未识别到载体时更好地显示。
[0017]在另一种可能实现的方式中，所述方法还包括：记录显示时长信息，所述显示时长信息为所述显示画面信息进行显示的时长信
息；若所述显示时长信息达到预设时间阈值，则输出提示信息。
[0018]通过采用上述技术方案，AR眼镜记录显示画面信息显示的时长，并且判断显示时长信息是否达到预设时间阈值，若达到预设时间阈值，则说明用户通过AR眼镜操作终端设备时间过长，AR眼镜输出提示信息以提示用户，防止用户用眼疲劳。
[0019]第二方面，本申请提供一种利用AR眼镜模拟图像装置，采用如下的技术方案：一种利用AR眼镜模拟图像装置，包括：连接模块，用于与用户对应的终端设备进行配对连接；获取模块，用于获取环境图像信息；第一识别模块，用于基于所述环境图像信息进行载体识别处理；显示模块，用于当识别到所述载体时，在所述载体上控制显示所述终端设备的显示画面信息；第二识别模块，用于基于所述环境图像信息进行操作特征识别处理，所述操作特征包括手部特征；第三识别模块，用于当识别到操作特征时，基于所述操作特征进行手势信息识别，所述手势信息包括上滑、下滑、左滑、右滑以及点击；发送模块，用于当识别到手势信息时，基于所述手势信息向所述终端设备发送与所述手势信息对应的操作指令。
[0020]通过采用上述技术方案，连接模块先与用户的终端设备进行配对连接，与终端设备进行配对连接后，获取模块获取AR眼镜镜片范围内的环境图像信息，以使得第一识别模块识别环境图像信息中是否存在载体，第一识别模块识别到载体后，显示模块将用户终端设备的显示画面信息在载体上进行显示，第二识别模块从环境图像信息中识别操作特征，比如手部特征，第二识别模块识别到操作特征后第三识别模块识别手势信息，AR眼镜通过识别手势信息判断是否对终端设备进行操作，第三识别模块识别到手势信息后，发送模块基于手势信息向终端设备发送操作指令，以使得终端设备按照操作指令运行。通过识别载体并将终端设备的显示画面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用AR眼镜模拟图像的方法，其特征在于，包括：与用户对应的终端设备进行配对连接；获取环境图像信息；基于所述环境图像信息进行载体识别处理；若识别到所述载体，则在所述载体上控制显示所述终端设备的显示画面信息；基于所述环境图像信息进行操作特征识别处理，所述操作特征包括手部特征；若识别到操作特征，则基于所述操作特征进行手势信息识别，所述手势信息包括上滑、下滑、左滑、右滑以及点击；若识别到手势信息，则基于所述手势信息向所述终端设备发送与所述手势信息对应的操作指令。2.根据权利要求1所述的一种利用AR眼镜模拟图像的方法，其特征在于，所述基于所述环境图像信息进行载体识别处理，包括：将所述环境图像信息输入至训练好的第一网络模型中进行载体识别处理，所述基于载体识别结果确定所述环境图像信息中是否存在载体。3.根据权利要求1所述的一种利用AR眼镜模拟图像的方法，其特征在于，所述基于所述环境图像信息进行操作特征识别处理，包括：将所述环境图像信息输入至训练好的第二网络模型中进行操作特征识别处理，基于操作特征识别结果确定所述环境图像信息中是否存在操作特征。4.根据权利要求1所述的一种利用AR眼镜模拟图像的方法，其特征在于，所述基于所述操作特征进行手势信息识别，包括：对所述操作特征进行目标追踪；基于所述目标追踪结果生成所述操作特征的移动轨迹信息；将所述移动轨迹信息与至少一个预设移动轨迹进行比较；若所述移动轨迹满足任一预设移动轨迹，则确定所述任一预设移动轨迹对应的手势信息。5.根据权利要求1所述的一种利用AR眼镜模拟图像的方法，其特征在于，所述方法还包括：对所述载体进行目标追踪，基于所述载体的位置调节所述显示画面信息的位置。6.根据权...

【专利技术属性】
技术研发人员：刘威，夏勇峰，
申请(专利权)人：北京蜂巢世纪科技有限公司，
类型：发明
国别省市：