用户交互辅助方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了用户交互辅助方法、装置、电子设备及可读存储介质，应用于AR眼镜，所述AR眼镜设置有骨传导耳机，所述用户交互辅助方法包括：通过所述骨传导耳机拾取所述AR眼镜的佩戴用户的音频，得到拾取音频；若所述拾取音频为有效音频，则在检测到外界的手语动作时，将所述手语动作转换为对应的自然语言信息进行播放，以辅助所述佩戴用户与外界进行交互；若所述拾取音频不为有效音频，则在检测到外界的交互信息时，在所述AR眼镜的AR显示画面中显示所述交互信息对应的各预设答复答案，以辅助所述佩戴用户与外界进行交互。本申请解决了现有技术中聋哑用户与外界的存在沟通障碍的技术问题。问题。问题。

User interaction assistance method, device, electronic device and readable storage medium

【技术实现步骤摘要】
用户交互辅助方法、装置、电子设备及可读存储介质


[0001]本申请涉及AR(Augmented Reality,增强现实)
，尤其涉及一种用户交互辅助方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着AR技术的发展，科学技术为人们的沟通与交流做出了跟多的改善，而聋哑用户由存在缺陷，聋哑用户通常需要通过手语来与外界进行沟通，但是若聋哑用户的沟通目标未学习过手语，则聋哑用户的沟通目标通常无法理解聋哑用户想要表达的意愿，聋哑用户与外界的沟通存在障碍。

技术实现思路

[0003]本申请的主要目的在于提供一种用户交互辅助方法、装置、电子设备及可读存储介质，旨在解决现有技术中聋哑用户与外界的存在沟通障碍的技术问题。
[0004]为实现上述目的，本申请提供一种用户交互辅助方法，应用于AR眼镜，所述AR眼镜设置有骨传导耳机，所述用户交互辅助方法包括：
[0005]通过所述骨传导耳机拾取所述AR眼镜的佩戴用户的音频，得到拾取音频；
[0006]若所述拾取音频为有效音频，则在检测到外界的手语动作时，将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用户交互辅助方法，其特征在于，应用于AR眼镜，所述AR眼镜设置有骨传导耳机，所述用户交互辅助方法包括：通过所述骨传导耳机拾取所述AR眼镜的佩戴用户的音频，得到拾取音频；若所述拾取音频为有效音频，则在检测到外界的手语动作时，将所述手语动作转换为对应的自然语言信息进行播放，以辅助所述佩戴用户与外界进行交互；若所述拾取音频不为有效音频，则在检测到外界的交互信息时，在所述AR眼镜的AR显示画面中显示所述交互信息对应的各预设答复答案，以辅助所述佩戴用户与外界进行交互。2.如权利要求1所述用户交互辅助方法，其特征在于，所述将所述手语动作转换为对应的语音信息进行播放的步骤包括：对所述手语动作进行手语识别，得到手语识别结果；根据所述手语识别结果，生成所述手语动作对应的自然语言信息；向所述AR眼镜的佩戴用户播放所述自然语言信息。3.如权利要求2所述用户交互辅助方法，其特征在于，所述自然语言信息至少包括播报语音和文本显示画面中的一种，所述根据所述手语识别结果，生成所述手语动作对应的自然语言信息的步骤包括：根据所述手语识别结果，将所述手语动作转换为对应的语音信息，生成所述语音信息对应的播报语音；和/或根据所述手语识别结果，将所述手语动作转换为对应的文本信息，生成所述文本信息对应的文本显示画面。4.如权利要求2所述用户交互辅助方法，其特征在于，所述自然语言信息至少包括播报语音和文本显示画面中的一种，所述向所述AR眼镜的佩戴用户播放所述自然语言信息的步骤包括：通过所述骨传导耳机向所述佩戴用户播放所述播报语音；和/或通过所述AR眼镜的AR显示画面向所述佩戴用户显示所述文本显示画面。5.如权利要求1所述用户交互辅助方法，其特征在于，所述交互信息包括手语动作，所述在所述AR眼镜的AR显示画面中显示所述交互信息对应的各预设答复答案的步骤包括：对所述手语动作进行手语识别，得到手语识别结果；根据所述手语识别结果，确定所述手语动作对应的各预设答复答案；在所述AR...

【专利技术属性】
技术研发人员：王政轩，张方方，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：