辅助用户体验虚拟现实的方法及装置、电子设备制造方法及图纸

本公开提供了一种辅助用户体验虚拟现实的方法及装置、电子设备，属于虚拟现实设备领域。其中的方法应用于能够工作在沉浸式近眼显示模式下的电子设备，包括：在电子设备切换至沉浸式近眼显示模式之后，获取电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；在获取到的图像中，进行人体识别和/或人脸识别；在人体识别和/或人脸识别的识别结果满足预定条件时，触发与预定条件对应的用户提示流程。本公开可以在用户体验虚拟现实的时候，通过自动采集和分析实时拍摄图像中的人体特征和/或人脸特征，帮助用户及时获知实际环境中他人的状态变化或行为变化，从而有助于提升VR设备的使用便捷性和使用安全性。

【技术实现步骤摘要】
辅助用户体验虚拟现实的方法及装置、电子设备
本公开涉及虚拟现实设备领域，尤其涉及一种辅助用户体验虚拟现实的方法及装置、电子设备。
技术介绍
现有技术中，虚拟现实(VirtualReality，VR)通常是指使用软件来生成模拟真实环境的图像、声音等感官信号，以营造能让人有身临其境的感受的虚拟环境的计算机技术，在医疗、航天、建筑、展览、地理、娱乐等等领域中都有着广泛的应用前景。目前，家用类型的VR设备主要包括VR一体机、外接VR处理设备的头戴显示器，以及配合手机使用的VR眼镜等等。然而无论是哪一种VR设备，用户在使用其体验虚拟现实时，都可能会把注意力集中在虚拟环境中，而容易意识不到现实环境中他人的状态变化和行为变化。比如，在房间内体验虚拟现实的期间，用户有可能意识不到面前有人在对他说话，可能意识不到有人站在房间门口敲门，甚至可能意识不到有陌生人强行闯入房间。可见，用户有可能因为意识不到现实环境中他人的状态变化和行为变化而错过一些重要信息，甚至遭受人身财产安全方面的威胁。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种辅助用户体验虚拟现实的方法及装置、电子设备。根据本公开实施例的第一方面，提供一种辅助用户体验虚拟现实的方法，用于能够工作在沉浸式近眼显示模式下的电子设备，所述方法包括：在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；在获取到的图像中，进行人体识别和/或人脸识别；在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。在本公开的一个实施例中，所述在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像，包括：在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集所述电子设备的摄像部件实时拍摄的图像；和/或，在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；从所述外部摄像设备处接收图像。本实施例基于电子设备是否切换至沉浸式近眼显示模式的检测结果确定是否开启摄像部件和/或外部摄像设备，可以使相应的软件程序独立于实现虚拟现实的软件程序之外(例如实现方法的程序可以是独立于VR应用之外的应用程序)，更容易实现对多VR平台的支持。在本公开的一个实施例中，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：当在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；和/或，当在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；和/或，当在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；和/或，当在获取到的图像中成功识别到至少一个陌生人时，触发用于提示用户拍摄画面中存在陌生人的用户提示流程；所述陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征。在本公开的一个实施例中，所述在获取到的图像中，进行人体识别和/或人脸识别，包括：在获取到的图像中识别个体图像特征，所述个体图像特征包括人体特征和/或人脸特征；在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人；其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。本实施例可以使电子设备在不打扰用户的情况下自动判断识别到的人是否是已知联系人，并可以基于判断结果为每一个已知联系人设置不同于他人的预设条件和用户提示流程，比如将重要联系人的来访重点进行用户提示，将相对不重要的联系人的用户提示自动忽略等等，从而实现使用者的个性化配置，使本公开的用户提示方式能更加适应于每一个用户的实际情况。在本公开的一个实施例中，在将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配之后，还包括：将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人；相应的，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：当在获取到的图像中识别到至少一个陌生人时，触发所述电子设备的下述各个响应事件中的至少一个：所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；所述电子设备向用户显示识别到所述至少一个陌生人的画面；所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。基于陌生人的确定和响应事件的触发，本实施例可以帮助用户在虚拟环境中及时获知陌生人的存在，使用户能够对危险状况及时确认并作出反应，因而有助于提升VR设备的使用便捷性和使用安全性。根据本公开实施例的第二方面，提供一种辅助用户体验虚拟现实的装置，用于能够工作在沉浸式近眼显示模式下的电子设备，所述装置包括：获取模块，被配置为在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；识别模块，被配置为在所述获取模块得到的图像中进行人体识别和/或人脸识别；触发模块，被配置为在所述识别模块得到的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。在本公开的一种实现方式中，所述获取模块包括：开启单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集单元，被配置为采集所述电子设备的摄像部件实时拍摄的图像；和/或，发送单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；接收单元，被配置为从所述外部摄像设备处接收图像。在本公开的一种实现方式中，所述触发模块包括：第一触发单元，被配置为在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；和/或，第二触发单元，被配置为在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；和/或，第三触发单元，被配置为在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；和/或，第四触发单元，被配置为本文档来自技高网...

【技术保护点】
一种辅助用户体验虚拟现实的方法，用于能够工作在沉浸式近眼显示模式下的电子设备，其特征在于，所述方法包括：在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；在获取到的图像中，进行人体识别和/或人脸识别；在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。

【技术特征摘要】
1.一种辅助用户体验虚拟现实的方法，用于能够工作在沉浸式近眼显示模式下的电子设备，其特征在于，所述方法包括：在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；在获取到的图像中，进行人体识别和/或人脸识别；在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。2.根据权利要求1所述的方法，其特征在于，所述在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像，包括：在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集所述电子设备的摄像部件实时拍摄的图像；和/或，在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；从所述外部摄像设备处接收图像。3.根据权利要求1所述的方法，其特征在于，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：当在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；和/或，当在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；和/或，当在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；和/或，当在获取到的图像中成功识别到至少一个陌生人时，触发用于提示用户拍摄画面中存在陌生人的用户提示流程；所述陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征。4.根据权利要求1所述的方法，其特征在于，所述在获取到的图像中，进行人体识别和/或人脸识别，包括：在获取到的图像中识别个体图像特征，所述个体图像特征包括人体特征和/或人脸特征；在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人；其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。5.根据权利要求4所述的方法，其特征在于，在将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配之后，还包括：将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人；相应的，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：当在获取到的图像中识别到至少一个陌生人时，触发所述电子设备的下述各个响应事件中的至少一个：所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；所述电子设备向用户显示识别到所述至少一个陌生人的画面；所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。6.一种辅助用户体验虚拟现实的装置，用于能够工作在沉浸式近眼显示模式下的电子设备，其特征在于，所述装置包括：获取模块，被配置为在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部...

【专利技术属性】
技术研发人员：林形省，汪轩然，冯智勇，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11