移动终端与外部对象之间的交互方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种移动终端与外部对象之间的交互方法、装置和电子设备，通过人眼在后置摄像头的成像平面上被移动终端遮挡的被遮挡区域从多个外部对象中确定出交互对象，使移动终端按照用户视角选择交互对象进行交互，大大提高了用户使用移动终端与外部对象交互的使用体验。使用体验。使用体验。

【技术实现步骤摘要】
移动终端与外部对象之间的交互方法、装置和电子设备


[0001]本专利技术涉及计算机
，具体而言，涉及一种移动终端与外部对象之间的交互方法、装置和电子设备。

技术介绍

[0002]目前，用于手机、Pad等移动终端与现实空间中物体(主要为智能家居、物联网中的各类电器)互动时的目标选择技术(目标选择技术：是指让机器明确用户想要和哪个目标设备进行交互)。当前没有有效的用于手机、Pad等移动终端与现实空间中物体的交互技术。

技术实现思路

[0003]为解决上述问题，本专利技术实施例的目的在于提供一种移动终端与外部对象之间的交互方法、装置和电子设备。
[0004]第一方面，本专利技术实施例提供了一种移动终端与外部对象之间的交互方法，包括：
[0005]当获取到用户触发的交互指令时，移动终端控制所述移动终端的前置摄像头拍摄所述用户的人眼图像、以及控制所述移动终端的后置摄像头拍摄目标识别图像；
[0006]对所述用户的人眼图像进行处理，得到所述用户的人眼坐标；
[0007]基于所述人眼坐标，确定所述用户的人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动终端与外部对象之间的交互方法，其特征在于，包括：当获取到用户触发的交互指令时，移动终端控制所述移动终端的前置摄像头拍摄所述用户的人眼图像、以及控制所述移动终端的后置摄像头拍摄目标识别图像；对所述用户的人眼图像进行处理，得到所述用户的人眼坐标；基于所述人眼坐标，确定所述用户的人眼在所述后置摄像头的成像平面上被所述移动终端遮挡的被遮挡区域；从所述目标识别图像中确定出能够进行交互的多个外部对象的外部对象图像；基于所述被遮挡区域与所述目标识别图像中多个外部对象的外部对象图像，从所述多个外部对象中确定出与所述移动终端自身交互的交互对象；根据所述交互对象，执行所述交互指令，使得所述移动终端自身能够与所述交互对象进行交互。2.根据权利要求1所述的方法，其特征在于，所述用户的人眼坐标包括：所述用户的人眼在后置摄像头坐标系下的坐标；基于所述人眼坐标，确定所述用户的人眼在所述后置摄像头的成像平面上被所述移动终端遮挡的被遮挡区域，包括：获取所述移动终端自身的角点在所述后置摄像头坐标系内的角点坐标；从所述用户的人眼在后置摄像头坐标系下的坐标指示的位置向所述后置摄像头的成像平面上做经过所述移动终端的角点的直线；将所述直线与所述成像平面的交点确定为所述被遮挡区域的端点；基于所述人眼坐标，计算得到所述被遮挡区域的端点的端点坐标，从而确定所述被遮挡区域的范围。3.根据权利要求2所述的方法，其特征在于，所述用户的人眼坐标包括：所述用户的人眼在前置摄像头坐标系下的坐标；所述基于所述人眼坐标，计算得到所述被遮挡区域的端点的端点坐标，包括：获取所述移动终端自身与所述成像平面之间的第一距离、所述移动终端的角点与所述前置摄像头的第二距离和所述前置摄像头与所述后置摄像头之间的第三距离；利用所述用户的人眼在前置摄像头坐标系下的坐标、所述移动终端自身与所述成像平面之间的第一距离、所述移动终端的角点与所述前置摄像头的第二距离和所述前置摄像头与所述后置摄像头之间的第三距离，计算得到所述被遮挡区域的端点在所述成像平面上的端点坐标。4.根据权利要求1所述的方法，其特征在于，所述基于所述被遮挡区域与所述目标识别图像中多个外部对象的外部对象图像，从所述多个外部对象中确定出与所述移动终端自身交互的交互对象，包括：计算所述被遮挡区域与所述多个外部对象中各外部对象的外部对象图像的相似度；将各所述外部对象中外部对象图像与所述被遮挡区域相似度最大的外部对象确定为与所述移动终端自身交互的交互对象。5.一种移动终端与外部对象之间的交互装置，其特征在于，包括：控制模块，用于当获取到用户触发的交互指令时，控制所述移动终端的前置摄像头拍摄所述用户的人眼图像、以及控制所述移动终端的后置摄...

【专利技术属性】
技术研发人员：史元春，秦岳，喻纯，
申请(专利权)人：清华大学，
类型：发明
国别省市：