一种人机交互方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种人机交互方法、装置、电子设备和存储介质，人机交互方法应用在终端中，终端设置有3D显示屏幕，方法包括：控制3D显示屏幕显示3D的待操作对象；获取用户眼睛到3D显示屏幕的第一距离，并根据第一距离确定用户眼睛与3D显示屏幕之间的第一屏点位置，根据第一屏点位置确定用户观看到待操控对象所在的第一视觉平面；获取用户在第一视觉平面上的第一手部动作，根据第一手部动作匹配待操作对象上的坐标位置；根据坐标位置得到对应在待操作对象上的输入信息。本发明专利技术能够在终端进行3D显示时根据用户的手部动作进行人机交互，根据手部动作匹配得到在待操作对象上的输入信息，无需触控到终端即可实现交互，提高用户的交互体验。交互体验。交互体验。

【技术实现步骤摘要】
一种人机交互方法、装置、电子设备和存储介质


[0001]本专利技术涉及人机交互
，特别是涉及一种人机交互方法、装置、电子设备和存储介质。

技术介绍

[0002]三维(3
‑
dimension，3D)技术是指用户通过眼睛可以看到3D画面，而3D画面是通过左右两眼视差虚拟出的立体空间画面。目前手机、平板电脑等智能终端逐渐走入人们的生活，且3D显示技术也已经逐渐应用在终端中，用户可以在终端上观看3D画面，如何根据3D显示来进一步提升用户的交互体验成为未来人机交互的研究方向。
[0003]相关技术中，用户与手机、平板电脑等这些智能终端之间一般需要通过手指触摸屏幕来实现人机交互，但是对于具有3D视觉效果的3D显示屏幕，这种人机交互方式触控准确率低，用户体验差。

技术实现思路

[0004]本专利技术实施例提供了一种人机交互方法、装置、电子设备和存储介质，能够在终端进行3D显示时根据用户的手部动作进行人机交互，无需触控到终端，提高用户的交互体验。
[0005]第一方面，本专利技术实施例提供了一种人机交互方法，应用在终端中，所述终端设置有3D显示屏幕，所述方法包括：控制所述3D显示屏幕显示3D的待操作对象；获取用户眼睛到所述3D显示屏幕的第一距离，并根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，根据所述第一屏点位置确定用户观看到所述待操控对象所在的第一视觉平面；获取用户在所述第一视觉平面上的第一手部动作，根据所述第一手部动作匹配所述待操作对象上的坐标位置；根据所述坐标位置得到对应在所述待操作对象上的输入信息。
[0006]在一些实施例中，所述终端设置有前置摄像头，所述获取用户在所述第一视觉平面上的第一手部动作，包括：获取用户手部到所述3D显示屏幕的第二距离；若所述第二距离表征用户手部位于所述第一视觉平面上，获取用户的手部图像，所述手部图像是由所述前置摄像头拍摄得到的；识别所述手部图像中的画面手部形状；获取预设的目标手部形状，将所述画面手部形状与所述目标手部形状进行匹配度分析；若所述画面手部形状与所述目标手部形状相匹配，确定所述画面手部形状为第一手部动作。
[0007]在一些实施例中，所述根据所述第一手部动作匹配所述待操作对象上的坐标位置，包括：获取用户做出所述第一手部动作时对应的手部位置；根据所述手部位置的坐标与所述第一视觉平面上的坐标进行匹配，得到对应在所述待操作对象上的坐标位置。
[0008]在一些实施例中，所述待操作对象包括虚拟键盘，所述根据所述坐标位置得到对应在所述待操作对象上的输入信息，包括：获取所述虚拟键盘上各个按键键值与对应的输入位置的坐标映射关系；根据所述坐标位置与所述坐标映射关系从所述虚拟键盘中触发对应的目标按键键值。
[0009]在一些实施例中，所述终端设置有前置摄像头，所述手部位置由所述前置摄像头
拍摄的手部图像解析得到；或者，所述终端设置有红外传感器或超声波传感器，所述红外传感器和所述超声波传感器用于获取所述手部位置。
[0010]在一些实施例中，所述方法还包括以下至少之一：获取用户在所述第一视觉平面上的第二手部动作，根据所述第二手部动作打开或关闭所述待操作对象；获取用户在所述第一视觉平面上的第三手部动作，根据所述第三手部动作控制所述待操作对象执行响应动作，所述响应动作包括放大、缩小、下滑滚动或翻页。
[0011]在一些实施例中，所述第一手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，所述第二手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，所述第三手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，且所述第一手部动作、所述第二手部动作和所述第三手部动作互不相同。
[0012]在一些实施例中，所述待操作对象包括虚拟键盘、单独控件或手势控件中的至少一种。
[0013]在一些实施例中，所述终端设置有前置摄像头，所述获取用户到所述3D显示屏幕的第一距离，包括：获取用户的脸部图像，所述脸部图像是由所述前置摄像头拍摄得到的；对所述脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息；根据所述第一瞳孔位置信息和所述第二瞳孔位置信息，计算得到在所述脸部图像中用户的画面瞳孔间距；根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离。
[0014]在一些实施例中，所述前置摄像头为屏下摄像头，所述屏下摄像头设置在所述3D显示屏幕的中心位置。
[0015]在一些实施例中，所述对所述脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息，包括：将所述脸部图像转换为灰度图像，并对所述灰度图像进行二值化处理，得到第一预处理图像；对所述第一预处理图像进行腐蚀和膨胀处理，并剔除图像中的噪声，得到第二预处理图像；利用圆形的结构元素提取所述第二预处理图像中表征用户瞳孔的圆形区域的位置；计算所述圆形区域的中心点，得到用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息。
[0016]在一些实施例中，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：获取预设的标准瞳孔间距；获取所述前置摄像头拍摄的所述脸部图像的焦距，并根据所述焦距得到所述脸部图像对应到成像点的初始距离；根据所述画面瞳孔间距与所述标准瞳孔间距得到第一比例，根据所述第一比例和所述初始距离得到用户眼睛到所述3D显示屏幕的第一距离。
[0017]在一些实施例中，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：获取预设的距离查询表；根据所述画面瞳孔间距从所述距离查询表中查表得到用户眼睛到所述3D显示屏幕的第一距离。
[0018]在一些实施例中，所述根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离，包括：获取参考距离、参考物体尺寸以及所述前置摄像头拍摄的参考物体对应的画面尺寸；获取预设的标准瞳孔间距；根据所述参考距离、所述参考物体尺寸、所述画面尺寸、所述画面瞳孔间距和所述标准瞳孔间距得到用户眼睛到所述3D显示屏幕的第一距离。
[0019]在一些实施例中，所述根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的
第一屏点位置，包括：获取所述终端进行3D画面显示的负视差值；根据所述第一距离和所述负视差值得到第三距离；在用户与所述3D显示屏幕之间，且距离所述3D显示屏幕第三距离的位置确定为第一屏点位置。
[0020]在一些实施例中，所述根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置之后，所述方法包括：当用户眼睛移动后，获取移动后用户眼睛到所述3D显示屏幕的第四距离；根据所述第四距离和所述负视差值得到第五距离；更新所述第一屏点位置，并在用户与所述3D显示屏幕之间，且距离所述3D显示屏幕第五距离的位置更新为所述第一屏点位置。
[0021]第二方面，本专利技术实施例还提供了一种人机交互装置，包括：第一模块，用于控制3D显示屏幕显示3D的待操作对象；第二模块，用于获取用户眼睛到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人机交互方法，应用在终端中，所述终端设置有3D显示屏幕，其特征在于，所述方法包括：控制所述3D显示屏幕显示3D的待操作对象；获取用户眼睛到所述3D显示屏幕的第一距离，并根据所述第一距离确定用户眼睛与所述3D显示屏幕之间的第一屏点位置，根据所述第一屏点位置确定用户观看到所述待操控对象所在的第一视觉平面；获取用户在所述第一视觉平面上的第一手部动作，根据所述第一手部动作匹配所述待操作对象上的坐标位置；根据所述坐标位置得到对应在所述待操作对象上的输入信息。2.根据权利要求1所述的人机交互方法，其特征在于，所述终端设置有前置摄像头，所述获取用户在所述第一视觉平面上的第一手部动作，包括：获取用户手部到所述3D显示屏幕的第二距离；若所述第二距离表征用户手部位于所述第一视觉平面上，获取用户的手部图像，所述手部图像是由所述前置摄像头拍摄得到的；识别所述手部图像中的画面手部形状；获取预设的目标手部形状，将所述画面手部形状与所述目标手部形状进行匹配度分析；若所述画面手部形状与所述目标手部形状相匹配，确定所述画面手部形状为第一手部动作。3.根据权利要求1或2所述的人机交互方法，其特征在于，所述根据所述第一手部动作匹配所述待操作对象上的坐标位置，包括：获取用户做出所述第一手部动作时对应的手部位置；根据所述手部位置的坐标与所述第一视觉平面上的坐标进行匹配，得到对应在所述待操作对象上的坐标位置。4.根据权利要求3所述的人机交互方法，其特征在于，所述待操作对象包括虚拟键盘，所述根据所述坐标位置得到对应在所述待操作对象上的输入信息，包括：获取所述虚拟键盘上各个按键键值与对应的输入位置的坐标映射关系；根据所述坐标位置与所述坐标映射关系从所述虚拟键盘中触发对应的目标按键键值。5.根据权利要求3所述的人机交互方法，其特征在于，所述终端设置有前置摄像头，所述手部位置由所述前置摄像头拍摄的手部图像解析得到；或者，所述终端设置有红外传感器或超声波传感器，所述红外传感器和所述超声波传感器用于获取所述手部位置。6.根据权利要求1所述的人机交互方法，其特征在于，所述方法还包括以下至少之一：获取用户在所述第一视觉平面上的第二手部动作，根据所述第二手部动作打开或关闭所述待操作对象；获取用户在所述第一视觉平面上的第三手部动作，根据所述第三手部动作控制所述待操作对象执行响应动作，所述响应动作包括放大、缩小、下滑滚动或翻页。7.根据权利要求6所述的人机交互方法，其特征在于，所述第一手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，所述第二手部动作包括下按动作、点击操作、
抓取动作或滑动动作中的一种，所述第三手部动作包括下按动作、点击操作、抓取动作或滑动动作中的一种，且所述第一手部动作、所述第二手部动作和所述第三手部动作互不相同。8.根据权利要求1所述的人机交互方法，其特征在于，所述待操作对象包括虚拟键盘、单独控件或手势控件中的至少一种。9.根据权利要求1所述的人机交互方法，其特征在于，所述终端设置有前置摄像头，所述获取用户到所述3D显示屏幕的第一距离，包括：获取用户的脸部图像，所述脸部图像是由所述前置摄像头拍摄得到的；对所述脸部图像进行瞳孔识别，确定用户眼睛的第一瞳孔位置信息和第二瞳孔位置信息；根据所述第一瞳孔位置信息和所述第二瞳孔位置信息，计算得到在所述脸部图像中用户的画面瞳孔间距；根据所述画面瞳孔间距，计算得到用户眼睛到所述3D显示屏幕的第一距离。10.根据权利要求2、5和9中任意一项所述的人机交互方法，其特征在于，所...

【专利技术属性】
技术研发人员：杨亚军，游城，魏学华，杨克庆，
申请(专利权)人：深圳市立体通技术有限公司，
类型：发明
国别省市：