图像处理方法、装置、电子设备、信息输入系统和介质制造方法及图纸

本实施例公开了一种图像处理方法、装置、电子设备、信息输入系统和计算机存储介质，该方法包括：获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。主机输入的数据。主机输入的数据。

【技术实现步骤摘要】
图像处理方法、装置、电子设备、信息输入系统和介质


[0001]本公开涉及但不限于计算机视觉处理技术，尤其涉及一种图像处理方法、装置、电子设备、信息输入系统和计算机存储介质。

技术介绍

[0002]在相关技术中，键盘和鼠标的实现方案至少有两种，其中，第一种方案为：键盘和鼠标为实体的键盘和鼠标，采用第一种方案，在按压键盘和鼠标的情况下，会产生大量的噪音；第二种方案为：采用激光投影的虚拟键鼠设备，或者，采用虚拟现实(Virtual Reality，VR)键鼠，第二种方案会带来较高的成本和功耗。

技术实现思路

[0003]本公开实施例至少提供了一种图像处理方法、装置、对弈机器人和计算机存储介质。
[0004]本公开实施例提供了一种图像处理方法，该方法可以包括：获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。
[0005]在一些实施例中，所述通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序，包括：对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置；基于所述至少两帧图像中各帧图像的时序、以及所述每帧图像中所述交互对象与所述至少两个交互区域的相对位置，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序。
[0006]可以看出，本公开实施例可以基于每帧图像中交互对象与所述至少两个交互区域的相对位置，确定交互对象按压至少两个交互区域中各个交互区域的按压动作，然后，结合至少两帧图像中各帧图像的时序，较为准确地确定出各个按压动作之间的先后顺序，从而可以较为准确地确定输入数据。
[0007]在一些实施例中，所述方法还包括：获取所述至少两帧图像的每帧图像中各个像素点的深度信息；所述对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置，包括：对所述每帧图像中所述交互对象与所述至少两个交互区域进行目标识别，确定所述交互对象与所述至少两个交互区域在所述每帧图像中的位置；基于所述每帧图像中各个像素点的深度信息、以及所述交互对象与所述至少两个交互区域在所述每帧图像中的位
置，确定所述交互对象的深度信息与所述至少两个交互区域的深度信息；基于所述交互对象与所述至少两个交互区域在所述每帧图像中的位置、所述交互对象与所述至少两个交互区域的深度信息，确定所述交互对象与所述至少两个交互区域的三维空间位置；基于所述交互对象与所述至少两个交互区域的三维空间位置，确定所述交互对象与所述至少两个交互区域的相对位置。
[0008]可以看出，本公开实施例可以根据每帧图像中各个像素点的深度信息，较为准确地确定交互对象与交互区域的三维空间位置，从而较为准确地确定交互对象与交互区域的相对位置。
[0009]在一些实施例中，所述基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定所述至少两个交互区域中每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点；基于所述每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点，确定输入数据。
[0010]可以看出，本公开实施例可以基于交互区域对应的输入信息、以及交互区域被按压的时间点，较为准确地确定出输入数据。
[0011]在一些实施例中，所述交互设备为鼠标；所述方法还包括：通过对所述至少两帧图像中的所述交互对象和所述鼠标进行目标跟踪，确定所述鼠标至少一次移动的移动信息，所述鼠标每次移动的移动信息包括位置变化信息、移动开始时间和移动结束时间；所述基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据。
[0012]可以看出，本公开实施例可以基于鼠标至少一次移动的移动信息、以及交互对象按压鼠标的各交互区域的时序，确定输入数据；由于在鼠标的交互区域被按压后鼠标的移动信息可以反映鼠标的拖动操作，从而，本公开实施例可以识别鼠标的拖动操作，有利于较为全面地实现鼠标向主机输入数据。
[0013]在一些实施例中，所述鼠标上设置有滚轮；所述方法还包括：通过对所述至少两帧图像中的所述交互对象和所述鼠标的滚轮进行目标跟踪，确定通过所述交互对象实现的至少一次滚轮动作；确定所述至少一次滚轮动作中每次滚轮动作的属性数据，所述属性数据包括：滚轮动作的开始时间点、滚轮动作的持续时长、以及滚轮动作的滚轮速度；相应地，所述基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据，包括：基于所述交互对象按压所述鼠标的各交互区域的时序、所述鼠标至少一次移动的移动信息、以及所述至少一次滚轮动作中每次滚轮动作的属性数据，确定所述输入数据。
[0014]可以看出，本公开实施例可以在确定交互对象按压鼠标的各交互区域的时序的基础上，通过识别鼠标至少一次移动的移动信息，确定鼠标的拖动事件；并且，可以通过确定至少一次滚轮动作中每次滚轮动作的属性数据，识别鼠标的至少一次滚轮动作，从而可以更加全面地识别通过鼠标输入主机的数据。
[0015]本公开实施例还提供了一种图像处理装置，该装置可以包括：获取模块、第一处理模块和第二处理模块；其中，获取模块，用于获取双目相机采集的至少两帧图像，所述至少
两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；第一处理模块，用于通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；第二处理模块，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。
[0016]在一些实施例中，所述第一处理模块，用于通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序，包括：对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置；基于所述至少两帧图像中各帧图像的时序、以及所述每帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。2.根据权利要求1所述的方法，其特征在于，所述通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序，包括：对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置；基于所述至少两帧图像中各帧图像的时序、以及所述每帧图像中所述交互对象与所述至少两个交互区域的相对位置，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取所述至少两帧图像的每帧图像中各个像素点的深度信息；所述对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置，包括：对所述每帧图像中所述交互对象与所述至少两个交互区域进行目标识别，确定所述交互对象与所述至少两个交互区域在所述每帧图像中的位置；基于所述每帧图像中各个像素点的深度信息、以及所述交互对象与所述至少两个交互区域在所述每帧图像中的位置，确定所述交互对象的深度信息与所述至少两个交互区域的深度信息；基于所述交互对象与所述至少两个交互区域在所述每帧图像中的位置、所述交互对象的深度信息与所述至少两个交互区域的深度信息，确定所述交互对象与所述至少两个交互区域的三维空间位置；基于所述交互对象与所述至少两个交互区域的三维空间位置，确定所述交互对象与所述至少两个交互区域的相对位置。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定所述至少两个交互区域中每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点；基于所述每个被按压的交互区域对应的输入信息、以及所述...

【专利技术属性】
技术研发人员：曹莉，马骏生，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：