处理图像的方法和终端设备技术

本发明专利技术实施例提供了一种处理图像的方法和终端设备。根据本发明专利技术实施例的处理图像的方法应用于终端设备，该设备包括设置在其第一外表面上的、包含第一采集模块和第二采集模块的双目图像采集单元。所述方法包括：利用双目图像采集单元对终端设备的识别区域进行图像采集，以通过第一采集模块获得第一图像，并且通过第二采集模块获得第二图像；识别第一图像中是否包括至少一个操作体，并且当第一图像中包括至少一个操作体时分别确定每个操作体在第一图像中的位置；对于每个操作体，根据该操作体在第一图像中的位置，确定该操作体在第二图像中的位置；对于每个操作体，根据该操作体在第一图像中的位置和在第二图像中的位置，获得操作体的深度信息。

【技术实现步骤摘要】

本专利技术涉及一种处理图像的方法和终端设备。更具体地，本专利技术涉及一种用于双目图像采集单元的处理图像的方法和相应的终端设备。
技术介绍
随着技术的发展和成本的降低，例如台式计算机、便携式计算机、平板式计算机、智能电话和便携式音乐播放器等各种终端装置已经被广泛应用。在这些便携式电子装置中，提供了诸如键盘、鼠标、触摸面板、触摸屏之类的各种输入单元以便于用户对终端设备进行控制。此外，近年来还提出了通过图像采集单元捕获用户的手势，以根据用户做出的手势来对终端设备进行控制，从而进一步方便了用户的操作。然而，终端设备通过传统的图像采集单元所采集的平面图像只能获得用户手部的大小、形状等二维信息，并且基于这些二维信息对用户手势判断容易产生误差。
技术实现思路
本专利技术实施例的目的在于提供一种处理图像的方法以及终端设备，以解决上述问题。本专利技术实施例提供了一种处理图像的方法，应用于终端设备，其中终端设备包括设置在终端设备的第一外表面上的、包含第一采集模块和第二采集模块的双目图像采集单元。所述方法包括：利用双目图像采集单元对终端设备的识别区域进行图像采集，以通过第一采集模块获得第一图像，并且通过第二采集模块获得第二图像；识别第一图像中是否包括至少一个操作体，并且当第一图像中包括至少一个操作体时分别确定每个操作体在第一图像中的位置；对于每个操作体，根据该操作体在第一图像中的位置，确定该操作体在第二图像中的位置；对于每个操作体，根据该操作体在第一图像中的位置和在第二图像中的位置，获得操作体的深度信息。本专利技术另一实施例提供了一种终端设备，包括：双目图像采集单元，包含第一采集模块和第二采集模块，配置来通过第一采集模块和第二采集模块对终端设备的识别区域进行图像采集；图像获取单元，配置来通过第一采集模块所采集的图像获得第一图像，并且通过第二采集模块所采集的图像获得第二图像；第一位置获取单元，配置来识别第一图像中是否包括至少一个操作体，并且当第一图像中包括至少一个操作体时分别确定每个操作体在第一图像中的位置；第二位置获取单元，配置来对于每个操作体，根据该操作体在第一图像中的位置，确定该操作体在第二图像中的位置；以及深度确定单元，配置来对于每个操作体，根据该操作体在第一图像中的位置和在第二图像中的位置，获得操作体的深度信息。在上述本专利技术实施例提供的处理图像的方法和终端设备中，通过包含第一采集模块和第二采集模块的双目图像采集单元来捕获关于操作体的图像，从而能够基于所捕获的图像更加准确地识别用户的手势，此外，通过确定操作体在第一图像中的位置来获得该操作体在第二图像中的位置，并进而根据该操作体在第一图像中的位置和在第二图像中的位置，获得操作体的深度信息，从而简化了深度信息的计算复杂度，减少了计算所需花费的时间。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单地介绍。下面描述中的附图仅仅是本专利技术的示例性实施例。图1是描述了根据本专利技术实施例的处理图像的方法的流程图。图2是描述了根据本专利技术实施例，根据操作体在第一图像中的位置确定该操作体在第二图像中的位置的方法的流程图。图3是示出了根据操作体在第一图像中的位置确定该操作体在第二图像中的位置的一个示例情形的说明图。图4是描述了根据本专利技术实施例，根据操作体在第一图像和/或第二图像中出现的平面上的位置来生成控制指令的方法的流程图。图5a和图5b是示出根据本专利技术实施例的平面特征确定参考平面的示例情形的说明图。图6是示出了根据本专利技术的一个实施例的终端设备的示范性结构框图。图7是示出了根据本专利技术的一个实施例的第二位置获取单元的示范性结构框图。图8是示出了根据本专利技术的另一实施例的终端设备的示范性结构框图。具体实施方式在下文中，将参考附图详细描述本专利技术的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。在本专利技术的以下实施例中，终端设备的具体形式包括但不限于台式计算机、便携式计算机、平板式计算机、智能电话、智能电视、游戏机和便携式音乐播放器等。终端设备具有设置在所述终端设备的第一外表面上的、包含第一采集模块和第二采集模块的双目图像采集单元，其中第一采集模块和第二采集模块可具有实质相同的硬件配置。图1是描述了根据本专利技术实施例的处理图像的方法100的流程图。下面，将参照图来描述根据本专利技术实施例的处理图像的方法。处理图像的方法100可用于上述终端设备。如图1所示，在步骤S101中，利用双目图像采集单元对终端设备的识别区域进行图像采集，以通过第一采集模块获得第一图像，并且通过第二采集模块获得第二图像。具体地，可通过双目图像采集单元对终端设备的识别区域进行图像采集以获得图像帧，其中每个所述图像帧包括通过第一采集模块采集的第一初始图像和与第一初始图像对应的、通过第二采集模块采集的第二初始图像。在本专利技术的一个示例中，可将第一采集模块采集的第一初始图像直接作为第一图像，并且可将第二采集模块采集的第二初始图像直接作为第二图像。可替换地，为了减少噪声、光照等因素造成的影响，在本专利技术的另一示例中，可对第一采集模块采集的第一初始图像进行第一预处理以获得第一图像，其中在所述第一预处理可包括滤波去噪处理、白平衡调整处理等。此外与第一初始图像类似地，可对第二采集模块采集的第二初始图像进行第二预处理，以获得第二图像。在步骤S102中，识别第一图像中是否包括至少一个操作体，并且当第一图像中包括至少一个操作体时分别确定每个操作体在第一图像中的位置。可使用利用任何图像识别方法来在第一图像中识别操作体。根据本专利技术的一个示例，操作体可以是手指、指示笔等。根据本专利技术的另一示例，在第一图像中可以有一个操作体，例如一个手指或者一支指示笔。可替换地，在第一图像中可以有多个操作体，例如多个手指，并且多个手指可形成特定手势。然后在步骤S103中，对于每个操作体，根据该操作体在第一图像中的位置，确定该操作体在第二图像中的位置。由于在通过第一采集模块获得第一图像和通过第二采集模块获得第二图像中可能存在畸变，根据本专利技术的一个示例，可首选对第一图像和第二图像进行校正以消除畸变，再根据操作体在第一图像中的位置，确定该操作体在第二图像中的位置。图2是描述了根据本专利技术实施例，根据操作体在第一图像中的位置确定该操作体在第本文档来自技高网...

【技术保护点】
一种处理图像的方法，应用于终端设备，其中所述终端设备包括设置在所述终端设备的第一外表面上的、包含第一采集模块和第二采集模块的双目图像采集单元，所述方法包括：利用所述双目图像采集单元对所述终端设备的识别区域进行图像采集，以通过所述第一采集模块获得第一图像，并且通过所述第二采集模块获得第二图像；识别所述第一图像中是否包括至少一个操作体，并且当所述第一图像中包括所述至少一个操作体时分别确定每个所述操作体在所述第一图像中的位置；对于每个所述操作体，根据该操作体在所述第一图像中的位置，确定该操作体在所述第二图像中的位置；对于每个所述操作体，根据该操作体在所述第一图像中的位置和在所述第二图像中的位置，获得所述操作体的深度信息。

【技术特征摘要】
1.一种处理图像的方法，应用于终端设备，其中所述终端设备包括设置
在所述终端设备的第一外表面上的、包含第一采集模块和第二采集模块的双
目图像采集单元，所述方法包括：
利用所述双目图像采集单元对所述终端设备的识别区域进行图像采集，
以通过所述第一采集模块获得第一图像，并且通过所述第二采集模块获得第
二图像；
识别所述第一图像中是否包括至少一个操作体，并且当所述第一图像中
包括所述至少一个操作体时分别确定每个所述操作体在所述第一图像中的位
置；
对于每个所述操作体，根据该操作体在所述第一图像中的位置，确定该
操作体在所述第二图像中的位置；
对于每个所述操作体，根据该操作体在所述第一图像中的位置和在所述
第二图像中的位置，获得所述操作体的深度信息。
2.如权利要求1所述的方法，其中所述对于每个所述操作体，根据该操
作体在所述第一图像中的位置，确定该操作体在所述第二图像中的位置包括：
根据所述第一采集模块和所述第二采集模块之间的几何关系，将所述第
二图像与所述第一图像行对齐；
根据该操作体在所述第一图像中的位置，获得该操作体在所述第一图像
中所在的目标行；
在第二图像中确定与所述目标行相应的行；以及
根据所述相应的行在所述第二图像中确定该操作体在所述第二图像中的
位置。
3.如权利要求1所述的方法，其中
所述操作体为手指，
所述方法还包括：
根据所有操作体的深度信息确定操作手势；以及
根据所述确定的操作手势生成控制指令。
4.如权利要求1所述的方法还包括：
根据多个平面特征确定所述第一图像中是否包括参考平面；
当确定所述第一图像中包括参考平面时，根据所述第一图像和所述第二
图像生成指示所述参考平面相对于所述图像采集单元的空间位置的平面方
程；
根据所述操作体的深度信息和所述平面方程，确定是否存在位于所述参
考平面上的操作体；
当确定存在位于所述参考平面上的操作体时，根据所述第一图像和/或所
述第二图像获取所述操作体在所述参考平面上的位置坐标；以及
根据所述位置坐标生成控制指令。
5.如权利要求4所述的方法，其中
所述平面特征包括：
位于所述参考平面上的不在同一直线上的、颜色相互不同的至少三
个特征点；或者
位于所述参考平面上物体的至少两条相互不平行的边所在的两条直
线。
6.如权利要求4所述的方法，其中所述当确定所述第一图像中包括参考
平面时，根据所述第一图像和所述第二图像生成指示所述参考平面相对于所
述图像采集单元的空间位置的平面方程包括：
当确定所述第一图像中包括参考平面时，确定每个所述平面特征在所述
第一图像中的位置；
对于每个所述平面特征，根据该平面特征在所述第一图像中的位置，确
定该平面特征在所述第二图像中的位置；以及
根据所有平面特征在所述第一图像中的位置和在所述第二图像中的位置
获取所述平面方程。
7.如权利要求1所述的方法，其中
所述通过所述第一采集模块获得第一图像包括：
通过所述第一采集模块采集第一初始图像；
对所述第一初始图像进行第一预处理以获得所述第一图像；以及
所述通过所述第二采集模块获得第二图像包括：
通过所述第二采集模块采集第二初始图像；...

【专利技术属性】
技术研发人员：张红蕾，李志刚，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京;11