操作输入装置及方法制造方法及图纸

检测摄像图像(Sa)中的手区域(21)，对于背景区域内的各个部分，根据该部分的亮度或者色彩求出表示光源存在的可能性的光源存在度(PosB)(22)，根据光源存在度(PosB)估计摄像图像受到光源影响的区域(23)，在摄像图像包括被估计为受到光源影响的区域的情况下，进行在摄像图像中的手区域是否产生了缺损的判定(24)，根据判定结果来判定动作(26)。在进行手势操作输入时，即使是摄像图像中的手区域受到了光源影响的情况下，也能够正确地进行手势判定。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及操作输入装置及方法，尤其涉及基于手势的操作输入。本专利技术的操作输入装置及方法例如用于车载用信息设备的操作输入。本专利技术还涉及用于使计算机执行上述的操作输入装置及方法的处理的程序及记录介质。
技术介绍
车辆搭载有车载导航装置、音响装置、空调(空调器)等许多设备，对于驾驶员而言，在操作这些设备时需要进行按钮操作、操作面板的显示内容的确认等，存在增加了视线移动的问题。作为其改善对策，可以考虑利用手势操作输入。为了进行手势操作输入，例如提出了如下的装置：从通过摄像单元拍摄的图像中提取手的图像，根据手的形状和移动判定期望的操作，显示根据所判定的操作而选择的菜单并通知给用户(例如，专利文献1)。在专利文献1中还公开了作为摄像单元具有可见光摄像机和红外线摄像机，在周围比较明亮时使用可见光摄像机，在周围比较暗时使用红外线摄像机。另外，还公开了如下的方法，在使用红外线摄像机的情况下，考虑到红外线摄像机容易受到外部光的影响，使红外光以较短的间隔周期性地点亮、熄灭，并计算差值图像来得到手的图像(例如，专利文献2)。在先技术文献专利文献专利文献1：日本特开2009－104297号公报专利文献2：日本特开平10－222285号公报
技术实现思路
专利技术要解决的问题在上述那样的操作输入装置中，存在例如阳光、路灯等外部光直接射入摄像机中而使得手的图像受到影响的问题。虽然如果能够以外部光不能直接射入的方式设置摄像机，就不会产生此问题，但是对于四周有窗并进行移动的汽车而言，以外部光不能射入的方式设置摄像机是极其困难的。在外部光射入时，将因此而不能正确取得手的图像，存在手的形状的检测产生错误的问题。不限于车载用设备，在家庭用或者办公用设备的操作输入装置中，在来自室内的照明灯的光射入的情况下，也存在同样的问题。本专利技术正是为了解决上述问题而提出的，其目的在于，减少手的形状的判定由于太阳、照明灯等光源的影响而产生错误。用于解决问题的手段本专利技术的操作输入装置具有：手区域检测部，其检测通过摄像部的摄像得到的摄像图像中的手区域；光源存在度信息生成部，其对于由所述手区域检测部检测出的手区域以外的区域构成的背景区域内的各个部分，根据该部分的亮度或者色彩，设定作为表示光源存在的可能性的指标的光源存在度；光源估计部，其根据所述光源存在度，估计所述摄像图像中受到光源的影响的区域，并进一步判定被估计为受到所述光源的影响的区域与由所述手区域检测部检测出的所述手区域是否处于预定的距离以内；形状分析评价部，其在判定为根据所述光源存在度而被估计为受到所述光源的影响的区域与所述手区域处于所述预定的距离以内的情况下，根据由所述手区域检测部检测出的所述手区域的形状，进行在所述摄像图像中的手区域中是否产生了缺损的判定；以及动作判断部，其根据所述形状分析评价部的判定的结果和表示由所述手区域检测部检测出的手区域的信息，判定手的动作。专利技术效果根据本专利技术，在判断为摄像图像中的手区域因光源的影响而产生缺损的情况下，校正手区域，根据校正后的手区域判断手的动作，因而即使是手区域图像因光源的影响而产生缺损时，也能够正确识别手势。附图说明图1是示出本专利技术的实施方式1的操作输入装置的结构的框图。图2是示出实施方式1的操作输入装置的动作的流程图。图3是示出实施方式1的操作输入装置的摄像部的设置例的图。图4的(a)～(c)是示出摄像部11是可见光摄像机时的摄像图像的示例的图。图5的(a)～(c)是示出摄像部11是可见光摄像机时的摄像图像的另一例的图。图6的(a)～(c)是示出摄像部11是可见光摄像机时的摄像图像的又一例的图。图7是示出摄像部11的实际的摄影图像的示例的图。图8的(a)～(d)是示出摄像部11是红外线摄像机时的摄像图像的示例的图。图9的(a)及(b)是示出摄像部11是红外线摄像机时的摄像图像的另一例的图。图10是示出图1的光源存在度信息生成部22的结构例的框图。图11的(a)～(c)是示出图1的光源存在度信息生成部22的动作的图。图12是示出图1的光源存在度信息生成部22的动作的图。图13是示出图1的光源估计部23的动作即图2的步骤S3～S5的详细情况的流程图。图14的(a)及(b)是示出图1的光源估计部23的动作的图。图15是示出图1的光源估计部23的动作的图。图16是示出图1的形状分析评价部24的结构例的框图。图17是示出通过图1的形状分析评价部24处理的手特征信息DH的一例的图。图18是示出图16的特征分析部241的结构例的框图。图19是示出通过图1的形状分析评价部24得到的角度与距离之间的关系的一例的图。图20是示出图16的形状似然度判定部242的结构例的框图。图21是示出通过图1的形状分析评价部24处理的手特征信息DH的另一例的图。图22是示出图16的形状评价部243的结构例的框图。图23是示出通过图1的形状分析评价部24得到的角度与距离之间的关系的另一例的图。图24是示出图1的形状校正部262的结构例的框图。图25的(a)及(b)是示出图1的形状校正部262的动作的图。图26的(a)及(b)是示出图24的位置修正部262b的动作的图。图27是示出图1的动作信息生成部264的结构例的框图。图28的(a)及(b)是示出图1的动作信息生成部264的动作的图。图29是示出图1的操作内容决定部27的结构例的框图。图30是示出图1的操作内容决定部27的操作内容的示例的图。图31是示出本专利技术的实施方式2的操作输入装置的结构的框图。图32是示出实施方式2的操作输入装置的动作的流程图。图33是示出图2的动作判断部26b的结构例的框图。具体实施方式实施方式1图1是示出本专利技术的实施方式1的操作输入装置的结构的框图。图示的操作输入装置具有摄像部11、空间手势识别装置2及显示部31，进行对被控制部32的控制。空间手势识别装置2具有手区域检测部21、光源存在度信息生成部22、光源估计部23、形状分析评价部24、动作判断部26及操作内容决定部27。以下，随时参照图2的流程图说明各构成要素的功能。图1的操作输入装置例如是搭载于汽车的装置，是由落座于驾驶员席、副驾驶席等的操作者操作的装置。如图3所示，在汽车4内部的前方附近设有仪表盘41、方向盘42、变速杆43、坐席44a和44b和前窗45等。操作输入装置的摄像部11以如下方式设置本文档来自技高网...

【技术保护点】
一种操作输入装置，其中，该操作输入装置具有：手区域检测部，其检测通过摄像部的摄像得到的摄像图像中的手区域；光源存在度信息生成部，其对于由所述手区域检测部检测出的手区域以外的区域构成的背景区域内的各个部分，根据该部分的亮度或者色彩，设定作为表示光源存在的可能性的指标的光源存在度；光源估计部，其根据所述光源存在度，估计所述摄像图像中受到光源的影响的区域，并进一步判定被估计为受到所述光源的影响的区域与由所述手区域检测部检测出的所述手区域是否处于预定的距离以内；形状分析评价部，其在判定为根据所述光源存在度而被估计为受到所述光源的影响的区域与所述手区域处于所述预定的距离以内的情况下，根据由所述手区域检测部检测出的所述手区域的形状，进行在所述摄像图像中的手区域中是否产生了缺损的判定；以及动作判断部，其根据所述形状分析评价部的判定的结果和表示由所述手区域检测部检测出的手区域的信息，判定手的动作。

【技术特征摘要】
【国外来华专利技术】2013.09.12 JP 2013-1891391.一种操作输入装置，其中，该操作输入装置具有：
手区域检测部，其检测通过摄像部的摄像得到的摄像图像中的手区域；
光源存在度信息生成部，其对于由所述手区域检测部检测出的手区域以外的区域
构成的背景区域内的各个部分，根据该部分的亮度或者色彩，设定作为表示光源存在
的可能性的指标的光源存在度；
光源估计部，其根据所述光源存在度，估计所述摄像图像中受到光源的影响的区
域，并进一步判定被估计为受到所述光源的影响的区域与由所述手区域检测部检测出
的所述手区域是否处于预定的距离以内；
形状分析评价部，其在判定为根据所述光源存在度而被估计为受到所述光源的影
响的区域与所述手区域处于所述预定的距离以内的情况下，根据由所述手区域检测部
检测出的所述手区域的形状，进行在所述摄像图像中的手区域中是否产生了缺损的判
定；以及
动作判断部，其根据所述形状分析评价部的判定的结果和表示由所述手区域检测
部检测出的手区域的信息，判定手的动作。
2.根据权利要求1所述的操作输入装置，其中，
所述动作判断部具有：
形状校正部，其在由所述形状分析评价部判定为在所述摄像图像中的手区域中产
生了缺损的情况下，校正由所述手区域检测部检测出的所述手区域的形状；以及
动作信息生成部，其根据由所述形状校正部校正后的所述手区域的形状，生成表
示手的动作的动作信息。
3.根据权利要求1或2所述的操作输入装置，其特征在于，
所述形状分析评价部检测手掌的中心的位置，求出从检测出的手掌的中心到手区
域在各个方向上的轮廓的距离，根据所述各个方向上的距离和所述方向之间的关系，
进行在所述摄像图像中的手区域中是否产生了缺损的判定。
4.根据权利要求3所述的操作输入装置，其特征在于，
所述形状分析评价部估计所述各个方向上的距离和所述方向之间的关系、与进行
操作输入用的手势时的手的形状对应的可能性，并根据估计出的所述可能性，进行在

\t所述摄像图像中的手区域中是否产生了缺损的判定。
5.根据权利要求3或4所述的操作输入装置，其特征在于，
所述形状分析评价部根据在表示所述各个方向上的距离和所述方向之间的关系
的曲线中只有一个极小点的方向范围的大小，进行在所述摄像图像中的手区域中是否
产生了缺损的判定。
6.根据权利要求5所述的操作输入装置，其特征在于，
关于所述方向范围，当在所述方向范围的内部在表示所述各个方向上的距离和所
述方向之间的关系的曲线上存在极大点的情况下，所述极大点与所述极小点之差小于
预定的阈值。
7.根据权利要求5或6所述的操作输入装置，其特征在于，
关于所述方向范围，在所述方向范围的内部，所述距离的变化相对于所述方向的
变化的大小为预定的值以下。
8.根据权利要求2所述的操作输入装置，其特征在于，
所述摄像部得到的图像是由表示各个静态图像的帧的序列构成的动态图像，
所述形状校正部根据表示在当前帧中被估计为受到了所述光源的影响的区域的
信...

【专利技术属性】
技术研发人员：山岸宣比古，中村雄大，福田智教，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP