宽视角立体摄像机装置及使用其的深度影像处理方法制造方法及图纸

本发明专利技术公开一种宽视角立体摄像机装置及使用其的深度影像处理方法。本发明专利技术一实施例的立体摄像机装置包括：接收部，接收通过垂直配置的第一镜头和第二镜头拍摄的被摄体的第一影像和第二影像；转换部，采用地图投影法对接收到的上述第一影像和第二影像进行转换；以及处理部，对采用地图投影法转换的上述第一影像和第二影像执行纵向立体匹配来提取上述被摄体的深度。体的深度。体的深度。

【技术实现步骤摘要】
【国外来华专利技术】宽视角立体摄像机装置及使用其的深度影像处理方法


[0001]本专利技术涉及一种宽视角立体摄像机装置及使用其的深度影像处理方法，更具体地，涉及如下的立体摄像机装置及使用其的深度影像处理方法，即，通过垂直配置两个镜头(例如，鱼眼镜头)来扩宽水平视角和垂直视角，从而具有宽视角。

技术介绍

[0002]为了实现人机界面(Human
‑
Computer Interface)，关于同时输出彩色影像和作为三维(3D)信息的深度图的RGB
‑
D摄像机的研究非常活跃。微软公司为了自己的游戏而推广的RGB
‑
D摄像机Kinect传感器提供识别多人身体动作的功能，因此不仅被用于游戏，还被用于各种人机界面，之后还推出了各种RGB
‑
D摄像机产品，将应用范围扩大到了三维内容制作、自动驾驶、机器人等领域。
[0003]根据获取深度信息的方式，RGB
‑
D摄像机可以分为立体摄像机和飞行时间(TOF，Time ofFlight)摄像机。通常的立体摄像机由两台相隔同基线(Baseline)距离的摄像机组成，并通过摄像机之间的视点不一致来获取深度信息。为了获取深度信息，需要经过对比两侧镜头影像的立体匹配过程，而且为了提高立体匹配过程的速度和精确度，还会使用图案光或结构光。飞行时间摄像机是一种利用向被摄体照射激光后照射的光被被摄体反射回来的时间来计算距离从而提供二维(2D)影像和深度信息的摄像机。飞行时间摄像机通常比立体方式提供更精确的距离信息，但提供的空间分辨率(Spatial Resolution)相对较低，在测量距离和使用环境方面也存在局限性。
[0004]一般的摄像机使用专为直线投影(Rectilinear Projection)而设计的镜头。在直线投影中，真实世界中的直线在影像中也显示为直线，因此可以得到类似人类感知的影像，但是存在摄像机的视角越宽，位于影像周边的物体比中心部的物体就显示得相对更大的问题。通常，水平视角不超过120度左右时会使用直线投影镜头，而需要更宽的视角时，将使用鱼眼镜头(Fisheye Lens)。鱼眼镜头将真实世界仿佛存在桶形失真(Barrel Distortion)般投影到影像中，因此可以将180度以上的视角也捕捉到影像中。
[0005]随着RGB
‑
D摄像机的使用环境扩展到机器人、无人机、自动驾驶车辆等移动体，对宽视角的要求也在不断增加，但由于大多数RGB
‑
D摄像机使用直线投影镜头，因此很难提供120度以上的水平视角。虽然一些立体摄像机使用鱼眼镜头来提供更宽的视角，但存在鱼眼镜头影像很难像直线投影影像那样通过一维(1D)搜索来执行有效的立体匹配的缺点。并且，即使使用鱼眼镜头，也无法获得与立体摄像机的基线(Baseline)同方向的距离信息，因此水平视角被限制在180度以内。

技术实现思路

[0006]技术问题
[0007]本专利技术实施例提供一种立体摄像机装置及使用其的深度影像处理方法，即，通过垂直配置两个镜头(例如，鱼眼镜头)来将水平视角扩宽至镜头的最大水平视角且将垂直视
角扩宽至180度，从而具有宽视角。
[0008]并且，本专利技术实施例提供一种基于宽视角立体摄像机的人机界面(Human
‑
Machine Interface)系统及使用其的深度影像处理方法，即，能够使用所说明的立体摄像机装置来识别距离接近1米以内的使用人员的全身动作。
[0009]并且，本专利技术实施例提供一种基于宽视角立体摄像机的第一人称视觉系统及使用其的深度影像处理方法，即，能够使用所说明的立体摄像机装置来识别使用人员的动作或识别使用人员的周边环境。
[0010]并且，本专利技术实施例提供一种基于宽视角立体摄像机的人员跟踪系统及其方法，即，能够使用所说明的立体摄像机装置来识别并跟踪近距离的人员。
[0011]技术方案
[0012]本专利技术一实施例的立体摄像机装置包括：接收部，接收通过垂直配置的第一镜头和第二镜头拍摄的被摄体的第一影像和第二影像；转换部，采用地图投影法对接收到的上述第一影像和第二影像进行转换；以及处理部，对采用地图投影法转换的上述第一影像和第二影像执行纵向立体匹配来提取上述被摄体的深度。
[0013]上述转换部可以采用等距柱状投影法(Equirectangular Projection)转换上述第一影像和第二影像。
[0014]上述转换部可以利用球坐标系进行旋转变换，以使核线(Epipolar line)与球面的经线一致。
[0015]上述处理部可以通过沿着与经线相对应的垂直线对采用地图投影法转换的上述第一影像和第二影像进行搜索来执行立体匹配。
[0016]上述第一镜头和上述第二镜头可以包括鱼眼镜头。
[0017]上述第一镜头和上述第二镜头可以为水平视角达到180度以上的鱼眼镜头。
[0018]上述处理部可以利用所提取的上述被摄体的深度来获得具有180度以上的水平宽视角的上述被摄体的影像。
[0019]上述接收部可以包括用于拍摄上述第一影像的图像传感器和用于拍摄上述第二影像的图像传感器，当用于拍摄上述第一影像和第二影像的图像传感器为横向长度大于纵向长度的矩形形状时，可以分别以获得比垂直视角更宽的水平视角的方式横向设置。
[0020]上述立体摄像机装置还可包括视觉处理部，其利用从上述立体摄像机装置提取的上述被摄体的深度图来识别上述使用人员的动作以及包括上述使用人员的周边事物和地形在内的周边环境，向上述使用人员提供识别出来的上述使用人员的动作和周边环境。
[0021]上述立体摄像机装置还可包括控制部，其利用从上述立体摄像机装置提取的上述被摄体的深度图来识别人员以及与上述人员之间的距离，以利用识别出来的上述人员以及与上述人员之间的距离来隔着规定距离跟踪上述人员的方式进行控制。
[0022]本专利技术的特征在于，上述控制部可以利用上述被摄体的深度图来识别上述人员的移动方向以及包括上述人员的周边事物和地形在内的周边环境，以通过上述人员的移动方向和上述周边环境来检测是否有可能发生碰撞并反馈碰撞可能性来跟踪上述人员的方式进行控制。
[0023]在本专利技术一实施例的深度影像处理方法中，立体摄像机装置的深度影像处理方法包括如下步骤：接收通过垂直配置的第一镜头和第二镜头拍摄的被摄体的第一影像和第二
影像；采用地图投影法对接收到的上述第一影像和第二影像进行转换；以及对采用地图投影法转换的上述第一影像和第二影像执行纵向立体匹配来提取上述被摄体的深度。
[0024]上述深度影像处理方法还可包括如下步骤：利用所提取的被摄体的上述深度图来识别上述使用人员的动作以及包括上述使用人员的周边事物和地形在内的周边环境，向上述使用人员提供识别出来的上述使用人员的动作和周边环境。
[0025]上述深度影像处理方法还可包括如下步骤：利用所提取的被摄体的上述深度图来识别上述人员以及与本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种立体摄像机装置，其特征在于，包括：接收部，接收通过垂直配置的第一镜头和第二镜头拍摄的被摄体的第一影像和第二影像；转换部，采用地图投影法对接收到的上述第一影像和第二影像进行转换；以及处理部，对采用地图投影法转换的上述第一影像和第二影像执行纵向立体匹配来提取上述被摄体的深度。2.根据权利要求1所述的立体摄像机装置，其特征在于，上述转换部采用等距柱状投影法转换上述第一影像和第二影像。3.根据权利要求2所述的立体摄像机装置，其特征在于，上述转换部利用球坐标系进行旋转变换，以使核线与球面的经线一致。4.根据权利要求3所述的立体摄像机装置，其特征在于，上述处理部通过沿着与经线相对应的垂直线对采用地图投影法转换的上述第一影像和第二影像进行搜索来执行立体匹配。5.根据权利要求1所述的立体摄像机装置，其特征在于，上述第一镜头和上述第二镜头包括鱼眼镜头。6.根据权利要求5所述的立体摄像机装置，其特征在于，上述第一镜头和上述第二镜头为水平视角达到180度以上的鱼眼镜头。7.根据权利要求1所述的立体摄像机装置，其特征在于，上述处理部利用所提取的上述被摄体的深度来获得具有180度以上的水平宽视角的上述被摄体的影像。8.根据权利要求1所述的立体摄像机装置，其特征在于，上述接收部包括用于拍摄上述第一影像的图像传感器和用于拍摄上述第二影像的图像传感器，当用于拍摄上述第一影像和第二影像的图像传感器为横向长度大于纵向长度的矩形形状时，分别以获得比垂直视角更宽的水平视角的方式横向设置。9.根据权利要求1所述的立体摄像机装置，其特征在于，还包括视觉处理部，其利用从上述立体摄像机装置提取的上述被摄体的深度图来识别上述使用人员...

【专利技术属性】
技术研发人员：朴己泳，金东锡，
申请(专利权)人：阿尔戈斯视觉公司，
类型：发明
国别省市：