一种基于红外摄像机-可见光投影仪的人机交互系统及装置制造方法及图纸

本发明专利技术公开了一种基于红外摄像机‑可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。本发明专利技术利用两个红外摄像机获取三维信息，信息量更加丰富，应用更加灵活，并且不需要其他接触式设备；红外摄像机与红外LED灯相结合，防止环境光和投影光的干扰，使得检测过程更加准确；通过标定实现了红外摄像机和可见光投影仪之间的位姿转换，最终实现与投影仪的交互功能。

A human-machine interaction system and device based on infrared camera and visible light projector

The invention discloses a human-computer interaction system and device based on an infrared camera and a visible light projector. The human body three-dimensional shape is obtained by using an infrared camera, and the three-dimensional data is combined with the picture of the projector through the pose relationship between the infrared camera and the visible light projector, and the pre-defined rules are combined. To achieve real-time human computer interaction. The invention uses two infrared cameras to acquire three-dimensional information, which has more abundant information, more flexible application and no other contact equipment; infrared cameras are combined with infrared LED lamps to prevent the interference of ambient light and projection light, thus making the detection process more accurate; infrared cameras and can be calibrated. The position and posture conversion between the light projectors is realized, and the interaction function with the projector is finally realized.

【技术实现步骤摘要】
一种基于红外摄像机-可见光投影仪的人机交互系统及装置
本专利技术属于光学三维测量领域，提供了一种基于红外摄像机-可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体形态，通过红外摄像机-可见光投影仪之间的关系实现实时的人机交互。
技术介绍
人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。传统用于人机交互方法主要是基于触摸交互设备(鼠标，触摸屏)，这类交互方式无法完全模拟人体动作。随着人机交互技术的不断发展,各种各样的新型人机交互技术不断涌现，基于视觉的人机交互技术由于比较符合交流习惯成为近年来应用于人机交互技术中的一项关键技术。基于视觉的人机交互是当前涉及图象处理、模式识别、计算机视觉等领域的一个比较活跃的课题，具有很广泛的应用价值，例如控制VR中的智能化，机器人控制，虚拟现实系统中的多模式接口等。光学三维测量由于具有非接触、精度高、速度快的优势，已经发展成为三维检测领域最重要的技术。三维数据具有更高的自由度，更广阔的定义空间，更精准的信息获取，在人机交互中有着重要价值。由于结构光立体视觉系统简便，成本比较低，而且精度较高，因此应用最为广泛。
技术实现思路
本专利技术提供了一种基于红外摄像机-可见光投影仪的人机交互系统及装置，利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。本专利技术采取的技术方案为：一种基于红外摄像机-可见光投影仪的人机交互系统，包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；所述双目立体视觉系统由相对设置的左红外摄像机和右红外摄像机构成，用于采集目标的三维数据；所述红外LED灯设置在左红外摄像机和右红外摄像机之间，红外LED灯、左红外摄像机和右红外摄像机用于减少环境光和投影光的干扰；所述可见光摄像机辅助标定双目立体视觉系统，得到左红外摄像机坐标系、右红外摄像机坐标系和可见光投影仪坐标系之间的转换关系；利用左红外摄像机和右红外摄像机识别出预先定义的手势，在可见光投影仪中实现相对应的响应，实现人机交互。所述双目立体视觉系统中的左红外摄像机和右红外摄像机的光轴有0度到120度的交叉，通过标定左红外摄像机和右红外摄像机的内外参数参数，实现目标三维信息的重建。所述可见光投影仪投射的光属于可见光波段，可见光波段的波长为400到760纳米。所述左红外摄像机和右红外摄像机可检测波段为近红外波段，近红外波段波长为780到3000纳米；所述可见光摄像机为彩色摄像机或者黑白摄像机。整个交互过程如下：第一步：在扫描被测目标前，标定出可见光投影仪和红外摄像机之间的位姿关系。标定方法如下；(1)利用标定装置(如：棋盘格标定板等)对两个个红外摄像机和可见光摄像机分别进行单摄像机标定，得到三个摄像机的内参矩阵，包括主点位置、焦距、镜头畸变参数等；(2)利用标定装置对两个红外摄像机(左红外摄像机、右红外摄像机)进行双目标定，以左红外摄像机为基准，计算右红外摄像机到左红外摄像机的位姿转换矩阵；(3)利用标定装置对一个红外摄像机(左红外摄像机)和可见光摄像机进行双目标定，以左红外摄像机为基准，计算可见光摄像机到左红外摄像机的位姿转换矩阵。若使用一个RGBIR(红、绿、蓝、红外)摄像机代替两个摄像机，则可以跳过此步骤；(4)利用标定装置对可见光投影仪和可见光摄像机进行标定，得到可见光摄像机和可见光投影仪之间的位姿转换矩阵，其中可见光投影仪向标志物上投射编码结构光(如：正弦条纹图等)，可见光摄像机拍摄投射有编码结构光的标志物，从中得到编码信息，通过编码信息与可见光投影仪的坐标进行匹配标定；(5)利用(3)(4)得到的红外摄像机和可见光摄像机，以及可见光摄像机和可见光投影仪之间的位姿转换关系，计算出红外摄像机和可见光投影仪之间的位姿转换关系，完成红外摄像机和可见光投影仪的标定。第二步：在红外LED照明条件下，用两个红外摄像机(左红外摄像机、右红外摄像机)同时对被测目标进行采集，利用第一步的标定参数对目标进行双目立体重建，得到三维信息。第三步：利用第一步的标定参数，将重建得到的三维数据转到投影仪坐标系下，获得其对应的投影位置，根据定义好的控制指令实现与投影仪的交互功能。有益效果本专利技术方案提出的是一种新型的红外摄像机-可见光投影仪人机交互系统，利用两个红外摄像机获取三维信息，信息量更加丰富，应用更加灵活，并且不需要其他接触式设备；红外摄像机与红外LED灯相结合，防止环境光和投影光的干扰，使得检测过程更加准确；通过标定实现了红外摄像机和可见光投影仪之间的位姿转换，最终实现与投影仪的交互功能。附图说明图1一种基于红外摄像机-可见光投影仪的人机交互标定装置；图2基于红外摄像机-可见光投影仪的人机交互系统标定示装置意图；图3人机交互系统工作意图；其中：1为左红外摄像机、2为红外LED灯、3为可见光投影仪、4为右红外摄像机、5为计算装置、6为投影面、7为可见光摄像机、8为标定装置。具体实施方式下面具体结合附图对本专利技术做详细描述。一种基于红外摄像机-可见光投影仪的人机交互标定装置(图1所示)包括计算装置(计算机或者计算芯片)、可见光投影仪、红外LED灯、左红外摄像机、右红外摄像机和投影面。利用红外摄像机获取人体三维形态，通过红外摄像机与可见光投影仪之间的位姿关系，将三维数据与投影仪的画幅相结合，通过与预先定义的规则相结合，实现实时的人机交互。具体包括以下步骤：第一步，标定系统参数对系统参数的标定需要用到如图2所示的基于红外摄像机-可见光投影仪的人机交互系统标定示装置，包括可见光投影仪、红外LED灯、左红外摄像机和右红外摄像机、可见光摄像机和标定装置。1)对左红外摄像机、右红外摄像机和可见光摄像机分别进行单摄像机标定空间中任何一点PW从三维空间到摄像机的二维图像平面可以用针孔摄像机模型近似表示，即任何点PW在图像中的投影位置p为光心c和点PW的连线cPW与图像平面的交点，此种关系也称为透视投影。理想的透镜成像是针孔模型，但实际中透镜并不完全满足这个条件，由于摄像机光学系统的加工误差和装配误差，摄像机像面上的实际成像与理想成像之间存在光学畸变误差。设M为透视投影矩阵，设空间中任意一个三维点PW在世界坐标系中的坐标为(XW,YW,ZW)，其在摄像机坐标系中的坐标为(xc,yc,zc)，其投影到摄像机的图像平面坐标系中的坐标为(x,y)，其投影到摄像机的图像像素坐标系中的坐标为(u,v)。由光学成像原理以及点PW在摄像机坐标系和图像平面坐标系的投影关系可得：式中：(x,y)为空间点PW的图像平面坐标系坐标，(xc,yc,yc)为空间点PW的摄像机坐标系坐标，f为光心到成像平面的距离，一般称为摄像机的焦距。由坐标变换关系可得图像平面坐标系和图像像素坐标系的关系式：式中：(u,v)为图像像素坐标系中的坐标，(u0,v0)为主点坐标，(x,y)本文档来自技高网...

【技术保护点】
1.一种基于红外摄像机‑可见光投影仪的人机交互系统，其特征在于：包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；所述双目立体视觉系统由相对设置的左红外摄像机和右红外摄像机构成，用于采集目标的三维数据；所述红外LED灯设置在左红外摄像机和右红外摄像机之间，红外LED灯、左红外摄像机和右红外摄像机用于减少环境光和投影光的干扰；所述可见光摄像机辅助标定双目立体视觉系统，得到左红外摄像机坐标系、右红外摄像机坐标系和可见光投影仪坐标系之间的转换关系；利用左红外摄像机和右红外摄像机识别出预先定义的手势，在可见光投影仪中实现相对应的响应，实现人机交互。

【技术特征摘要】
1.一种基于红外摄像机-可见光投影仪的人机交互系统，其特征在于：包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；所述双目立体视觉系统由相对设置的左红外摄像机和右红外摄像机构成，用于采集目标的三维数据；所述红外LED灯设置在左红外摄像机和右红外摄像机之间，红外LED灯、左红外摄像机和右红外摄像机用于减少环境光和投影光的干扰；所述可见光摄像机辅助标定双目立体视觉系统，得到左红外摄像机坐标系、右红外摄像机坐标系和可见光投影仪坐标系之间的转换关系；利用左红外摄像机和右红外摄像机识别出预先定义的手势，在可见光投影仪中实现相对应的响应，实现人机交互。2.如权利要求1所述的人机交互系统，其特征在于：所述双目立体视觉系统中的左红外摄像机和右红外摄像机的光轴有0度到120度的交叉，通过标定左红外摄像机和右红外摄像机的内外参数参数，实现目标三维信息的重建。3.如权利要求1所述的人机交互系统，其特征在于：所述可见光投影仪投射的光属于可见光波段，可见光波段的波长为400到760纳米。4.如权利要求1所述的人机交互系统，其特征在于：所述左红外摄像机和右红外摄像机可检测波段为近红外波段，近红外波段波长为780到3000纳米。5.如权利要求1所述的人机交互系统，其特征在于：所述可见光摄像机为彩色摄像机或者黑白摄像机。6.如权利要求1所述的人机交互系统，其特征在于：所述左红外摄像机和右红外摄像机用于手势识别，包括单个摄像机的二维手势识别和基于双目立体重建的三维手势识别。7.基于权利要求1-6之一的人机交互系统的交互方法，其特征在于：采用可见光摄像机辅助进行左红外摄像机、右红外摄像机和可见光投影仪的标定，可见光摄像机只使用于标定过程中；第一步：通过标定装置对左红外摄像机和可见光摄像机进行标定，得到左红外摄像机和可见光摄像机的内外参数；或者通过标定装置对右红外摄像机和可见光摄像机进行标定，得到左红外摄像机和可见光摄像机的内外参数；第二步：通过标定装置对可见光投影仪和可见光摄像机进行标定，得到可见光摄像机和可见光投影仪之间的位姿转换关系，其中可见光投影仪像标志物上投射编码结构光，可见光摄像机拍摄投射有编码结构光的标志物，从中得到编码信息，通过编码信息与可见光投影仪的坐标进行匹配标定；第三步：利用第一步和第二步得到的左红外摄像机和可见光摄像机的内外参数，或者右红外摄像机和可见光摄像机的内外参数，以及可见光摄像机和可见光投影仪之间的位姿转换关系，计算出左红外摄像机、右红外摄像机和可见光投影仪之间的位姿转换关系，完成左红外摄像机、右红外摄像机和可见光投影仪的标定。8.基于权利要求7的人机交互系统的交互方法，其特征在于：所述左红外摄像机、右红外摄像机和可见光摄像机为RGBIR摄像机。9.基于权利要求1-6之一的人机交互系统的交互方法，其特征在于，包括以下步骤：第一步，标定系统参数：设置人机交互系统，所述人机交互系统包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；1)对左红外摄像机、右红外摄像机和可见光摄像机分别进行单摄像机标定空间中任何一点PW从三维空间到摄像机的二维图像平面可以用针孔摄像机模型近似表示，即任何点PW在图像中的投影位置p为光心c和点PW的连线cPW与图像平面的交点，此种关系也称为透视投影；设M为透视投影矩阵，设空间中任意一个三维点PW在世界坐标系中的坐标为(XW,YW,ZW)，其在摄像机坐标系中的坐标为(xc,yc,zc)，其投影到摄像机的图像平面坐标系中的坐标为(x,y)，其投影到摄像机的图像像素坐标系中的坐标为(u,v)；由光学成像原理以及点PW在摄像机坐标系和图像平面坐标系的投影关系可得：式中：(x,y)为空间点PW的图像平面坐标系坐标，(xc,yc,yc)为空间点PW的摄像机坐标系坐标，f为光心到成像平面的距离，一般称为摄像机的焦距；由坐标变换关系可得图像平面坐标系和图像像素坐标系的关系式：式中：(u,v)为图像像素坐标系中的坐标，(u0,v0)为主点坐标，(x,y)为摄像机坐标系中的坐标，dx和dy分别为每一个像素在x轴和y轴方向上的物理尺寸；则由此可得透视投影关系：m'＝Mw'式中：m'和w'分别为PW点的投影点齐次坐标和世界齐次坐标；则透视投影矩阵M可分解为：M＝A[RT]；式中：R是旋转矩阵，T是平移向量，它们组成摄像机的外部参数矩阵；A为摄像机矩阵，包含了摄像机的内部参数信息：式中：f/dx，f/dy分别为以垂直和水平像素单位表示的焦距长度，(u0,v0)为主点坐标即光轴与成像平面的交点，γ为图像中两条坐标轴的倾斜因子；通过标定板的已知信息可以求取摄像机的内部参数；要完成空间点从世界坐标系向图像坐标系的转换，就要已知上述公式中的所有未知量，A和B分别表示内参矩阵和外参矩阵。其中，sx，sy，cx，cy和f是摄像机的内部参数，称作摄像机内参；2)对左红外摄像机和右红外摄像机进行双目标...

【专利技术属性】
技术研发人员：周翔，张冠良，王超，杨涛，孟强，李晓晓，黄亮，明向业，
申请(专利权)人：苏州笛卡测试技术有限公司，
类型：发明
国别省市：江苏,32