一种基于多深度相机的空间人员定位装置及方法制造方法及图纸

本发明专利技术公开了一种基于多深度相机的空间人员定位装置及方法，利用多个3D智能深度相机协同工作来获取空间中场景的3D深度影像，再经过畸变校正与3D深度影像增强后提取人体目标；然后根据所获得的人体目标区域提取人头肩区域方向深度直方图特征和头部区域空间密度特征；结合人头部2D影像和3D深度影像采用头部凸面方形相似度特征来判断定位目标是否为人；再对头顶部中心点直接进行三维重投影变换计算出该定位点在实际空间下的坐标和人员身高；最后对多个深度相机的定位数据进行加权融合并确定最终的空间人员定位信息，该发明专利技术具有实时性强、易扩展、数据准确、不需辅助定位设施的有点，在区域监控、VR定位、人机交互方面具有广泛的应用价值。

A Space Personnel Location Device and Method Based on Multi-Depth Camera

The invention discloses a space personnel positioning device and method based on multi-depth cameras, which utilizes multi-3D intelligent depth cameras to work together to obtain 3D depth images of scenes in space, then extracts human targets after distortion correction and 3D depth image enhancement, and then extracts depth histogram features of human head and shoulder area and head area space according to the obtained human body target area. Inter-density feature; Use head convex square similarity feature to judge whether the positioning target is human based on 2D and 3D depth images of human head; then calculate the coordinates and human height of the positioning point in real space by three-dimensional re-projection transform directly to the center of the head; Finally, weighted fusion of positioning data of multiple depth cameras is carried out to determine the final space personnel. Bit information, which is real-time, easy to expand, accurate data and does not need auxiliary positioning facilities, has wide application value in regional monitoring, VR positioning and human-computer interaction.

【技术实现步骤摘要】
一种基于多深度相机的空间人员定位装置及方法
本专利技术涉及空间人员定位
，具体为一种基于多深度相机的空间人员定位装置及方法。
技术介绍
空间人员定位是指在真实环境中实现人体位置定位。已有的空间人员的定位可以分为两类：基于视觉的定位和基于非视觉的定位。基于非视觉的定位方法大多采用无线通讯、基站定位、惯性传感器，红外激光等，定位精度高，但通常涉及复杂的设备或系统，且通常需要在人身上安装信号收发装置。而基于视觉的定位方法多使用单目或者双目相机来获取场景信息。其中，单目视觉仅能获取空间中的二维影像，在目标的精确定位上存在较大难度，且影像质量受外界环境影响较大；而双目立体视觉能够通过相应的算法实现深度信息的提取，但需要结合双相机进行特征信息的联合匹配，算法相对复杂，稳定性较差，难以确保复杂场景应用的实时性。
技术实现思路
针对
技术介绍
中存在的问题，本专利技术提供了一种基于多深度相机的空间人员定位装置及方法，能够实时获取目标人员的位置和姿态信息，不仅成本低，装置简单，测量范围大，而且具有较好的系统稳定性。为实现上述目的，本专利技术提供如下技术方案：一种基于多深度相机的空间人员定位装置，该定位装置的深度影像获取和处理由5个深度相机组成，即分别为中间深度相机、前方深度相机、左侧深度相机、后方深度相机以及右侧深度相机；其中所述中间深度相机安装在上方垂直向下拍摄，另外四个深度相机分别安装在该中间深度相机的四周，且均与水平方向有一固定的夹角θ，各个深度相机的参数相同，该参数包括测量精度、距离分辨率、影像分辨率、水平视场角、垂直视场角和相机焦距。本专利技术还提供了一种基于多深度相机的空间人员定位方法，该方法使用如权利要求1中所述的基于多深度相机的空间人员定位装置，该方法具体包括的步骤如下：步骤2.1：分别获取所述5台深度相机在同一时刻采集的灰度影像和深度影像；步骤2.2：对所述每个深度相机采集的灰度影像进行畸变校正，通过MATLAB软件计算相机的畸变系数和内参数；步骤2.3：对每个深度相机进行温度补偿校正，最终计算获得准确的3D深度影像数据；步骤2.4：对所述每个深度相机采集的深度影像进行三维滤波增强，消除深度影像中的噪点，提高拍摄的应用场景的深度影像质量；步骤2.5：对所述每个深度相机采集的深度影像进行动态阈值分割，获取人体目标区域，即腰部以上的头肩区域；步骤2.6：根据所获得的人体目标区域提取头肩区域垂直方向深度直方图(HistogramsofOrientedDepth，HOD)特征，和头部区域空间密度(SpatialDensityofHead，SDH)特征Dhead为：其中，VRec为人头部所在的三维空间体积；VHead为头部的体积，可近似为球体体积，表示为：其中，Ti(x,y)为深度影像数据二值化后的结果，为有效的目标点，hz为深度影像中头部区域；步骤2.7：根据步骤2.6，提取人体目标区域测试样本的HOD特征和SDH特征，并进行特征训练，来获取决策函数，进而区分不同类别目标的特征向量；步骤2.8：根据所述决策函数判断各个3D深度影像中是否为人体目标，如果判断为否，则进入步骤2.13，如果判断为是，则进入步骤2.9；步骤2.9：根据所获得的人体目标的头部区域的2D影像和3D深度影像，判断该区域是否满足头部凸面方形相似度(ConvexityandSquareSimilarityofHead，CSSH)特征；如果不满足，则进入步骤2.13，如果满足则进入步骤2.10；CSSH特征Scs为；Scs＝k1*Scon+k2*Ssqu其中，k1,k2为权重系数，Scon为头部凸面相似度，Ssqu为头部方形相似度。并设定Tk∈[0,1]为判断阈值。当Scs≥Tk，当前区域满足CSSH特征；反之，则不满足；头部凸面相似度Scon为：其中，n(n为偶数)为头部区域圆弧凸面的边缘上选取的凸点的个数；N为满足凸面上任意一条圆弧曲线从它的一端到另外一端的过程中满足斜率变化规律的点的个数。头部方形相似度Ssqu为：其中，Hi(x,y)为头部区域所在的外接平面矩形区域，M为行数，N为列数，如3D影像数据为有效点，值为1，否则值为0；Chead为矩形区域周长；步骤2.10：根据步骤2.9的判断结果确定人体目标，计算头部区域的中心点为人体目标定位点，从而获得2D影像中的人体目标定位点；步骤2.11：根据2D人体目标定位点和该点的3D影像数据计算实际空间中的人员位置，即x轴坐标X，y轴坐标Y和人体高度H，并统一变换到世界坐标系，包括：2.11a：以中间深度相机1.1所在位置为场景原点，其相机坐标系为场景对应的世界坐标系，获取的人员位置不需坐标变换；2.11b：将前方深度相机1.2计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取前方深度相机1.2得到的人员位置变换后的世界坐标；2.11c：将后方深度相机1.3计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取后方深度相机1.3得到的人员位置变换后的世界坐标；2.11d：将左侧深度相机1.4计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取左侧深度相机1.4得到的人员位置变换后的世界坐标；2.11e：将右侧深度相机1.5计算得到的人员位置相机坐标乘对应的旋转矩阵加上对应的平移矩阵，获取右侧深度相机1.5得到的人员位置变换后的世界坐标；步骤2.12：根据步骤2.11计算得到的人员位置坐标，对获得的多组定位数据进行加权数据融合，内容包括：2.12a：如果仅有一个深度相机可以得到确定的人体头部区域，则直接计算获得人体目标的人员位置坐标(X,Y,H)；2.12b：如果两台深度相机可以得到确定的人体头部区域，则输出人员位置坐标为：X＝cx1x1+cx2x2Y＝cy1y1+cy2y2H＝ch1h1+ch2h22.12c：如果三台深度相机可以得到确定的人体头部区域，则输出人员位置坐标为：X＝cx1x1+cx2x2+cx3x3Y＝cy1y1+cy2y2+cy3y3H＝ch1h1+ch2h2+ch3h3步骤2.13：未检测到人体目标，输出人员位置坐标为(0,0,0)。与现有技术相比，本专利技术的有益效果是：本专利技术基于多深度相机的空间人员定位装置及方法采用多个深度相机来对空间的人员进行检测定位，扩大了测量范围；利用3D深度影像直接获取人员的距离信息，克服了现有的空间人员定位技术设备复杂，受环境影响大，不能实时提供准确有效的人员位置信息等缺陷；多个智能深度相机协同工作，对定位信息进行了数据融合处理，使整个系统运行更加稳定，定位数据更加可靠，鲁棒性更强。附图说明图1是一种基于多深度相机的空间人员定位装置空间场景图；图2是一种基于多深度相机的空间人员定位装置结构布局平面图；图3是一种基于多深度相机的空间人员定位方法流程图；图4是本专利技术中人体头部区域空间分布示意图；图5是本专利技术中人体头部区域圆弧凸面示意图；图6是本专利技术中人体头部区域外接平面矩形示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他本文档来自技高网...

【技术保护点】
1.一种基于多深度相机的空间人员定位装置，其特征在于：该定位装置的深度影像获取和处理由5个深度相机组成，即分别为中间深度相机、前方深度相机、左侧深度相机、后方深度相机以及右侧深度相机；其中所述中间深度相机安装在上方垂直向下拍摄，另外四个深度相机分别安装在该中间深度相机的四周，且均与水平方向有一固定的夹角θ，各个深度相机的参数相同，该参数包括测量精度、距离分辨率、影像分辨率、水平视场角、垂直视场角和相机焦距。

【技术特征摘要】
1.一种基于多深度相机的空间人员定位装置，其特征在于：该定位装置的深度影像获取和处理由5个深度相机组成，即分别为中间深度相机、前方深度相机、左侧深度相机、后方深度相机以及右侧深度相机；其中所述中间深度相机安装在上方垂直向下拍摄，另外四个深度相机分别安装在该中间深度相机的四周，且均与水平方向有一固定的夹角θ，各个深度相机的参数相同，该参数包括测量精度、距离分辨率、影像分辨率、水平视场角、垂直视场角和相机焦距。2.根据权利要求1所述的一种基于多深度相机的空间人员定位方法，该方法使用如权利要求1中所述的基于多深度相机的空间人员定位装置，其特征在于该方法具体包括的步骤如下：步骤2.1：分别获取所述5台深度相机在同一时刻采集的灰度影像和深度影像；步骤2.2：对所述每个深度相机采集的灰度影像进行畸变校正，通过MATLAB软件计算相机的畸变系数和内参数；步骤2.3：对每个深度相机进行温度补偿校正，最终计算获得准确的3D深度影像数据；步骤2.4：对所述每个深度相机采集的深度影像进行三维滤波增强，消除深度影像中的噪点，提高拍摄的应用场景的深度影像质量；步骤2.5：对所述每个深度相机采集的深度影像进行动态阈值分割，获取人体目标区域，即腰部以上的头肩区域；步骤2.6：根据所获得的人体目标区域提取头肩区域垂直方向深度直方图(HistogramsofOrientedDepth，HOD)特征，和头部区域空间密度(SpatialDensityofHead，SDH)特征Dhead为：其中，VRec为人头部所在的三维空间体积；VHead为头部的体积，可近似为球体体积，表示为：其中，Ti(x,y)为深度影像数据二值化后的结果，为有效的目标点，hz为深度影像中头部区域；步骤2.7：根据步骤2.6，提取人体目标区域测试样本的HOD特征和SDH特征，并进行特征训练，来获取决策函数，进而区分不同类别目标的特征向量；步骤2.8：根据所述决策函数判断各个3D深度影像中是否为人体目标，如果判断为否，则进入步骤2.13，如果判断为是，则进入步骤2.9；步骤2.9：根据所获得的人体目标的头部区域的2D影像和3D深度影像，判断该区域是否满足头部凸面方形相似度(ConvexityandSquareSimilarityofHead，CSSH)特征；如果不满足，则进入步骤2.13，如果满足则进入步骤2.10；CSSH特征Scs为；Scs＝k1*Scon+k2*Ssqu其中，k1,k2为权重系数，Scon为头部凸...

【专利技术属性】
技术研发人员：王海宽，周飞翔，谢栋，李仲秋，
申请(专利权)人：上海青识智能科技有限公司，
类型：发明
国别省市：上海,31