一种全景环带图像的自适应分割与无畸变展开系统及方法技术方案

本发明专利技术公开了一种全景环带图像的自适应分割与无畸变展开系统及方法，该系统包括PAL相机、数据存储模块以及数据处理模块，该方法为：获取PAL相机内参；利用PAL相机获取环带图像；将环带图像利用矩形展开算法展开为矩形图像；利用人脸检测算法检测出人脸在矩形图像中的像素坐标；根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标；利用所得的所有人脸像素坐标进行图像分割；利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开。本发明专利技术采用自适应分割算法智能识别人脸并将与会者进行分割，再根据投影关系去畸变，可智能显示参会的每个人员，解决了全景环带相机应用于视频会议领域时显示效果不理想、畸变过大的问题。

An adaptive segmentation and distortion free expansion system and method of panoramic image

The invention discloses an adaptive segmentation and distortion free expansion system and method of panoramic circular band image, the system includes pal camera, data storage module and data processing module, the method is: obtaining the internal parameters of PAL camera; obtaining the circular band image with pal camera; expanding the circular band image into a rectangular image with rectangular expansion algorithm; detecting the presence of human face in The pixel coordinates in the rectangular image; the pixel coordinates corresponding to the girdle image are calculated according to the pixel coordinates in the rectangular image; the image is segmented by using all the obtained face pixel coordinates; the girdle image is expanded without distortion by using the camera internal parameters and the pixel positions of the segmented girdle image. The invention adopts the adaptive segmentation algorithm to intelligently recognize the face, segment the participants, and then remove the distortion according to the projection relationship, so as to intelligently display each participant, thus solving the problems of unsatisfactory display effect and excessive distortion when the panoramic loop camera is applied in the field of video conference.

【技术实现步骤摘要】
一种全景环带图像的自适应分割与无畸变展开系统及方法
本专利技术涉及全景图像与视频会议领域，尤其涉及一种基于全景环带图像的自适应分割与无畸变展开系统及方法。
技术介绍
随着计算机硬件计算能力的不断提升和图像处理技术的不断成熟，尤其是小型化、轻量化、高计算能力、低功耗计算硬件的问世，使得许多产品得以小型化、轻型化。基于全景环带相机的视频会议系统只需单镜头即可实现360°环视拍摄，其用作视频会议时结构轻巧，不过多占用计算开销，很容易做到实时显示，传输成本低，是中低画质需求下极具竞争力的选择之一。在传统的视频会议方案中，如有全景需求，一般而言使用多相机拼接技术，这种方法需要对获取的多个图像进行对齐与拼接，其结构复杂，需要进行同步对齐触发，硬件复杂度高。
技术实现思路
针对上述不足，本专利技术提供了一种基于全景环带图像的自适应分割与无畸变展开系统及方法，主要用于视频会议系统，可自适应地检测出环带图像中的人脸位置，并对其所在位置进行分割提取，将原有的环带有畸变图像修正为正常的无畸变图像，更适于人眼观察。本专利技术所采用的技术方案如下：本专利技术的第一目的是提供一种全景环带图像的自适应分割与无畸变展开系统，包括：PAL相机，用以采集全景环带图像；数据存储模块，用以存储PAL相机标定的参数；数据处理模块，用于将环带图像利用矩形展开算法展开为矩形图像，利用人脸检测算法检测出人脸在矩形图像中的像素坐标，根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标，利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份，利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开，所述无畸变展开具体步骤如下：建立单位球模型，并沿光轴方向做切面，无畸变图像位于切面上，根据镜头的垂直视场角确定无畸变展开图像的高度；根据前述分割后图像的宽度确定无畸变展开图像的宽度；根据前述分割后图像的位置确定需要无畸变展开的图像位置；利用相机内参对环带图像需无畸变展开的部分进行重映射，根据高度与宽度投影至切面上，完成无畸变展开。本专利技术的第二目的是提供一种全景环带图像的自适应分割与无畸变展开方法，包括如下步骤：步骤(1)利用相机标定算法获取PAL相机内参，并将标定好的数据储存至数据存储模块中；步骤(2)利用PAL相机获取当前正在拍摄的环带图像；步骤(3)将环带图像利用矩形展开算法展开为矩形图像；步骤(4)利用人脸检测算法检测出人脸在矩形图像中的像素坐标；步骤(5)根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标；步骤(6)利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份；步骤(7)利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开，所述无畸变展开具体步骤如下：建立单位球模型，并沿光轴方向做切面，无畸变图像位于切面上，根据镜头的垂直视场角确定无畸变展开图像的高度；根据前述分割后图像的宽度确定无畸变展开图像的宽度；根据前述分割后图像的位置确定需要无畸变展开的图像位置；利用相机内参对环带图像需无畸变展开的部分进行重映射，根据高度与宽度投影至切面上，完成无畸变展开。进一步的，在步骤(1)具体如下：利用开源的OCamCalib工具箱对所需使用的PAL相机进行标定，其将成像模型用4次泰勒级数拟合为一个曲面，并给出了图像的中心位置，获得图像像素坐标到真实世界坐标的映射，真实世界到像素坐标的映射表现为返回图像的像素坐标，像素坐标到真实世界的映射表现为一个向量；工具箱中对应的函数为World2Cam和Cam2World。进一步的，所述步骤(2)具体如下：PAL相机会在感光芯片上成圆环形的环带像，因其独特的结构特点，图像中央部分为盲区，环带图像左右侧也为无关像素，真正有效可利用的为圆环内部的所有像素。PAL相机拍摄时，水平朝上拍摄，所成的像均为水平360°，垂直视场角由设计时决定，以竖直向上为0°基准，最大垂直视场角为大于等于90°。进一步的，所述步骤(3)中，将环带图转换为矩形图需要使用到OpenCV中的Remap函数，具体如下：(3.1)获取目标图像的长和高，记为w和h；(3.2)获取原始图像中心的像素坐标，此为标定文件中给出，记为xc和yc；(3.3)记目标图像上的某个点为(i，j)，在原始图像上该点对应的点与图像中心的连线会与图像的正上方呈一角度，记为θ；(3.4)记环带图像的内径和外径分别为Rmin和Rmax；(3.5)可算得环带图像和矩形图像像素间的对应关系为：(x，y)为环带图像的像素坐标；(3.6)将该映射关系写入cvRemap函数中，即可将环带图像重映射为矩形图像。进一步的，所述步骤(4)，需要对出现进行预处理再检测人脸最后获取人脸坐标，具体如下：(4.1)对图像进行预处理，将RGB图像转化为灰度图，再进行直方图均衡化操作；(4.2)将(4.1)处理好的图像传递给HaarDetectObjects函数获取人脸的集合；(4.3)获取所有人脸在矩形图像中的像素坐标。进一步的，所述步骤(5)具体如下：设检测到的某张人脸图像face0的中心像素坐标为(i0，j0)，其在环带图像中对应的角度为：同理可算得人脸图像边缘像素坐标。进一步的，所述步骤(6)具体如下：在相邻两张人脸图像中，设第一张人脸图像的右边缘对应角度为θ1，第二张人脸图像的左边缘对应角度为θ2，若θ2-θ1≤θe，则认为两张人脸可存在于同一张图像上，不做分割；若θ2-θ1≥θe，则认为两张人脸应分开显示，在θ1+θe和θ2-θe处各自分割，即可能出现共有的图像区域，其中θe为两张人脸图像的最小间隔角度。进一步的，所述步骤(7)具体如下：设某个分割段为θa～θb，则需要展开的图像相对于图像中心的张角大小为θb-θa，该展开段的展开中心对应的角度为(θb-θa)/2；World2Cam函数是将真实世界里的三维坐标映射到图像的像素坐标上，在真实世界中建立了一个竖直平面，并将平面上的某个点的三维坐标送入函数中，则返回的像素点的颜色即为当前平面点的真实颜色。以相机为球心建立一个半径为1的球，与镜头同向，即竖直向上的方向作一与球面相切的矩形面，针对该分割段θa～θb而言，令平面的宽W为2*tan((θb-θa)/2)，高H为tan(90°-A°)+tan(B°-90°)(B≥90)，A°为最小垂直视场角，B°为最大垂直视场角；矩形面的高度由PAL镜头的视场角确定，且其为一固定值，因为镜头的最大最小视场角始终不变，分割图像也只会改变W的值；以切点与球心的连线为x轴，镜头正向与球心的连线为z轴建立右手坐标系，则矩形面垂直于yOz平面，与球面相切于(1，0，0)，则根据矩形面的长宽比可自行设定去畸变后图像的长宽比；设去畸变图像的本文档来自技高网...

【技术保护点】
1.一种全景环带图像的自适应分割与无畸变展开系统，其特征在于，包括：/nPAL相机，用以采集全景环带图像；/n数据存储模块，用以存储PAL相机标定的参数；/n数据处理模块，用于将环带图像利用矩形展开算法展开为矩形图像，利用人脸检测算法检测出人脸在矩形图像中的像素坐标，根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标，利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份，利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开，所述无畸变展开具体步骤如下：/n建立单位球模型，并沿光轴方向做切面，无畸变图像位于切面上，根据镜头的垂直视场角确定无畸变展开图像的高度；/n根据前述分割后图像的宽度确定无畸变展开图像的宽度；/n根据前述分割后图像的位置确定需要无畸变展开的图像位置；/n利用相机内参对环带图像需无畸变展开的部分进行重映射，根据高度与宽度投影至切面上，完成无畸变展开。/n

【技术特征摘要】
1.一种全景环带图像的自适应分割与无畸变展开系统，其特征在于，包括：
PAL相机，用以采集全景环带图像；
数据存储模块，用以存储PAL相机标定的参数；
数据处理模块，用于将环带图像利用矩形展开算法展开为矩形图像，利用人脸检测算法检测出人脸在矩形图像中的像素坐标，根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标，利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份，利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开，所述无畸变展开具体步骤如下：
建立单位球模型，并沿光轴方向做切面，无畸变图像位于切面上，根据镜头的垂直视场角确定无畸变展开图像的高度；
根据前述分割后图像的宽度确定无畸变展开图像的宽度；
根据前述分割后图像的位置确定需要无畸变展开的图像位置；
利用相机内参对环带图像需无畸变展开的部分进行重映射，根据高度与宽度投影至切面上，完成无畸变展开。


2.一种全景环带图像的自适应分割与无畸变展开方法，其特征在于，包括如下步骤：
步骤(1)利用相机标定算法获取PAL相机内参，并将标定好的数据储存至数据存储模块中；
步骤(2)利用PAL相机获取当前正在拍摄的环带图像；
步骤(3)将环带图像利用矩形展开算法展开为矩形图像；
步骤(4)利用人脸检测算法检测出人脸在矩形图像中的像素坐标；
步骤(5)根据矩形图像中的像素坐标计算出其对应于环带图像的像素坐标；
步骤(6)利用所得的所有人脸像素坐标进行图像分割，将环带图像分割成所需的若干份；
步骤(7)利用相机内参、分割后的环带图像像素位置对图像进行无畸变展开，所述无畸变展开具体步骤如下：
建立单位球模型，并沿光轴方向做切面，无畸变图像位于切面上，根据镜头的垂直视场角确定无畸变展开图像的高度；
根据前述分割后图像的宽度确定无畸变展开图像的宽度；
根据前述分割后图像的位置确定需要无畸变展开的图像位置；
利用相机内参对环带图像需无畸变展开的部分进行重映射，根据高度与宽度投影至切面上，完成无畸变展开。


3.根据权利要求1所述的方法，其特征在于，在步骤(1)具体如下：
利用开源的OCamCalib工具箱对所需使用的PAL相机进行标定，获得图像像素坐标到真实世界坐标的映射，真实世界到像素坐标的映射表现为返回图像的像素坐标，像素坐标到真实世界的映射表现为一个向量；工具箱中对应的函数为World2Cam和Cam2World。


4.根据权利要求1所述的方法，其特征在于，所述步骤(2)具体如下：
PAL相机拍摄时，水平朝上拍摄，所成的像均为水平360°，以竖直向上为0°基准，最大垂直视场角为大于等于90°。


5.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体如下：
(3.1)获取目标图像的长和高，记为w和h；
(3.2)获取原始图像中心的像素坐标，此为标定文...

【专利技术属性】
技术研发人员：王之丰，汪凯巍，李艳宾，冯逸鹤，
申请(专利权)人：杭州环峻科技有限公司，
类型：发明
国别省市：浙江;33