基于鱼眼全景摄像机的视频会议实现方法技术

本发明专利技术公开了一种基于鱼眼全景摄像机的视频会议实现方法，主要解决现有视频会议会场设置要求高，视角范围小，场景单一，面对面互动性差的问题。其实现方案是：1.通过鱼眼全景摄像机获取会议现场的鱼眼图像，并在本地处理中心对鱼眼图像进行预处理；2.利用球面透视投影模型对预处理后的鱼眼图像进行校正，以生成正常视觉下的新视点图像；3.将生成的新视点图像通过传输系统传送到远程处理中心，由远程处理中心将接收到的新视点图像输出显示至各显示终端。本发明专利技术视角范围广、会场设置简单、系统操作方便、直观性好、互动性强，能够给所有参会人员提供面对面的交流体验，可用于两个或两个以上不同地方的视频会议。

Implementation method of video conference based on fish eye panoramic camera

The invention discloses a method for realizing fisheye panoramic camera based video conferencing, mainly to solve the existing video conference venue to set high requirements, scope of small, single scene, face to face interaction problems of poor. The solution is: 1. the fisheye panoramic camera gets the fisheye image meeting site, and in the local processing center of the fisheye image preprocessing; 2. using spherical perspective projection model of fisheye image preprocessing is corrected to generate new images of normal vision; 3. new image generated by the transmission system transfer to a remote processing center by remote processing center will output the received image display to the display terminal. The present invention from the perspective of a wide range of venue set up a simple, convenient operation, intuitive, interactive, able to give all participants to provide face-to-face communication experience, can be used for two or more than two different parts of the video conference.

【技术实现步骤摘要】
基于鱼眼全景摄像机的视频会议实现方法
本专利技术属于图像处理
，特别涉及一种视频会议实现方法，可用于两个或两个以上不同地方的会议小组进行即时互动沟通，使所有的与会人员同时进行面对面的视频交流。
技术介绍
视频会议作为目前最先进的通讯技术，只需借助专用网络或互联网，即可实现高效高清的远程会议办公，在持续提升用户沟通效率、缩减企业差旅费用成本、提高管理成效等方面具有得天独厚的优势，已部分取代商务出行，成为远程办公最新模式。近年来，视频会议的应用范围迅速扩大，从政府、公安、军队、法院到科技、能源、医疗、教育等领域随处可见，涵盖了社会生活的方方面面。鱼眼全景摄像机因其大视角及特殊的成像效果，在虚拟实景技术、机器人导航、医疗、全景漫游、视频监控和摄影等方面得到广泛应用，但因其特殊的畸变效果在视频会议上的应用有所限制。目前，改变鱼眼图像视点中心的平面校正处理方式多采用等距投影算法，该算法的核心理论是给定鱼眼图像上的任意点的坐标，根据输入的鱼眼镜头最大视角、透视角度、输出图像的高度和宽度等参数，得到以该点为中心进行变形校正展开的图像。为满足不同项目的校正效果，针对具体的项目应当在应用时对该算法进行改进。传统的视频会议会场布置要求较高，负责采集图像的高清摄像机和显示设备需固定于会场前侧中央区域，并对正与会人员，通过云台控制和缩放方能实现会场整体和特定位置场景的捕捉，会场照明要充足，环境色温要适中。这种方法视角范围小，场景单一，面对面的互动性差。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于鱼眼全景摄像机的视频会议实现方法，以扩大视角范围、增强互动性，使所有与会人员能同时参与面对面的交流。本专利技术的技术方案是这样实现的：一.技术原理鱼眼像机因采用的镜头和图像传感器与普通镜头的矩形传感器有着本质上的差异，因此其成像原理也不相同。由于鱼眼镜头焦距越短，视角越大，而视角越大，因光学原理产生的变形也就越强烈的特点，为了达到水平360°，垂直180°的超大视角，鱼眼镜头允许“桶形畸变”合理存在，除了画面中心的景物保持不变，其它本应水平或垂直的景物都发生了相应的变化。由于景深曲率的影响，鱼眼镜头成像会形成一个异于人类视觉习惯的圆形图像，其图像边缘的像素点完全被拉伸，因此如何改变鱼眼图像视点并以该视点为中心进行校正是十分关键的技术。图像的畸变十分严重，不符合正常视觉感受，因此需要图像校正处理技术消除鱼眼镜头畸变。本专利技术利用鱼眼全景摄像机获取会议现场的图像数据，经过通信单元传送给本地处理中心，本地处理中心通过校正处理生成正常视觉下的新视点图像，再由远程传输单元传送给另一会议地点的远程处理中心，远程处理中心将解码后的图像信号通过通信单元输出至显示终端，使双方与会人员可直观的、“面对面”的参与交流。二.实现方案根据上述原理，本专利技术的实现方案包括如下：1)会场设置各会议小组将鱼眼全景摄像机水平向上置于会议现场的中央，各参会人员前侧设置小型显示终端，以显示其他参会人员图像；2)图像采集2a)利用会议现场的鱼眼全景摄像机获取会议现场水平视角360度、垂直视角180度的鱼眼图像；2b)将鱼眼摄像机采集的会议现场的鱼眼图像，传回到本地处理中心；3)图像预处理：采用扫描线逼近法获取鱼眼图像的圆形有效区域；4)图像校正与传输4a)采用球面透视投影模型，将鱼眼图像的圆形有效区域校正成为以某一点为中心的正常视觉下的平面图像，并将该平面图像信号传送至远程处理中心；4b)远程处理中心将收到的平面图像进行解码，再输出至参会人员的显示终端。本专利技术具有如下优点：1.本专利技术由于采用鱼眼全景摄像机，可获得水平视角360度的景象，扩大了视角范围；2.本专利技术只需固定设置鱼眼全景摄像机和显示终端，无需云台控制，会场设置简单；3.本专利技术由于通过球面透视投影模型将鱼眼图像校正成正常视觉下的平面图像，使其符合正常的视觉要求，便于双方或多方交流。附图说明图1是本专利技术的实现总框图。图2是本专利技术中鱼眼图像校正子框图。图3是本专利技术中使用的球面透视投影模型。图4是本专利技术中鱼眼镜头球面成像示意图。图5是本专利技术中计算像素长度的示意图。图6是本专利技术中计算视平面对应点的空间坐标示意图图7是本专利技术的实施效果图。具体实施方式以下结合具体实例，对本专利技术进行详细说明。参图1，为本专利技术的实现过程如下：第一步，会场设置。按照实际需求设置分组会场，各分组会场按照圆桌会议方式设置桌椅，座椅数量设置在4个以上，会议桌中央位置水平放置鱼眼全景摄像机，摄像机的镜头向上摆放，各座位前方的桌面上设置液晶显示器作为显示终端，鱼眼全景摄像机、显示终端和座椅的相对位置根据图像显示效果适当调整；各分组会场的计算机控制台作为本会场的本地处理中心。第二步，图像采集。利用设置在会议现场的鱼眼摄像机采集会议现场水平视角360度、垂直视角180度的鱼眼图像。为了使视频图像更流畅，设图像的采集频率为每秒20帧，输出图像的时间不大于0.1秒。将采集到的会议现场的鱼眼图像传回本地处理中心。第三步，图像预处理。由于鱼眼摄像机拍摄的图像四周黑色部分是无用信息，只有中间圆形有效区域内的信息为有用信息。为了提取鱼眼图像的有效信息，需要对鱼眼图像进行预处理，以获取鱼眼图像的轮廓，确定鱼眼图像有效信息所在范围。预处理方法可采用最小二乘拟合法、面积统计法、扫描线逼近法等方法，本实例采用但不限于扫面线逼近法，其步骤如下：3a)事先定义一个阈值T，建立横向、纵向扫描线对鱼眼图像进行逐行逐列扫描，计算每条扫描线上的R、G、B之和Sum，记录四个方向Sum值第一次大于阈值T的位置作为鱼眼图像有效区域的边界线，从而获得鱼眼图像有效区域在水平方向的下边界y1、上边界y2和垂直方向的左边界x1、右边界x2；3b)根据鱼眼图像有效区域的四个边界，计算鱼眼图像的圆形有效区域半径R：第四步，图像校正与传输。由于鱼眼镜头拍摄的图像存在“桶形畸变”，除了图像中心的景物保持不变，图像边缘的像素点完全被拉伸，不符合正常的视觉感受，因此需要用图像校正处理技术消除鱼眼镜头畸变。图像校正处理主要采用球面透视投影模型，将圆形鱼眼图像校正成为以某一点为中心的正常视觉下的平面图像，即新视点图像。参图2，鱼眼图像校过程如下：4a)根据球面成像原理建立球面透视投影模型并统一坐标系：根据鱼眼图像圆形有效区域半径R及其中心O建立球面透视投影模型。该球面透视投影模型的坐标系与相机坐标系CCS重合，其原点为O，正向透出方向为X轴，水平向右方向为Y轴，Z轴与鱼眼摄像机的光轴重合，垂直向上，如图3所示，鱼眼图像有效区域位于XOY平面上的圆内；4b)将鱼眼图像映射到球面模型上，建立透视投影关系：4b1)设空间一点在CCS坐标系的半球模型上的投影点为P，连接OP，则OP与Z轴的夹角θ为入射角,P点在XOY平面上的垂直投影点为P＇，连接OP＇，则OP＇与X轴正向夹角为方位角，则点P的CCS坐标(Cx,Cy,Cz)可表示为：由点P的CCS坐标(Cx,Cy,Cz)，得到如下极坐标式：4b2)在球面透视投影模型中，将上部半球面上点投影到与鱼眼镜头光轴Z轴垂直的固定平面上，形成圆形鱼眼图像，如图4所示，图4中球面点P与其投影点P＇的连线PP＇垂直于XOY平面，r为点P＇(x，y)到圆心O的距离，由此本文档来自技高网...

【技术保护点】
基于鱼眼全景摄像机的视频会议实现方法，其特征在于：1)会场设置各会议小组将鱼眼全景摄像机水平向上置于会议现场的中央，各参会人员前侧设置小型显示终端，以显示其他参会人员图像；2)图像采集2a)利用会议现场的鱼眼全景摄像机获取会议现场水平视角360度、垂直视角180度的鱼眼图像；2b)将鱼眼摄像机采集的会议现场的鱼眼图像，传回到本地处理中心；3)图像预处理：即采用扫描线逼近法获取鱼眼图像的圆形有效区域；4)图像校正与传输：4a)采用球面透视投影模型，将鱼眼图像的圆形有效区域校正成为以某一点为中心的正常视觉下的新视点图像，并将该平面图像信号传送至远程处理中心；4b)远程处理中心将收到的新视点图像进行解码，再输出至参会人员的显示终端。

【技术特征摘要】
1.基于鱼眼全景摄像机的视频会议实现方法，其特征在于：1)会场设置各会议小组将鱼眼全景摄像机水平向上置于会议现场的中央，各参会人员前侧设置小型显示终端，以显示其他参会人员图像；2)图像采集2a)利用会议现场的鱼眼全景摄像机获取会议现场水平视角360度、垂直视角180度的鱼眼图像；2b)将鱼眼摄像机采集的会议现场的鱼眼图像，传回到本地处理中心；3)图像预处理：即采用扫描线逼近法获取鱼眼图像的圆形有效区域；4)图像校正与传输：4a)采用球面透视投影模型，将鱼眼图像的圆形有效区域校正成为以某一点为中心的正常视觉下的新视点图像，并将该平面图像信号传送至远程处理中心；4b)远程处理中心将收到的新视点图像进行解码，再输出至参会人员的显示终端。2.根据权利要求1所述的方法，步骤3)中采用扫描线逼近法获取鱼眼图像的圆形有效区域，按如下步骤进行：3a)建立横向、纵向扫描线对鱼眼图像进行逐行逐列扫描，获得鱼眼图像有效区域在水平方向的下边界y1、上边界y2和垂直方向的左边界x1、右边界x2；3b)根据鱼眼图像有效区域的四个边界，计算鱼眼图像的圆...

【专利技术属性】
技术研发人员：肖嵩，肖昆鹏，李磊，曹小波，杜建超，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61