共光心拼接方法及其装置制造方法及图纸

本发明专利技术提供了一种共光心拼接方法及其装置。其中所述方法包括：利用物理拼接调节机构调节共光心图像采集阵列，获得调节后的共光心图像采集阵列；利用调节后的共光心图像采集阵列进行图像采集获得带有标志点的共光心图像；根据共光心图像上标志点粗略确定第一拼接线；利用全景摄像机进行图像采集获得全景图像；将共光心图像与全景图像进行对比获得图像重合度；基于图像重合度在第一拼接线附近精确确定第二拼接线；根据第二拼接线对共光心图像拼接边缘进行裁切获得裁切后共光心图像，并将其按照裁切后的边缘进行拼接获得拼接后共光心图像。本发明专利技术的共光心拼接方法有效实现了共光心图像拼接位置的低成本精准确定，解决了图像拼接位置羽化浸染带问题。接位置羽化浸染带问题。接位置羽化浸染带问题。

【技术实现步骤摘要】
共光心拼接方法及其装置


[0001]本专利技术涉及图像采集处理
，具体地，涉及共光心拼接方法及其装置。

技术介绍

[0002]随着视频会议高清解决方案的广泛使用，人们对远程办公、视频会议的需求越来越急迫，视频效果已达到720P、1080P乃至4K，但整个会议体验却仍然无法满足客户需求。在大尺寸屏幕逐渐普及的前提下，视频会议行业各厂家纷纷推出远真方案，使得与会者的体验从单纯的视频会议，全面提升到真人1:1图像大小，配合声音定位技术，实现面对面的沉浸式沟通体验。然而由于图像采集受摄像机的物理结构和光学视场角限制，单一的摄像机无法得到一个无缝连续且无畸变的全景图像；而采用多个摄像机拼接又会存在视差问题导致的拼接不连续问题，特别是在较大型的会议室时，坐在前排和后排的与会者存在一个较大的景深，拼接不连续的问题会凸显。
[0003]目前的远真系统大多采用数个摄像机，以平行或者汇聚摆放的方式拍摄场景图像。其中主流的摄像机解决方案如图6a和图6b所示。
[0004]为了说明为什么目前的远真系统中的摄像机无法得到全景无缝图像，我们考察一个由平行摄像机组成的双摄像机系统，如图7所示。O1和O2分别为两个摄像机的光心。根据光学成像原理可得视差与焦距、光心及景深的关系式为：d＝fB/Z；
[0005]其中d为两个图像重叠部分的视差，f为摄像机焦距，B为摄像机光心间距，Z为拍摄景深，汇聚摄像机系统的关系式与之类似。可见，图像的视差和光心间距及景深有关。由于摄像机的光心在摄像机内部，仅靠摄像机位置的摆放无法使两个摄像机的光心间距B为0，因此使用目前远真系统中的摄像机，无法获得一个由多个摄像机图像无缝拼接而来的全景图像。
[0006]现有技术中共光心拼接为解决多个摄像机图像无缝拼接全景图像的主要方案，但是共光心拼接由于受镜头光学参数、玻璃折射和物体表面反射的影响，图像拼接位置容易出现羽化的浸染带现象，这个浸染带在拼接中是不能被使用的，因而导致拼接效果变差，无法得到高质量的全景图像。现有技术通常采取的办法是反射镜面上贴偏振片过滤杂光或交界处加异色隔板的方式，再通过后续软件算法裁切掉边缘的办法，这样做不仅损失了部分图像，而且费用比较高。
[0007]此外，针对会议中有人站立发言时，远端画面如何完整保留发言者的问题。现有技术通常采用大尺寸图像传感器采集图像后做裁切的方式，或者采用变焦摄像机把图像进行一定比例的缩小以获得更多的图像范围，但这两种方案的成本都偏高。

技术实现思路

[0008]为了解决现有技术中存在的上述问题，本专利技术提供了一种共光心拼接方法及其装置，通过在拼接反射镜之间的拼接线上确定标志点，拼接摄像机采集到带有标志点的共光心图像，粗略确定图像拼接位置；再结合全景摄像机采集的全景图像精确校准图像拼接位
置，有效实现了共光心图像拼接位置的低成本精准确定，解决了图像拼接位置羽化浸染带问题，获得高质量的共光心全景图像。
[0009]第一方面，本专利技术提供了一种共光心拼接方法，其特征在于，提供共光心拼接装置，其包括共光心图像采集阵列以及用于调节共光心图像采集阵列的物理拼接调节机构，其中所述共光心图像采集阵列包括至少3个拼接摄像机、至少1个全景摄像机以及与所述至少3个拼接摄像机一一对应至少3块拼接反射镜，其中所述拼接反射镜上具有用颜色标记的标志点；所述方法包括：
[0010]基于采集区域的方位以及转角，利用所述物理拼接调节机构调节所述拼接摄像机之间的相对位置，以及所述拼接摄像机与其对应的拼接反射镜之间的相对位置，获得调节后的共光心图像采集阵列；
[0011]利用调节后的共光心图像采集阵列进行图像采集，获得带有标志点的共光心图像；
[0012]根据所述共光心图像上所述标志点粗略确定第一拼接线；
[0013]利用所述全景摄像机进行图像采集，获得全景图像；
[0014]将所述共光心图像与所述全景图像进行对比，获得图像重合度；
[0015]基于所述图像重合度在所述第一拼接线的附近精确确定第二拼接线；
[0016]根据所述第二拼接线，对所述共光心图像的拼接边缘进行裁切，获得裁切后共光心图像，并将其按照裁切后的边缘进行拼接，获得拼接后共光心图像。
[0017]第二方面，本专利技术还提供了一种共光心拼接装置，其特征在于，所述装置包括共光心图像采集阵列以及物理拼接调节机构，其中所述共光心图像采集阵列包括至少3个拼接摄像机、至少1个全景摄像机以及与所述至少3个拼接摄像机一一对应至少3块拼接反射镜，其中所述拼接反射镜上具有用颜色标记的标志点；
[0018]所述物理拼接调节机构用于基于采集区域的方位以及转角，调节所述拼接摄像机之间的相对位置，以及所述拼接摄像机与其对应的拼接反射镜之间的相对位置，获得调节后的共光心图像采集阵列；
[0019]所述装置还包括粗略确定单元、重合度对比单元、精确确定单元和裁切拼接单元；其中
[0020]所述调节后的共光心图像采集阵列用于进行图像采集，获得带有标志点的共光心图像；
[0021]所述粗略确定单元用于根据所述共光心图像上所述标志点粗略确定第一拼接线；
[0022]所述全景摄像机用于进行图像采集，获得全景图像；
[0023]所述重合度对比单元用于将所述共光心图像与所述全景图像进行对比，获得图像重合度；
[0024]所述精确确定单元用于基于所述图像重合度在所述第一拼接线的附近精确确定第二拼接线；
[0025]所述裁切拼接单元用于根据所述第二拼接线，对所述共光心图像的拼接边缘进行裁切，获得裁切后共光心图像，并将其按照裁切后的边缘进行拼接，获得拼接后共光心图像。
[0026]本专利技术提供的共光心拼接方法及其装置，通过在拼接反射镜之间的拼接线上确定
标志点，拼接摄像机采集到带有标志点的共光心图像，粗略确定图像拼接位置；再结合全景摄像机采集的全景图像精确校准图像拼接位置，有效实现了共光心图像拼接位置的低成本精准确定，解决了图像拼接位置羽化浸染带问题，获得高质量的共光心全景图像。另外，除了通过在拼接反射镜之间的拼接线上确定标志点，粗略确定图像拼接位置，即第一拼接线，还可以通过在选定的拼接反射镜相邻的其他拼接反射镜贴深色膜，或在采集区域的转角处设置标志物的方法确定第一拼接线，为后续精确确定第二拼接线缩小范围。此外，本专利技术利用了FA工业镜头便于更换的灵活性，针对会议中站立人员不出框的问题，采用更换同系列但不同焦距的FA工业镜头，即把12mm焦距镜头更换为8mm焦距镜头，从而获得更大的视场范围。根据参会人头部位置，尤其是站立人员的头部位置，将所述拼接后共光心图像进行局部剪切，使得参会人头部位置保持与真人1:1比例在画面纵向的上1/3～2/3的范围内，并在接收端屏幕上平滑过渡呈现出来；另外还可以通过电磁铁或其他机械结构对所述至少3块拼接反射镜分别进行转动，使得参会人头部位置处于所述共光心图像的中部，更低成本更好地解决站立人员不出框的问题。
附图说明
[0027]为了更清楚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种共光心拼接方法，其特征在于，提供共光心拼接装置，其包括共光心图像采集阵列以及用于调节共光心图像采集阵列的物理拼接调节机构，其中所述共光心图像采集阵列包括至少3个拼接摄像机、至少1个全景摄像机以及与所述至少3个拼接摄像机一一对应至少3块拼接反射镜，其中所述拼接反射镜上具有用颜色标记的标志点；所述方法包括：基于采集区域的方位以及转角，利用所述物理拼接调节机构调节所述拼接摄像机之间的相对位置，以及所述拼接摄像机与其对应的拼接反射镜之间的相对位置，获得调节后的共光心图像采集阵列；利用调节后的共光心图像采集阵列进行图像采集，获得带有标志点的共光心图像；根据所述共光心图像上所述标志点粗略确定第一拼接线；利用所述全景摄像机进行图像采集，获得全景图像；将所述共光心图像与所述全景图像进行对比，获得图像重合度；基于所述图像重合度在所述第一拼接线的附近精确确定第二拼接线；根据所述第二拼接线，对所述共光心图像的拼接边缘进行裁切，获得裁切后共光心图像，并将其按照裁切后的边缘进行拼接，获得拼接后共光心图像。2.根据权利要求1所述的拼接方法，其特征在于，所述获得调节后的共光心图像采集阵列的步骤之后，所述方法还包括：选定其中一块拼接反射镜，将选定的拼接反射镜相邻的其他拼接反射镜分别贴深色膜；利用调节后的共光心图像采集阵列进行图像采集，获得带有标志线的共光心图像；根据所述共光心图像上所述标志线粗略确定所述第一拼接线。3.根据权利要求1或2所述的拼接方法，其特征在于，所述获得调节后的共光心图像采集阵列的步骤之后，所述方法还包括：在所述采集区域的转角处设置标志物；利用调节后的共光心图像采集阵列进行采集，获得带有所述标志物的共光心图像；根据所述共光心图像上所述标志物粗略确定所述第一拼接线。4.根据权利要求1
‑
3中的任一项所述的拼接方法，其特征在于，所述方法还包括：采用短焦距的拼接摄像机镜头，获得更大的视场范围的所述拼接后共光心图像；判断参会人头部位置；将所述拼接后共光心图像进行局部剪切，使得参会人头部位置处于局部剪切后的共光心图像的中部；按照与真人1:1比例显示剪切后的共光心图像。5.根据权利要求4所述的拼接方法，其特征在于，所述局部剪切后的共光心图像的中部为垂直方向上1/3～2/3的范围内；所述短焦距为7～9mm。6.根据权利要求1...

【专利技术属性】
技术研发人员：刘锡林，郭西越，杨玉峰，赵兴国，
申请(专利权)人：上海赛连信息科技有限公司，
类型：发明
国别省市：