基于线扫描相机的立体全景直播拍摄系统技术方案

本发明专利技术公开了一种基于线扫描相机的立体全景直播拍摄系统，相比于多摄像机成像系统来说，其不需要对多个相机的拍摄图像进行无缝拼接和立体渲染，因此免去了计算量较大的光流计算以及深度估计步骤，大大缩短了图像处理所需要的时长。还不会使场景中近处、透明、高反光的物体出现断裂。并且以一对线扫描相机呈双目目距间隔布置的方式来拍摄得到立体全景图像，线扫描相机进行高速旋转时能够完全模拟人的双眼视觉成像系统和人的周扫观察方式获取真实的立体数据，达到人眼观看感受的三维信息。因此本发明专利技术的基于线扫描相机的立体全景直播拍摄系统具有简单实用、图像质量高、处理速度快和传输效率高等优点。

【技术实现步骤摘要】
基于线扫描相机的立体全景直播拍摄系统
本专利技术涉及图像处理
，尤其涉及一种基于线扫描相机的立体全景直播拍摄系统。
技术介绍
随着人工智能以及5G技术的发展，VR技术这几年得到了广泛应用。VR视频是对传输带宽要求最高的媒体，VR视频直播对通信链路的稳定性、实时性要求都非常高，5G-VR视频直播就成为了5G一个最好的落地方案。然而，目前的VR技术较难实现现场全景VR直播。目前国内外的VR技术广泛采用的是多摄像机成像系统，利用该系统进行VR视频的制作，其实现无缝拼接和立体渲染所要进行的光流计算和深度估计的计算量将十分巨大，还不能做到实时合成和直播，大多只能事后合成制作视频。例如，Google的JumpVR摄像机每帧需要75秒的处理时间才能新增一张立体VR内容。因此，目前VR现场直播仅限于非立体的二维全景内容，难以达到人眼观看感受的三维信息。并且这种方式还需要事先进行现场严格标定，另外形成的视频对于场景中近处、透明、高反光的物体会出现断裂，大大影响体验效果。
技术实现思路
本专利技术要解决的技术问题是克服现有技术的不足，提供一种简单实用、图像质量高、处理速度快和传输效率高的基于线扫描相机的立体全景直播拍摄系统。为解决上述技术问题，本专利技术提出的技术方案为：一种基于线扫描相机的立体全景直播拍摄系统，包括：图像采集装置：包括至少一对线扫描相机，一对所述线扫描相机呈双目目距间隔布置，拍摄得到立体全景图像；图像传输单元：将图像采集装置采集的立体全景图像传输至图像处理单元；图像处理单元：接收立体全景图像，对立体全景图像进行处理以提高其信噪比和实现图像增强；以及将处理完成的立体全景图像发送至直播终端的通信单元。作为上述技术方案的进一步改进：所述图像处理单元包括计算成像模块，所述计算成像模块是依据线扫描相机对一列扫描单位多次积分得到的多组数据，利用计算成像对多组数据进行处理以对立体全景图像提高信噪比。所述图像采集装置还包括用于托持线扫描相机并转动的转台，所述线扫描相机为TDI线扫描相机(延迟积分线扫描相机)，所述转台的转速与线扫描相机适配，使线扫描相机对一列扫描单位进行多次积分得到多组数据。所述图像处理单元包括图像增强模块，所述图像增强模块是基于以图像采集装置拍摄的引导图像的视差偏移量置信度为依据，利用双边引导滤波对立体全景图像进行处理，实现立体全景图像的图像增强。所述引导图像由图像采集装置中设置的引导相机进行拍摄。所述图像处理单元还包括同步模块，所述同步模块用于使线扫描相机从起始转动位置开始转动的同时发送指令控制引导相机曝光开始；线扫描相机转动360°后回到起始转动位置的同时发送指令控制引导相机曝光结束。所述引导图像的视差偏移量置信度是将引导图像分成若干块引导图块后，由图像处理单元中设置的立体匹配模块依据引导图块与立体全景图像对比得到视差偏移量，之后根据相邻引导图块的视差偏移量关系得到的每块引导图块的视差偏移量置信度。所述图像处理单元还包括偏移校正模块，所述偏移校正模块获取引导图像和立体全景图像，通过在待拍摄场景中设置的标定板对立体全景图像和引导图像进行标定，使二者仅在视差方向有平移关系。所述图像处理单元还包括亮度与色度还原模块，所述亮度与色度还原模块将引导图像的亮度与色度分离，生成亮度分量图像和色度分量图像，利用引导图像的亮度分量图像对立体全景图像进行图像去噪与高动态成像，利用色度分量图像对立体全景图像进行颜色校正和风格映射。所述图像传输单元包括电光信号转换模块、光电滑环以及光纤，电光信号转换模块用于将立体全景图像的电信号转换为光信号，光信号通过光电滑环传递至光纤内，由光纤传递至图像处理单元。与现有技术相比，本专利技术的优点在于：本专利技术的基于线扫描相机的立体全景直播拍摄系统以线扫描相机作为拍摄装置，相比于多摄像机成像系统来说，其不需要对多个相机的拍摄图像进行无缝拼接和立体渲染，因此免去了计算量较大的光流计算以及深度估计步骤，大大缩短了图像处理所需要的时长。还不会使场景中近处、透明、高反光的物体出现断裂，从而影响体验效果。并且以一对线扫描相机呈双目目距间隔布置的方式来拍摄得到立体全景图像，线扫描相机进行高速旋转时能够完全模拟人的双眼视觉成像系统和人的周扫观察方式获取真实的立体数据，达到人眼观看感受的三维信息。本专利技术的直播拍摄系统的图像生成方式真实度高、计算量小、处理快速，因此能够满足立体全景直播的要求，有利于立体全景直播的普及。附图说明图1是本专利技术的基于线扫描相机的立体全景直播拍摄系统的过程示意图；图2是本专利技术的基于线扫描相机的立体全景直播拍摄系统的外形示意图；图3是本专利技术的基于线扫描相机的立体全景直播拍摄系统的内部结构示意图。图例说明：1、线扫描相机；2、转台；3、电光信号转换模块；4、光电滑环。具体实施方式为了便于理解本专利技术，下文将结合说明书附图和较佳的实施例对本文专利技术做更全面、细致地描述，但本专利技术的保护范围并不限于以下具体实施例。实施例：如图1至图3所示，本实施例的基于线扫描相机的立体全景直播拍摄系统，包括：图像采集装置：包括至少一对线扫描相机1，一对线扫描相机1呈双目目距间隔布置，拍摄得到立体全景图像；图像传输单元：将图像采集装置采集的立体全景图像传输至图像处理单元；图像处理单元：接收立体全景图像，对立体全景图像进行处理以提高其信噪比和实现图像增强；以及将处理完成的立体全景图像发送至直播终端的通信单元。本实施例的基于线扫描相机的立体全景直播拍摄系统以线扫描相机1作为拍摄装置，相比于多摄像机成像系统来说，其不需要对多个相机的拍摄图像进行无缝拼接和立体渲染，因此免去了计算量较大的光流计算以及深度估计步骤，大大缩短了图像处理所需要的时长。还不会使场景中近处、透明、高反光的物体出现断裂，从而影响体验效果。并且以一对线扫描相机1呈双目目距间隔布置的方式来拍摄得到立体全景图像，线扫描相机1进行高速旋转时能够完全模拟人的双眼视觉成像系统和人的周扫观察方式获取真实的立体数据，达到人眼观看感受的三维信息。本实施例的直播拍摄系统的图像生成方式真实度高、计算量小、处理快速，因此能够满足立体全景直播的要求，有利于立体全景直播的普及。本实施例中的通信单元采用5G网络，5G网络大带宽、低时延的特性能够同时保证不同场景对实时性和移动性的各种要求，比传统线缆传输更加灵活，不受空间的限制，能满足更灵活的VR视频传输需求。本实施例中，图像处理单元包括计算成像模块，计算成像模块是依据线扫描相机1对一列扫描单位多次积分得到的多组数据，利用计算成像对多组数据进行处理以对立体全景图像提高信噪比。这种计算成像的方式充分填补了因线扫描相机1积分时间短而受照度限制较高的短板，能够在低照度的情形下依然对线扫描相机1生成的图像进行处理得到高信噪比的结果。本实施例中，图像采集装置还包括用于托持线扫描相机本文档来自技高网...

【技术保护点】
1.一种基于线扫描相机的立体全景直播拍摄系统，其特征在于：包括：/n图像采集装置：包括至少一对线扫描相机(1)，一对所述线扫描相机(1)呈双目目距间隔布置，拍摄得到立体全景图像；/n图像传输单元：将图像采集装置采集的立体全景图像传输至图像处理单元；/n图像处理单元：接收立体全景图像，对立体全景图像进行处理以提高其信噪比和实现图像增强；/n以及将处理完成的立体全景图像发送至直播终端的通信单元。/n

【技术特征摘要】
1.一种基于线扫描相机的立体全景直播拍摄系统，其特征在于：包括：
图像采集装置：包括至少一对线扫描相机(1)，一对所述线扫描相机(1)呈双目目距间隔布置，拍摄得到立体全景图像；
图像传输单元：将图像采集装置采集的立体全景图像传输至图像处理单元；
图像处理单元：接收立体全景图像，对立体全景图像进行处理以提高其信噪比和实现图像增强；
以及将处理完成的立体全景图像发送至直播终端的通信单元。


2.根据权利要求1所述的基于线扫描相机的立体全景直播拍摄系统，其特征在于：所述图像处理单元包括计算成像模块，所述计算成像模块是依据线扫描相机(1)对一列扫描单位多次积分得到的多组数据，利用计算成像对多组数据进行处理以对立体全景图像提高信噪比。


3.根据权利要求2所述的基于线扫描相机的立体全景直播拍摄系统，其特征在于：所述图像采集装置还包括用于托持线扫描相机(1)并转动的转台(2)，所述线扫描相机(1)为TDI线扫描相机，所述转台(2)的转速与线扫描相机(1)适配，使线扫描相机(1)对一列扫描单位进行多次积分得到多组数据。


4.根据权利要求1所述的基于线扫描相机的立体全景直播拍摄系统，其特征在于：所述图像处理单元包括图像增强模块，所述图像增强模块是基于以图像采集装置拍摄的引导图像的视差偏移量置信度为依据，利用双边引导滤波对立体全景图像进行处理，实现立体全景图像的图像增强。


5.根据权利要求4所述的基于线扫描相机的立体全景直播拍摄系统，其特征在于：所述引导图像由图像采集装置中设置的引导相机进行拍摄。


6.根据权利要求5所述的基于线扫描相...

【专利技术属性】
技术研发人员：陈小天，尹江明，黄营磊，贺伟，
申请(专利权)人：湖南傲英创视信息科技有限公司，
类型：发明
国别省市：湖南;43