一种全景视频直播方法及系统技术方案

本发明专利技术公开了一种全景视频直播方法，包括以下步骤：实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；将变焦镜头指向感兴趣区域；将所有定焦图像的每一帧进行拼接缝合成全景图像；将变焦图像与所述全景图像进行匹配，记录得到的相关参数；将所述变焦图像帧与所述全景图像每一帧进行编码；推流编码数据和匹配相关参数至云平台进行存储；分发编码数据和匹配相关参数至终端；根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。基于将多路定焦图像进行全景拼接缝合，再将变焦图像与拼接后的全景画面进行匹配，记录得到的相关参数的设计，实现局部变焦的全景视频直播画面的拼接缝合，局部兴趣画面清晰度显著提高。

【技术实现步骤摘要】
一种全景视频直播方法及系统
本专利技术涉及全景视频拍摄监控和直播技术，具体地，涉及一种全景视频直播方法及系统。
技术介绍
全景视频直播是直播领域一个极具发展前景的新方向，通过多路摄像头采集画面然后拼接成全景画面，可以实现从180°到720°的全景区域视频图像采集。全景视频的拼接过程要求使用的镜头是等焦镜头，否则会因采集的各路画面内容物体大小不一致而无法缝合，因此目前技术中几乎全部采用定焦镜头进行图像采集。但本技术衍生出来的问题在于采集画面清晰度固定，灵活性不足。在观看视频过程中，传统方法是通过渲染技术，将画面放大以提升观看效果，但此种放大方法属于像素插值放大，当放大分辨率超过原始分辨率的时候，视频画面清晰度无法得到有效提升。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供一种通过增设使用变焦镜头采集兴趣画面以弥补固定焦距导致的全景视频清晰度不足问题的局部变焦的全景视频直播方法及系统。为实现上述目的，本专利技术采用以下技术方案：一种全景视频直播方法，所述直播方法包括以下步骤：实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；将变焦镜头指向感兴趣区域；将所有定焦图像的每一帧进行拼接缝合成全景图像；将变焦图像与所述全景图像进行匹配，记录得到的相关参数；将所述变焦图像帧与所述全景图像每一帧进行编码；推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；分发编码数据和变焦图像与全景图像匹配相关参数至终端；根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。其进一步技术方案为：将所有定焦图像的每一帧进行拼接缝合成全景图像的步骤，包括以下具体步骤：对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；使用f-theta模型进行畸变校正；使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到K通道的坐标系下；记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。其进一步技术方案为：将所述变焦图像与所述全景图像进行匹配，记录得到的相关参数的步骤，包括以下具体步骤：固定变焦相机的焦距f-ptz，得到变焦图像，计算变焦图像的Surf特征点；将变焦图像的Surf特征点与所述定焦图像Surf特征点进行粗匹配，得到点集D2；将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；使用RANSAC算法框架去除外点，得到点集D3；使用所述点集D3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；记录所述投影图块对应于变焦相机的投影坐标；根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配，可以预览效果。其进一步技术方案为：所述方法还包括：将变焦图像与全景图像的位置匹配信息拉流至终端；根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。其进一步技术方案为：根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配的步骤，具体是对变焦相机的焦距f-ptz进行缩小或放大，缩小或放大的比例为等效焦距，所述等效焦距为物理焦距长度与单位像素表示的物理长度单位的比值。其进一步技术方案为：所述根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放的步骤，具体是根据全景图像与变焦图像匹配的相关参数与变焦镜头的实时交接，调节全景图像的渲染大小与经过变焦之后的变焦图像实时匹配的效果至所需后进行播放。本专利技术还提供了一种全景视频直播系统，包括图像采集单元、变焦指向单元、全景缝合单元、匹配拼接单元、编码传输单元、推流存储单元、分发数据单元以及渲染播放单元；所述图像采集单元，用于实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；变焦指向单元，用于将变焦镜头指向感兴趣区域；所述全景缝合单元，用于将所有定焦图像的每一帧进行拼接缝合成全景图像；所述匹配拼接单元，用于将变焦图像与所述全景图像进行匹配，记录得到的相关参数；所述编码传输单元，用于将所述变焦图像帧与所述全景图像帧每一帧进行编码；所述推流存储单元，用于推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；所述分发数据单元，用于分发编码数据和变焦图像与全景图像匹配相关参数至终端；所述渲染播放单元，用于根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。其进一步技术方案为：所述全景缝合单元包括粗匹配模块、去错配点模块、校正模块、优化模块、重投影模块以及记录模块；所述粗匹配模块，用于对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；所述去错配点模块，用于使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；所述校正模块，用于使用f-theta模型进行畸变校正；所述优化模块，用于使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；所述重投影模块，用于以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到K通道的坐标系下；所述记录模块，用于记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。其进一步技术方案为：所述匹配拼接单元包括：再次粗匹配模块、再次优化模块、去除外点模块、投影模块、再次记录模块以及缩放模块；所述再次粗匹配模块，用于将变焦图像的Surf特征点与所述定焦图像Surf特征点进行粗匹配，得到点集D2；所述再次优化模块，用于将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；所述去除外点模块，用于使用RANSAC算法框架去除外点，得到点集D3；所述投影模块，用于使用所述点集D3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；所述再次记录模块，用于记录所述投影图块对应于变焦相机的投影坐标；所述缩放模块，用于根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配。其进一步技术方案为：所述系统还包括信息拉流单元以及焦距调节单元；所述信息拉流单元，用于将变焦图像与全景图像的视频流信息及位置匹配信息拉流至终端；所述焦距调节单元，用于根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。与现有技术相比的有益效果：本专利技术的一种全景视频直播方法及系统，基于将采集的多路定焦图像进行全景拼接缝合，继而将采集的变焦图像与拼接后的全景画面进行匹配，记录得到的相关参数的设计，实时实现局部变焦的全景视频直播画面的拼接缝合，局部兴趣画面清晰度显著提高；同时直播中兴趣画面高清显示，其他画面可降低码率传输，达到减低网络带宽的效果；基于通过全球渲染观看模式下对变焦相机本文档来自技高网...

【技术保护点】
1.一种全景视频直播方法，其特征在于，所述直播方法包括以下步骤：实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；将变焦镜头指向感兴趣区域；将所有定焦图像的每一帧进行拼接缝合成全景图像；将变焦图像与所述全景图像进行匹配，记录得到的相关参数；将所述变焦图像帧与所述全景图像每一帧进行编码；推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；分发编码数据和变焦图像与全景图像匹配相关参数至终端；根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。

【技术特征摘要】
1.一种全景视频直播方法，其特征在于，所述直播方法包括以下步骤：实时连续接收不同视角的采集图像，包括定焦图像和变焦图像；将变焦镜头指向感兴趣区域；将所有定焦图像的每一帧进行拼接缝合成全景图像；将变焦图像与所述全景图像进行匹配，记录得到的相关参数；将所述变焦图像帧与所述全景图像每一帧进行编码；推流编码数据和发送变焦图像与全景图像匹配相关参数至云平台进行存储；分发编码数据和变焦图像与全景图像匹配相关参数至终端；根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放。2.根据权利要求1所述的全景视频直播方法，其特征在于，将所有定焦图像的每一帧进行拼接缝合成全景图像的步骤，包括以下具体步骤：对若干张视频图像，计算定焦图像Surf特征点或ORB特征点，并采用近似最近邻算法ANN进行粗匹配，得到若干匹配对及其同名点集D1；使用随机抽样一致性算法RANSAC去除错配点，选择误差最低的一组内点作为结果；使用f-theta模型进行畸变校正；使用LM算法对有同名点的两幅图像优化其内外参数和畸变参数，将同名点重投影均方误差MSE作为是否为内点的判断依据；以任一通道K为准，根据重投影误差最小化准则，使用LM算法逐一对有同名点的两幅定焦图像优化其内外参数和畸变参数，并将所述优化后的内外参数和畸变参数投影到K通道的坐标系下；记录投影坐标和缝合线融合参数，作为全景视频拼接的模板。3.根据权利要求2所述的全景视频直播方法，其特征在于，将所述变焦图像与所述全景图像进行匹配，记录得到的相关参数的步骤，包括以下具体步骤：固定变焦相机的焦距f-ptz，得到变焦图像，计算变焦图像的Surf特征点；将变焦图像的Surf特征点与所述定焦图像Surf特征点进行粗匹配，得到点集D2；将D2中同名点投影到通道K坐标系下，使用LM算法对变焦相机内外参数进行优化，得到重投影误差；使用RANSAC算法框架去除外点，得到点集D3；使用所述点集D3计算变焦相机的内外参数，得到所述变焦相机的视频在全景球上的投影图块；记录所述投影图块对应于变焦相机的投影坐标；根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配。4.根据权利要求3所述的全景视频直播方法，其特征在于，根据使用需求成比例放大或缩小全景球，使得在播放时变焦图像与所述全景球相匹配的步骤，具体是对变焦相机的焦距f-ptz进行缩小或放大，缩小或放大的比例为等效焦距，所述等效焦距为物理焦距长度与单位像素表示的物理长度单位的比值。5.根据权利要求3所述的全景视频直播方法，其特征在于，所述方法还包括：将变焦图像与全景图像的位置匹配信息拉流至终端；根据全景球渲染观看模式下的清晰度，实时调节变焦相机的焦距。6.根据权利要求5所述的全景视频直播方法，其特征在于，所述根据变焦图像与全景图像匹配相关参数，渲染全景画面与变焦画面进行播放的步骤，具体是根据全景图像与变价图像匹配的相关参数与变焦镜头的实时交接，调节全景图像的渲染大小与经过变焦之后的变焦图像实时匹配的效果至所需后进行播放。7...

【专利技术属性】
技术研发人员：吴金勇，董鸿奇，
申请(专利权)人：深圳市云宙多媒体技术有限公司，
类型：发明
国别省市：广东,44