视频全景拼接与三维融合方法及装置制造方法及图纸

本申请实施例提供一种视频全景拼接与三维融合方法及装置，方法包括：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示；本申请能够有效解决视频不连续问题，增加视频可读性。

【技术实现步骤摘要】
视频全景拼接与三维融合方法及装置
本申请涉及视频处理领域，具体涉及一种视频全景拼接与三维融合方法及装置。
技术介绍
随着人们对生活和工作的环境的安全性要求的不断提高，建筑物的安全防范系统的重要性就越来越突出。其中，视频监控系统以其直观、方便、信息内容丰富的特点越来越受到人们的重视，由此视频成为安全防范系统的重要组成部分。综上所述传统监控在重要卡口或者区域所体现出的缺陷，亟需要提出一种改善方式，而近年来随着计算机、网络、图像处理、计算机图形学以及传输技术的发展，视频监控技术也得到飞速发展。现在的许多监控依然是按照单个摄像机的方式以9宫格或者更多的小视频展示在屏幕上，虽然摄像机覆盖范围广，但是每个摄像机的画面存在不连贯，细节容易丢失，监控死角多、地理位置不明确等许多问题，因此给犯罪分子提供了可乘之机。
技术实现思路
针对现有技术中的问题，本申请提供一种视频全景拼接与三维融合方法及装置，能够有效解决视频不连续问题，增加视频可读性，使得使用人员可以实时掌握全局，不漏过每一个监控角落，具有很大的实际应用价值。为了解决上述问题中的至少一个，本申请提供以下技术方案：第一方面，本申请提供一种视频全景拼接与三维融合方法，包括：获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。进一步地，所述获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理，包括：根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。进一步地，所述对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系，包括：对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。进一步地，所述对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像，包括：根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；根据所述摄像机的数量和视频画面分辨率，建立全景图像；对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。进一步地，所述通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示，包括：确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。第二方面，本申请提供一种视频全景拼接与三维融合装置，包括：图像预处理模块，用于获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；变换关系确定模块，用于对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；全景图像生成模块，用于对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；三维融合模块，用于通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。进一步地，所述图像预处理模块包括：图像降噪单元，用于根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；图像灰度化单元，用于对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。进一步地，所述变换关系确定模块包括：特征提取单元，用于对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；粗匹配单元，用于对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；精匹配单元，用于根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；变换关系计算单元，用于根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。进一步地，所述全景图像生成模块包括：色彩矫正单元，用于根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；全景图像建立单元，用于根据所述摄像机的数量和视频画面分辨率，建立全景图像；重叠优化单元，用于对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。进一步地，所述三维融合模块包括：离散点对确定单元，用于确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；三维融合单元，用于根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全景视频采样，得到全景视频的三维融合图像。第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的视频全景拼接与三维融合方法的步骤。第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的视频全景拼接与三维融合方法的步骤。由上述技术方案可知，本申请提供一种视频全景拼接与三维融合方法及装置，通过计算机视觉以及图像处理技术，将多个具有重叠区域的相邻的摄像机画面通过全景拼接技术，拼接为一幅完整的画面，然后利用计算机图形学将实时拼接画面渲染到对应的三维模型位置，实现地理位置和实时全景视频的相结合，从而使得相关的安保人员可以随时随地的掌控整个场景的监控态势，减少了犯罪分子的可乘之机。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有本文档来自技高网...

【技术保护点】
1.一种视频全景拼接与三维融合方法，其特征在于，所述方法包括：/n获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；/n对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；/n对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；/n通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。/n

【技术特征摘要】
1.一种视频全景拼接与三维融合方法，其特征在于，所述方法包括：
获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理；
对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系；
对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像；
通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示。


2.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述获取多个具有重叠区域的相邻摄像机的实时视频画面，并对所述实时视频画面进行图像预处理，包括：
根据预设二维高斯滤波核函数对所述实时视频画面的各像素点的值进行平均加权处理；
对经过所述平均加权处理后的实时视频画面进行灰度化处理，得到对应的灰度图像。


3.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述对经过所述图像预处理后的实时视频画面进行特征提取和特征匹配，确定相邻两个所述实时视频画面的匹配特征点，并根据所述匹配特征点确定所述相邻两个实时视频画面的变换关系，包括：
对所述实时视频画面进行特征提取，得到对应的特征点和特征描述符；
对各所述特征点进行粗匹配，并根据所述特征描述符确定两个所述特征点之间的汉明距离；
根据所述汉明距离进行精匹配，得到相邻两个所述实时视频画面的匹配特征点；
根据所述匹配特征点和预设随机抽样一致算法确定所述相邻两个实时视频画面的变换关系并保存。


4.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述对所述相邻两个实时视频画面进行色差优化处理，并根据变换关系对经过所述色差优化处理后的实时视频画面进行变形，得到对应的全景图像，包括：
根据相邻两个实时视频画面之间的色彩矫正参数和预设全局调节参数进行色彩矫正；
根据所述摄像机的数量和视频画面分辨率，建立全景图像；
对所述相邻两个实时视频画面在所述全景图像中的重合区域进行重叠优化，得到经过所述重叠优化处理后的全景图像。


5.根据权利要求1所述的视频全景拼接与三维融合方法，其特征在于，所述通过三维融合技术将所述全景图像实时渲染到预设三维模型相应位置处进行显示，包括：
确定目标区域的三维模型和所述全景图像的多个离散点对，其中，所述离散点对由一个所述三维模型点坐标和一个所述全景图像栅格化坐标构成；
根据所述离散点对确定所述全景图像的映射关系，并根据所述映射关系进行坐标插值，并根据所述坐标插值进行全...

【专利技术属性】
技术研发人员：白刚，彭靖轩，籍盖辉，李晓波，
申请(专利权)人：北京正安维视科技股份有限公司，
类型：发明
国别省市：北京;11