多路视频与三维模型融合方法及其装置、设备和存储介质制造方法及图纸

本申请提供的一种多路视频与三维模型融合方法及其装置、设备和存储介质，通过获取多个监控相机的内外参数、及视频数据以形成三维场景模型，通过渲染得到对应各所述监控相机的监控深度图像，以及对虚拟相机的虚拟深度图像、及彩色图像，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡，最终得到对应当前帧的经完整渲染的三维场景模型。本申请能够极大改善视频与三维模型融合的效果，避免了场景物体出现重叠或颜色失真的问题。

【技术实现步骤摘要】
多路视频与三维模型融合方法及其装置、设备和存储介质
本申请涉及三维模型渲染、图像处理
尤其是涉及一种多路视频与三维模型融合方法及其装置、设备和存储介质。
技术介绍
目前，城市中有大量的摄像头用于视频监控，基本只用到了二维的图像信息。事实上，还能够对监控相机的空间位置信息加以利用。在现有相关技术中，已经有三维模型与监控视频的融合技术。这种技术通常是从监控视频流提取视频帧，并将视频帧投射到三维空间场景里，以实现视频数据与三维模型数据进行全时空立体融合，进而使得三维模型和通过监控视频实时拍得到的三维场景图像实现实时完美结合。该技术能够实现三维场景的直观表达，得到被遮挡物体的信息等。但是，由于监控场景的复杂性，往往在现有相关技术中，所建立的三维模型效果，或者在所建立的三维模型中选取任意一角度的观察效果并不理想。例如，两个或两个以上监控视频能共同拍摄到的区域的会出现重叠、扭曲等无法顺滑拼接的问题。再或者，在任选一观察角度所呈现的画面中，图像像素颜色或出现失真或者不匹配的问题。申请内容鉴于以上所述现有技术的缺点，本申请的目的在于提供一种多路视频与三维模型融合方法及其装置、设备和存储介质，用于解决现有技术中三维视频融合效果不佳的问题。为实现上述目的及其他相关目的，本申请提供一种多路视频与三维模型融合方法，所述方法包括：获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。于本申请的一实施例中，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标；计算所述目标三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角；选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。于本申请的一实施例中，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值；依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值；判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。于本申请的一实施例中，依据当前所选取的述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值所依据的公式如下：其中，X、Y、Z为所述目标点在所述三维模型数据中的三维坐标；x、y为所述目标点在所选监控相机的物理坐标系下的二维坐标；R、T、K为所述监控相机的内外参数，d为所述目标点在所选监控相机的视角下的深度值。于本申请的一实施例中，所述判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法还包括：预设一偏移量，以判断所述第一深度值是否大于所述第二深度值与所述偏移量之和；若是，则判定为被遮挡；若否，则判定为未被遮挡。于本申请的一实施例中，所述多个监控相机的内外参数、及视频数据是经过二进制格式处理后进行获取的。于本申请的一实施例中，所述场景模型颜色贴图是依据所述三维场景模型得到的静态场景颜色贴图；所述场景颜色贴图包含不同解析度的颜色数据以匹配所述三维场景模型中不同的像素精度。为实现上述目的及其他相关目的，本申请提供一种多路视频与三维模型融合装置，所述装置包括：获取模块，用于获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；渲染模块，用于在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；处理模块，用于依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。为实现上述目的及其他相关目的，本申请提供一种多路视频与三维模型融合设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储程序；所述处理器运行程序实现如上所述的多路视频与三维模型融合方法；所述通信器用于与外部设备通信连接。为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的多路视频与三维模型融合方法。综上所述，本申请提供的一种多路视频与三维模型融合方法及其装置、设备和存储介质。具有以下有益效果：能够极大改善视频与三维模型融合的效果，避免了场景物体出现重叠或颜色失真的问题。附图说明图1显示为本申请于一实施例中的多路视频与三维模型融合方法的流程示意图。图2显示为本申请于一实施例中的多路视频与三维模型融合装置的模块示意图。图3显示为本申请于一实施例中的多路视频与三维模型融合设备的结构示意图。具体实施方式以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说本文档来自技高网...

【技术保护点】
1.一种多路视频与三维模型融合方法，其特征在于，所述方法包括：/n获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；/n在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；/n依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；/n若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；/n若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；/n最终得到对应当前帧的经完整渲染的三维场景模型。/n

【技术特征摘要】
1.一种多路视频与三维模型融合方法，其特征在于，所述方法包括：
获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；
在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；
依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；
若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；
若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；
最终得到对应当前帧的经完整渲染的三维场景模型。


2.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：
依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标；
计算所述目标三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角；
选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。


3.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：
依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值；
依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值；
判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。


4.根据权利要求3所述的多路视频与三维模型融合方法，其特征在于，依据当前所选取的述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值所依据的公式如下：



其中，X、Y、Z为所述目标点在所述三维模型数据中的三维...

【专利技术属性】
技术研发人员：吴旻烨，李家豪，莫晓烨，
申请(专利权)人：曜科智能科技上海有限公司，
类型：发明
国别省市：上海;31