一种视频注册方法及装置制造方法及图纸

本申请公开了一种视频注册方法及装置，基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置，基于线性模型对相机进行标定，结合非线性模型对相机标定得到的相机参数进行迭代优化，在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数，可以减小由于光学畸变造成的相机标定误差，从而可以提升相机标定以及视频注册的精度。

A video registration method and device

【技术实现步骤摘要】
一种视频注册方法及装置
本申请涉及视频注册
，特别涉及一种视频注册方法及装置。
技术介绍
将真实相机拍摄的视频影像注册到虚拟三维场景中以增强虚拟三维场景的真实感,被称为视频注册。视频注册时，要在虚拟三维场景中添加一个与真实相机相对应的虚拟相机，需要获得该真实相机的内方位元素和外方位元素等相机参数，求解这些用于进行视频注册的相机参数的过程，在计算机视觉和摄影测量学领域被称为相机标定。在计算机视觉和摄影测量学领域，进行相机标定时，理论上通常用到的相机的线性模型是针孔模型，它是一种理想的成像模型，它遵循的是小孔成像原理，即假设物体表面的反射光都经过一个针孔投射到相机平面上。在线性模型下，相机参数可以通过求解线性方程的方式得到，因此，基于线性模型的相机标定方法具有计算简单、实时性强的优点。但是，由于透镜加工和安装等多方面因素的影响，空间物点在相机成像平面上实际所成的像点与理想成像之间存在有透镜畸变等非线性的光学畸变，实际的光学系统并不能精确的遵循理想化的小孔成像原理，因此相机的线性模型并不能准确地描述相机的成像几何关系，导致基于线性模型的相机标定的精度比较低，进而导致视频注册的精度也比较低。
技术实现思路
针对上述问题，本专利技术提供一种视频注册方法及装置，以提升相机标定的精度，进而提升视频注册的精度。基于上述目的，本申请提供的技术方案如下：一种视频注册方法，包括：基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。优选地，所述基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值，包括：确定相机的二维视频图像中的二维控制点集合，并确定三维虚拟场景中的三维控制点集合；所述二维控制点集合中包括多个二维特征点，所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点；根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵；对所述透视投影矩阵进行QR分解，获取所述内方位元素估计值和所述外方位元素估计值。优选地，所述根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵，包括：确定每个所述二维特征点在所述二维视频图像中的二维坐标，并确定每个所述投影点在所述三维虚拟场景中的三维坐标；根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵，并根据每个所述投影点的所述三维坐标构建三维控制点矩阵；利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系，线性求解所述相机的所述透视投影矩阵。优选地，所述基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数，包括：根据所述透视投影矩阵，将每个所述投影点重投影到所述二维视频图像上，得到重投影二维特征点，并确定所述重投影二维特征点的二维坐标；将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较，计算重投影误差；根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化，获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。优选地，还包括：根据获取的所述内方位元素参数和所述外方位元素参数，计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵，并将所述相机注册到所述三维虚拟场景中。一种视频注册装置，包括：标定模块，用于基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；优化模块，用于基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。优选地，所述标定模块，包括：确定单元，用于确定相机的二维视频图像中的二维控制点集合，并确定三维虚拟场景中的三维控制点集合；所述二维控制点集合中包括多个二维特征点，所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点；求解单元，用于根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵；分解单元，用于对所述透视投影矩阵进行QR分解，获取所述内方位元素估计值和所述外方位元素估计值。优选地，所述求解单元，包括：坐标确定子单元，用于确定每个所述二维特征点在所述二维视频图像中的二维坐标，并确定每个所述投影点在所述三维虚拟场景中的三维坐标；矩阵构建子单元，用于根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵，并根据每个所述投影点的所述三维坐标构建三维控制点矩阵；线性求解子单元，用于利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系，线性求解所述相机的所述透视投影矩阵。优选地，所述优化模块，包括：重投影单元，用于根据所述透视投影矩阵，将每个所述投影点重投影到所述二维视频图像上，得到重投影二维特征点，并确定所述重投影二维特征点的二维坐标；比较单元，用于将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较，计算重投影误差；优化单元，用于根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化，获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。优选地，还包括：注册模块，用于根据获取的所述内方位元素参数和所述外方位元素参数，计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵，并将所述相机注册到所述三维虚拟场景中。应用上述技术方案，本申请提供的一种视频注册方法及装置，基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；基于非线性模型对内方位元素估计值和外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。本申请提供的视频注册方法及装置，基于线性模型对相机进行标定，结合非线性模型对相机标定得到的相机参数进行迭代优化，在进行视频注册时采用迭代优化后的内方位元素参数和外方位元素参数，可以减小由于光学畸变造成的相机标定误差，从而可以提升相机标定以及视频注册的精度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请提供的一种视频注册方法的流程示意图；图2为本申请提供的另一种视频注册方法的流程示意图；图3为本申请提供的又一种视频注册方法的流程示意图；图4为本申请提供的一种视频注册装置的结构示意图。<本文档来自技高网...

【技术保护点】
1.一种视频注册方法，其特征在于，包括：/n基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；/n基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。/n

【技术特征摘要】
1.一种视频注册方法，其特征在于，包括：
基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值；
基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数。


2.根据权利要求1所述的视频注册方法，其特征在于，所述基于线性模型对相机进行标定，求解相机的内方位元素估计值和外方位元素估计值，包括：
确定相机的二维视频图像中的二维控制点集合，并确定三维虚拟场景中的三维控制点集合；所述二维控制点集合中包括多个二维特征点，所述三维控制点集合中包括每个所述二维特征点在所述三维虚拟场景中的投影点；
根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵；
对所述透视投影矩阵进行QR分解，获取所述内方位元素估计值和所述外方位元素估计值。


3.根据权利要求2所述的视频注册方法，其特征在于，所述根据所述二维控制点集合和所述三维控制点集合，线性求解所述相机的透视投影矩阵，包括：
确定每个所述二维特征点在所述二维视频图像中的二维坐标，并确定每个所述投影点在所述三维虚拟场景中的三维坐标；
根据每个所述二维特征点的所述二维坐标构建二维控制点矩阵，并根据每个所述投影点的所述三维坐标构建三维控制点矩阵；
利用所述二维控制点矩阵、所述三维控制点矩阵以及所述二维控制点集合和三维控制点集合之间的透视投影关系，线性求解所述相机的所述透视投影矩阵。


4.根据权利要求3所述的视频注册方法，其特征在于，所述基于非线性模型对所述内方位元素估计值和所述外方位元素估计值进行迭代优化，获取用于进行视频注册的内方位元素参数和外方位元素参数，包括：
根据所述透视投影矩阵，将每个所述投影点重投影到所述二维视频图像上，得到重投影二维特征点，并确定所述重投影二维特征点的二维坐标；
将与每个所述投影点对应的所述重投影二维特征点的二维坐标和二维特征点的二维坐标进行比较，计算重投影误差；
根据非线性模型的最小化目标函数对所述重投影误差进行迭代优化，获取用于进行视频注册的所述内方位元素参数和所述外方位元素参数。


5.根据权利要求4所述的视频注册方法，其特征在于，还包括：
根据获取的所述内方位元素参数和所述外方位元素参数，计算所述相机在所述三维虚拟场景中的透视投影矩阵和观察矩阵，并将所述相机注册到所述...

【专利技术属性】
技术研发人员：韩宇韬，吕琪菲，张至怡，陈银，杨佳龙，陈爽，党建波，杨松江，
申请(专利权)人：四川航天神坤科技有限公司，
类型：发明
国别省市：四川;51