一种基于智能手机的场景重建方法技术

本发明专利技术公开了一种基于智能手机的场景重建方法。本方法为：1)计算智能手机上彩色相机的内部相机参数矩阵；2)将深度相机连接到该智能手机上并固定，计算该深度相机对应的内部相机参数矩阵及其缩放因子；3)计算该彩色相机与该深度相机相对应的外部参数矩阵；4)用智能手机上的该彩色相机、深度相机拍摄场景的全景视频，再将该视频转换为图像序列；然后通过得到的外部参数矩阵和内部参数矩阵将图像序列合并为RGB‑D四通道序列；5)计算该RGB‑D中相邻两帧对应的变换矩阵；6)通过RGB‑D与变换矩阵建立场景三维空间点云集，然后通过仿射变换将该点云集显示于智能手机的显示屏上。本发明专利技术具有更好的便携性和可塑性。

【技术实现步骤摘要】
一种基于智能手机的场景重建方法
本专利技术属于计算机视觉领域，尤其针对场景三维重建，具体涉及一种基于智能手机的场景重建方法。
技术介绍
场景重建作为虚拟现实研究的一个重要领域，室内环境的虚拟实现近年来引起了研究者的浓厚兴趣。室内环境的虚拟漫游有着很强的应用背景，比如，虚拟的办公室、博物馆、洞窟等已应用于远程办公、教育、娱乐和旅游等行业。基于图像的场景重建技术采用彩色相机和深度相机同时获取场景中的颜色信息和深度信息，同传统三维扫描设备相比，基于图像的场景重建技术所诞生的系统具有价格低廉、结构小巧、使用方便，且能实时捕获物体表面的深度与彩色信息等优点。一些传统的三维重构方法是存在局限性的，比如算法的精度会受到光照、物体遮挡等因素的影响。而在采用深度相机之后，人们就可以在室内条件下获得比过去更为准确可靠的深度信息。这样，研究人员就不必花费大量精力在深度计算方面，而能够着重于利用RGB-D(彩色及深度)图像解决物体的识别、场景的分类等更高层的问题，从而在某种程度上加快研究的进程。
技术实现思路
本专利技术主要考虑现有的基于RGB-D的场景重建系统有体积相对较大难以随身携带，成本高难以普及等缺点，本文档来自技高网...

【技术保护点】
一种基于智能手机的场景重建方法，其特征在于包括如下步骤：步骤1、在智能手机中安装相机调用模块，通过相机调用模块调用智能手机上的彩色相机，用彩色相机从各个设定角度拍摄棋盘格，利用棋盘格上设定的多个坐标的特征点，计算智能手机上彩色相机的内部相机参数矩阵：

【技术特征摘要】
2017.02.17 CN 20171008631601.一种基于智能手机的场景重建方法，其特征在于包括如下步骤：步骤1、在智能手机中安装相机调用模块，通过相机调用模块调用智能手机上的彩色相机，用彩色相机从各个设定角度拍摄棋盘格，利用棋盘格上设定的多个坐标的特征点，计算智能手机上彩色相机的内部相机参数矩阵：其中，fx＝f/dx,fy＝f/dy分别是彩色相机坐标x轴和y轴上的归一化焦距；f是彩色相机的焦距，dx和dy分别表示彩色相机平面x轴和y轴上单位像素的尺寸大小；cx和cy则表示光学中心，即彩色相机光轴与图像平面的交点，通常位于图像中心处，故其值被取为相机分辨率的一半；步骤2、将深度相机structuresensor连接到智能手机上并固定，通过相机调用模块调用该深度相机，通过深度相机从各个角度对棋盘格进行拍摄，计算得到深度相机对应的内部相机参数矩阵T’，矩阵形式同公式(1)，此外，深度相机还需要另外计算一个缩放因子s，该缩放因子s为深度相机所得到的相平面上各像素点的数值与实际空间中实际距离的比例值；下式为深度相机所对应的相机坐标系到空间坐标系的转换公式：其中，(u,v)分别为二维平面即二维图片上各个像素点位置的横纵坐标，在拍摄得到二维图片后，设图片左上角为原点即可确定图片各像素点的坐标，(x,y,z)为图片中各像素点所对应的三维空间坐标；步骤3、通过彩色相机和深度相机同时拍摄棋盘格，得到两个相机拍摄空间中同一点所得的平面坐标，利用公式(2)将其转换为空间坐标，并利用公式(4)进行配准，得到两个相机相对应的外部参数矩阵，即公式(3)；由于空间中某一点对应到两个相机平面中时，其在两个相机坐标系中的坐标位置是不同的，因此需通过该外部参数矩阵，即利用公式(4)将其配准到相同的坐标上，使得在相同的坐标中，本发明能得到场景中该点的颜色信息和距离信息；外部参数矩阵形式如下：其中，R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量；本发明可通过将深度相机得到的空间点坐标乘以旋转矩阵R进行旋转，再加上平移向量t，变换到对应的彩色相机所得到的空间点坐标位置...

【专利技术属性】
技术研发人员：朱尊杰，颜成钢，徐枫，龚冰剑，黄海亮，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33