一种移动通信终端及其实现三维重建的方法及服务器技术

本发明专利技术适用于图像处理领域，提供了一种移动通信终端及其实现三维重建的方法及服务器。所述方法包括：移动通信终端通过摄像头拍摄至少一张物体或场景的照片；移动通信终端将照片通过网络发送至服务器，以由服务器以照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至移动通信终端；移动通信终端接收三维模型数据；移动通信终端根据三维模型数据进行三维可视化渲染。本发明专利技术实现了在移动通信终端上任意角度，任意位置拍摄物体或场景、上传照片、进而合成，并下载渲染三维模型的全自动服务流程，本发明专利技术利用网络通信技术既发挥了便携设备的小巧灵活的优势，又能利用服务器完成大规模高质量的三维重建运算。

【技术实现步骤摘要】

本专利技术属于图像处理领域，尤其涉及一种移动通信终端及其实现三维重建的方法及服务器。
技术介绍
移动通信终端包括手机、平板电脑、便携式笔记本电脑、无人机机载设备、各种智能机等。因为移动通信终端本身为了轻型化，小型化，其计算能力，计算速度，存储能力，供电能力都严重受限，而三维重建涉及大量的计算负荷，这给移动通信终端，尤其是各种便携式移动通信终端实现三维重建带来极大的困难。
技术实现思路
本专利技术的目的在于提供一种移动通信终端及其实现三维重建的方法及服务器，旨在解决三维重建涉及大量的计算负荷，给移动通信终端实现三维重建带来极大的困难的问题。第一方面，本专利技术提供了一种移动通信终端实现三维重建的方法，所述方法包括：移动通信终端通过摄像头拍摄至少一张物体或场景的照片；移动通信终端将所述照片通过网络发送至服务器，以由服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；所述移动通信终端接收所述三维模型数据；移动通信终端根据三维模型数据进行三维可视化渲染。第二方面，本专利技术提供了一种服务器实现三维重建的方法，所述方法包括：服务器以照片作为三维重建的输入合成三维模型，生成三维模型数据，所述照片是由移动通信终端通过摄像头拍摄有至少一张物体或场景的照片，并由移动通信终端将所述照片通过网络发送至服务器的；服务器将生成的三维模型数据通过网络发送至所述移动通信终端，以由移动通信终端根据三维模型数据进行三维可视化渲染。第三方面，本专利技术提供了一种移动通信终端，所述移动通信终端包括：拍摄模块，用于移动通信终端通过摄像头拍摄至少一张物体或场景的照片；第一发送模块，用于移动通信终端将所述照片通过网络发送至服务器，以由服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；接收模块，用于所述移动通信终端接收所述三维模型数据；渲染模块，用于移动通信终端根据三维模型数据进行三维可视化渲染。第四方面，本专利技术提供了一种服务器，所述服务器包括：合成模块，用于服务器以照片作为三维重建的输入合成三维模型，生成三维模型数据，所述照片是由移动通信终端通过摄像头拍摄有至少一张物体或场景的照片，并由移动通信终端将所述照片通过网络发送至服务器的；第二发送模块，用于服务器将生成的三维模型数据通过网络发送至所述移动通信终端，以由移动通信终端根据三维模型数据进行三维可视化渲染。在本专利技术中，由于移动通信终端通过摄像头拍摄照片后通过网络发送至服务器，由服务器进行三维重建并将生成的三维模型数据通过网络发送至所述移动通信终端，再由移动通信终端根据三维模型数据进行三维可视化渲染。因此，实现了在手机等移动通信终端上任意角度，任意位置拍摄物体或场景、上传照片、进而合成，并下载渲染三维模型的全自动服务流程，本专利技术利用网络通信技术既发挥了便携设备的小巧灵活的优势，又能利用后台服务器完成大规模高质量的三维重建运算。附图说明图1是本专利技术实施例一提供的移动通信终端实现三维重建的方法的流程图。图2是本专利技术实施例二提供的移动通信终端的结构示意图。图3是本专利技术实施例三提供的服务器的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一：请参阅图1，本专利技术实施例一提供的移动通信终端实现三维重建的方法包括以下步骤：S101、移动通信终端通过摄像头拍摄至少一张物体或场景的照片。S101具体可以为：一个移动通信终端通过摄像头拍摄一张或多张物体或场景的照片，或者，多个移动通信终端通过摄像头拍摄多张物体或场景的照片。拍摄的场景画面需大致对准同一场景，拍摄的角度、位置、距离不限。移动通信终端包括手机、平板电脑、便携式笔记本电脑、无人机机载设备、各种智能机等。S102、移动通信终端将所述照片通过网络发送至服务器。当S101具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片时，S102之后，所述方法还包括：服务器将多个移动通信终端拍摄的多张物体或场景的照片进行汇总。S103、服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据。在本专利技术实施例一中，当步骤S101具体为一个移动通信终端通过摄像头拍摄一张物体或场景的照片时，S103具体可以包括以下步骤：服务器以所述照片作为三维重建的输入，采用深度机器学习方法，先通过大量图像像素数据作为输入与其对应的深度数据作为输出的已知样本进行神经网络模型训练，得到神经网络模型A之后，再将单幅图像的像素x周边的分布作为神经网络模型A的输入，输出就是像素x对应的深度信息d；根据大量像素x的坐标u，v和其对应的神经网络模型A得到的深度数据dx得到三维模型点云；然后经过点云加密、点云构网、铺设纹理等过程，生成三维模型数据。所述三维模型数据包括三维模型文件和纹理文件。其中，由于前面得到的点云是对应于图像上某个像素位置的，因此其所处的点云阵列是非常有规律的2维阵列网格，1个方形的网格可进一步划分成2个3角形网格。由于点云的每一个点对应的图像像素颜色值是已知的，因此可由这些图像像素坐标铺设纹理。在本专利技术实施例一中，当步骤S101中拍摄的物体或场景的照片是多张时，S103具体可以为：服务器以所述照片作为三维重建的输入，经过同名点匹配、移动通信终端虚拟摄像头位姿模型构建、生成点云、点云加密、点云构网、铺设纹理等过程，生成三维模型数据。所述三维模型数据包括三维模型点坐标数据、构网数据和纹理数据。在本专利技术实施例一中，同名点匹配过程中，可利用移动通信终端提供的姿态数据进行拍摄照片纠正匹配，可达到更好的匹配效果，纠正匹配方法有两种：一、纠正图像匹配同名点1.每一张拍摄的照片Ii经过Hi＝KiRiτTKi-1的Homogeaph变换得到I’，其中是移动通信终端的摄像头i的内部参数矩阵，f是焦距的像素长度，(cx,cy)是摄像头主点坐标；对于理想摄像头(cx,cy)是图像的中心点，cx＝w/2,cy＝h/2,w,h是原始图像I的宽和高；是纠正以后虚拟移动通信终端的摄像头的内部参数矩阵，f2是纠正以后虚拟摄像头的焦距的像素长度，(cx2,cy2)是纠正以后虚拟移动通信终端的摄像头主点坐标，Riτ是由摄像头的姿态矩阵Ri分解出来的纠正矩阵。根据姿态矩阵Ri，Rj对要匹配的两幅照片Ii,Ij分别进行纠正得到Ii'和Ij'两张照片之间没有旋转关系了，可以在不考虑照片旋转的条件下快速准确地进行匹配。二、纠正特征点匹配同名点将照片中的特征点集先提取出来，对于移动通信终端i拍摄的照片Ii中的每一个特征点Pij，再在特征点Pij邻域j附近小图区域进行Hi＝KiRiτTKi-1纠正变换，在纠正小图区域中计算该特征点Pij的描述子，这种经过邻域纠正的特征点描述子不受照片旋转的影响具有较好的匹配稳定性，最后利用纠正图的特征点描述子进行图像间同名点匹配。在本专利技术实施例一中，在点云加密之后，所述方法还可以包括：点云间隔采样，具体为：服务器根据数据量大小需要进行本文档来自技高网...

【技术保护点】
一种移动通信终端实现三维重建的方法，其特征在于，所述方法包括：移动通信终端通过摄像头拍摄至少一张物体或场景的照片；移动通信终端将所述照片通过网络发送至服务器，以由服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；所述移动通信终端接收所述三维模型数据；移动通信终端根据三维模型数据进行三维可视化渲染。

【技术特征摘要】
1.一种移动通信终端实现三维重建的方法，其特征在于，所述方法包括：移动通信终端通过摄像头拍摄至少一张物体或场景的照片；移动通信终端将所述照片通过网络发送至服务器，以由服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据，并由服务器将生成的三维模型数据通过网络发送至所述移动通信终端；所述移动通信终端接收所述三维模型数据；移动通信终端根据三维模型数据进行三维可视化渲染。2.如权利要求1所述的方法，其特征在于，所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为：一个移动通信终端通过摄像头拍摄一张或多张物体或场景的照片，或者，多个移动通信终端通过摄像头拍摄多张物体或场景的照片；当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片时，所述移动通信终端将所述照片通过网络发送至服务器之后，所述方法还包括：服务器将多个移动通信终端拍摄的多张物体或场景的照片进行汇总。3.如权利要求2所述的方法，其特征在于，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为：一个移动通信终端通过摄像头拍摄一张物体或场景的照片时，所述服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据具体包括：服务器以所述照片作为输入，采用深度机器学习方法，先通过大量图像像素数据作为输入与其对应的深度数据作为输出的已知样本进行神经网络模型训练，得到神经网络模型A之后，再将单幅图像的像素x周边的分布作为神经网络模型A的输入，输出就是像素x对应的深度信息d；根据大量像素x的坐标u，v和其对应的神经网络模型A得到的深度数据dx得到三维模型点云；然后经过点云加密、点云构网、铺设纹理过程，生成三维模型数据。4.如权利要求2所述的方法，其特征在于，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片的步骤中拍摄的物体或场景的照片是多张时，所述服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据具体包括：服务器以所述照片作为三维重建的输入，经过同名点匹配、移动通信终端虚拟摄像头位姿模型构建、生成点云、点云加密、点云构网、铺设纹理过程，生成三维模型数据。5.如权利要求1或2所述的方法，其特征在于，在所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片之后，所述方法还包括：移动通信终端为每张拍摄的照片绑定拍摄时摄像头的姿态数据；所述移动通信终端将所述照片通过网络发送至服务器具体为：将所述照片和拍摄时摄像头的姿态数据通过网络发送至服务器；所述服务器以所述照片作为三维重建的输入合成三维模型，生成三维模型数据具体为：服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据。6.如权利要求5所述的方法，其特征在于，当所述移动通信终端通过摄像头拍摄至少一张物体或场景的照片具体为多个移动通信终端通过摄像头拍摄多张物体或场景的照片，或者，一个移动通信终端通过摄像头拍摄多张物体或场景的照片时，所述服务器以所述照片和拍摄时摄像头的姿态数据作为三维重建的输入合成三维模型，生成三维模型数据具体包括：步骤1.构建方程AX＝0将0号移动通信终端的位置，或者拍摄0号照片时移动通信终端的坐标，Xs0＝Ys0＝Zs0＝0设定为原点解向量X＝[Xs1 Y s1 Zs1 ... XsC-1 YsC-1 ZsC-1 X0 Y0 Z0 X1 Y1 Z1 ... XN-1 YN-1 ZN-1]T其中C-1是移动通信终端的个数或者是照片的数量，X0 Y0 Z0 X1 Y1 Z1 ... XN-1YN-1 ZN-1是照片集中找到的N个同名像点对应的三维模型点云的坐标，一共3(C-1)+3N个未知数构建矩阵其中ni是第i个点对应的照片个数U(ij)是一个3x1的子阵U(ij)＝[U(ij)1 U(ij)2 U(ij)3]V(ij)＝[V(ij)1 V(ij)2 V(ij)3]U(ij)1＝rc(j)11-rc(j)31u'ij U(ij)2＝rc(j)12-rc(j)32u'ij U(ij)1＝rc(j)13-rc(j)33u'ijV(ij)1＝rc(j)21-rc(j)31v'ij V(ij)2＝rc(j)22-rc(j)32v'ij V(ij)3＝rc(j)23-rc(j)33v'ij其中rc(j)ab是指第j个照片的摄像头的姿态矩阵的a行b列 u i j ′ = u i j - c ...

【专利技术属性】
技术研发人员：刘进，陶重芝，
申请(专利权)人：刘进，
类型：发明
国别省市：湖北;42