一种三维模型与实景照片智能融合的设备与方法技术

本发明专利技术公开了一种三维模型与实景照片智能融合的系统和方法，包括以下步骤：将欲与实物的数字化三维模型融合的实景照片传送至一个智能融合系统中，并由其对实景照片进行分析、计算并存储相关信息；将实景照片呈现于系统的处理界面之上；从系统内或外部资源中检索适配的三维模型；将所述三维模型传送至呈现有所述实景照片的处理界面之上；根据需要将三维模型旋转、移动、缩放，并智能地在实景照片中呈现出其所表达的实物实际存在于实景中所展现的大小、姿态以及透视关系。本发明专利技术创造性地提出了三维模型与实景照片智能融合的系统和方法，使没有专业经验的普通人都能够简便、快捷、精准地将三维模型自然、逼真、贴切地融合到实景照片之中。景照片之中。景照片之中。

【技术实现步骤摘要】
一种三维模型与实景照片智能融合的设备与方法


[0001]本专利技术属于效果图合成及制作领域，具体涉及将实物的数字化三维模型简便的、自然贴切的、智能化的融合到实景照片之中的相关技术，可广泛应用于建筑设计、家装设计、环境设计和展示设计等行业，是设计师自由表达创意并与客户充分沟通的好工具，也是没有经过专业培训的普通人尝试DIY设计的好帮手。

技术介绍

[0002]将实物的数字化三维模型与某个场景的实景照片相融合已经广泛的被应用于建筑设计、家装设计和展示设计等领域，目前比较流行的融合方法是采用Rhino、3DMax、solidThinking等工业设计软件。在这些软件的帮助下，有些优秀的建筑或室内装潢的效果图可以以假乱真，把现时不存在的但未来可能可以实现的建筑或装修效果惟妙惟俏地呈现在人们的眼前。但是，要使用上述软件把实物的数字化三维模型与某个场景的实景照片相融合，操作人员必须经过专业训练，在熟练掌握了上述软件的使用方法之后方可绘制出一幅理想的效果图。即便如此，每完成一次实物的数字化三维模型与实景照片的融合，一个高水平的专业人员都要耗费大量的时间和精力。令人沮丧的是，很多用心制作的效果图在完成后总让人看得非常别扭，其原因并非效果图制作者水平不够，而是因为在把三维模型与实景照片融合之前，他们首先必须凭自己的眼力为实景照片标定坐标、分析照片所描述的空间透视关系。由于人的眼力远不如测量仪器精准，使得这种因为人力因素所引发的一个小误差，在最终发展成一个影响效果图观赏效果的大偏差。
[0003]一般情况下，效果图制作者所采用的标定坐标和分析透视关系的方法是，根据实景照片中的建筑结构或照片上的物体来寻找坐标标定的参考，如相邻两面墙体的共线，或室内家具的轮廓线等，但很多时候正是这些参考给了他们误导。不易觉察的，他们用以标定坐标及分析照片透视的墙体会略有些倾斜，而家具也可能在不平整的地面上摆放。更为糟糕的是，由于实景照片的拍摄者的经验不足，很多照片缺乏清晰且可靠的视平线，这就使得实物的数字化三维模型与实景照片的融合从一开始就建立在一个不正确的基础之上。
[0004]还有一个容易被人忽略的问题是，几乎所有的照片都会因为镜头的原因产生一定的畸变，其直接的影响是在三维模型与实景照片融合时，如果在照片中处于不同部位的三维模型不能根据照片的畸变规律对应地调整其姿态、大小和透视关系，该三维模型就会在照片之上显得格格不入，以致最终的融合结果无法达到理想的境界。
[0005]针对以上问题，申请人常常在想：既然实物的数字化三维模型与实景照片的融合那么为社会所需要，为何就没有一个智能化的软件让其做得更为简单、轻松一点？既然设计是美化生活的一个重要途径，为何不让没有经过专业培训的普通人都能够简便、快捷、精准地将实物的数字化三维模型自然、逼真、贴切地融合到实景照片之中？
[0006]近年来，随着建筑、家装和展示等行业的发展，同时也随着电脑、笔记本、平板、手机等智能电子通讯设备的普及，人们DIY或与设计师合作进行建筑或家装设计的积极性越来越高，这就对一种简单易学的、方便实用的数字化三维模型与实景照片的融合方法有着
更为迫切的需要。比如说，当一对夫妇刚刚收到了一套新房之后，他们会迫不及待地将新房的照片拍下来，然后回家与家人和朋友们商讨该房间的布置；又比如一个工厂主对其主车间的某个部位的布置不满意，他也可以拍一张或几张这个位置的照片与手下或设备供应商共同来研究一下新的布置方案。在这个时候，一个数字化三维模型与实景照片融合的智能系统就会发挥巨大作用。不论是上述那对夫妇，还是那个工厂主，都可以通过该智能软件把合适的家具或设备的数字化三维模型拖拽进实景照片中自由摆放，然后再看一下新布置的效果。即便是新房的装修设计或者车间的规划布置最终还是由专业的设计师来操刀，这个智能化的、即时反映结果的软件系统也可以更好地帮助他们沟通。
[0007]其实，在本专业领域，与申请人一样想解决类似问题的专业人员也不在少数。比如专利技术专利《一种三维模型与照片融合方法》(CN 107292954 B)公开了一种把建筑物的数字化三维模型与建筑场景的照片相融合的技术，但是该专利要求在拍摄实景照片时记录建筑环境照片的相机参数，同时还要求在输出三维模型图像的时候，必须设置三维场景中的虚拟相机参数，包括“依次对每个照片拍摄地点M，选择一张建设工程待建位置居中的照片Pc；利用照片Pc对应的相机参数，设置三维场景中虚拟相机的参数，包括X、Y、Z、相机方位Ori、相机俯仰角Pitch、相机翻滚角Roll、相机焦距F；设置三维场景出图参数，使图像长度、宽度、与照片Pc尺寸一致
……”
。如此多的、复杂的手工操作，不禁令申请人深深怀疑：该方法能否实现三维模型与实景照片精确的融合？即便可以，操作的方法也非常不友好。不要说普通人，就是专业人士按照这种方法也未必能够实现实物的数字化三维模型与实景照片的完美融合，更别提在三维模型发送至实景照片之时，操作者还可以随意移动和旋转三维模型、且三维模型还会随着位置的不同自动调整在实景照片中的大小、姿态和透视关系。
[0008]专利技术专利申请《一种真实环境下建筑效果图制作方法》(CN106846446A)公开了一种把真实环境与建筑效果图融合在一起的方法，但是按照这一方法，工作人员必须“对目标区域进行定点区域拍摄，得到多张原始影像，同时获取拍摄点的初始坐标；对原始影像进行全景拼接处理，得到目标区域的全景影像；在原始影像中选出一幅或几幅全景图像，获取每幅图像的相机参数，并在该图像中选取一定数量的控制点，记录控制点在该图像中的像素坐标，并实地测量控制点对应的空间坐标，通过单向空间后方交会方法来求解拍摄点实际坐标和拍摄实际角度参数
……”
。显然，这又是一套让没有经过专业培训的普通人所无法操作的办法，而且其所能实现的效果也与申请人想要实现的效果相去甚远。
[0009]申请人经过对现有技术的深入研究发现，尽管本专业领域的很多人士对实物的数字化三维模型与实景照片的融合非常感兴趣，但至今还没有人真正提出过申请人所提出的问题，即如何让没有经过专业培训的普通人简便、快捷、精准地将实物的数字化三维模型自然、逼真、贴切地融合到实景照片之中。当然，更没有人提出过解决这一问题的方法。
[0010]近几年逐渐开始流行的AR技术似乎离申请人所关注的和所要解决的问题更近了一步，比如苹果公司推出的ARKit和谷歌公司推出的ARCore，它们可以帮助手机使用者用增强现实的方法在手机所拍摄到的场景中加入实物的数字化三维模型，但是以这两款软件所代表的AR应用都必须在开阔的场地演示，因为它们无法解决导入的数字化三维模型与实景中的物体遮挡或碰撞的问题。一个在广阔空间看起来很棒的演示，如果在咖啡厅或在课堂上演示，就显得寸步难行，故其根本无法实现本申请人设想的把数字化三维模型“融入”到实景照片的理想效果，更无法实现多个三维模型同时导入实景照片且随意移动并随着其在
实景照片中位置的不同实时调整其大小、姿态和透视关系的效果。
[0011]为避免本领域内其他技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型与实景照片智能融合的系统和方法，其特征在于，包括：将欲与实物的数字化三维模型融合的一张或多张某场景的实景照片传送至融合数字化三维模型与实景照片的智能系统中，并由所述智能融合系统分析、计算所述照片并存储相关信息，包括：拍摄照片时所采用的相机位姿、相机参数、照片畸变参数、照片所摄场景的大小尺寸及空间布局、照片内各物体的语义特征及其对应的从整体照片中分割出来的独立影像、物与物的空间关系；将所述实景照片呈现于所述智能融合系统的处理界面之上；从系统内部或外部资源中检索、调取适配的一个或多个实物的数字化三维模型；将所述实物的数字化三维模型传送至呈现所述实景照片的处理界面之上；根据需要将所述数字化三维模型旋转、移动、缩放，并安排在所述实景照片中合适的位置；由系统根据所述实景照片的相关信息，以及数字化三维模型在实景照片中的位置智能分析、计算并实现三维模型到二维投影的变换，使所述数字化三维模型与实景照片自然融合，并展现出其所表达的实物实际存在于实景中所呈现的大小、姿态和透视关系。2.根据权利要求1所述的一种三维模型与实景照片智能融合的系统，其特征在于，包括：所述将实物的数字化三维模型融合至实景照片的智能融合系统由智能图像分析单元、信息存储单元、中央处理单元、数字化三维模型资料库、信息输入输出单元组成；所述智能图像分析单元为一个专门编程的软件，其所要完成的任务主要有分析、计算并获得与所述实景照片相关的所有信息，包括：拍摄照片时所采用的相机位姿、拍摄参数、照片畸变参数、照片所摄场景的大小尺寸及空间布局、照片内各物体的语义特征、物与物的空间关系。所述智能图像分析单元的功能还包括：智能识别实景照片上的各个物体，并将其与其他物体分割开来；所述信息存储单元是一个数字化的信息存储模块，其所要完成的任务包括：将由智能图像分析单元以及中央处理单元所分析、处理的信息存储起来以备后用；所述中央处理单元为一专门编程的软件，其功能包括：将实物的数字化三维模型高仿真地融合到某个场景的实景照片中，以达到...

【专利技术属性】
技术研发人员：胡家杰，常炜，奚优芬，
申请(专利权)人：宁波艾腾湃智能科技有限公司，
类型：发明
国别省市：