一种物体三维建模与渲染系统及三维模型生成、渲染方法技术方案

本发明专利技术公开了一种物体三维建模与渲染系统及三维模型生成、渲染方法，系统包括步进电机转动平台、电机控制系统、图像采集和处理系统、背景板更换装置和图像采集装置。三维模型生成方法包括步骤一：系统初始化，步骤二：采集第一个背景板下的360度视频，步骤三：采集第二个背景板下的360度视频，步骤四：逐帧进行双蒙版背景差分法剪除背景。渲染方法包括解码所储存的视频模型、根据当前用户鼠标控制，解算出当前用户希望的视角、如果当前视角与视频中某一帧的视角的差异小于阈值e，则解码出视频的该帧，作为当前渲染图像、如果不满足条件，则选择与用户期望视角最为临近的两帧图像，进行线性图像插值，得到用户期望视角的渲染图像。

【技术实现步骤摘要】

本专利技术涉及一种基于IBR(Image Based !tendering，基于图像的渲染)技术的物体三维建模与渲染系统及三维模型生成、渲染方法，属于虚拟现实、计算机图像学和模式识别领域。
技术介绍
虚拟现实技术中的一个核心问题就是实时生成复杂虚拟现实环境的高逼真度图像。传统虚拟现实手段中，要生成某一个物体虚拟的几何图像，首先要利用几何图形的渲染方法(Graph-based Rendering, GBR)，进行几何建模并贴上纹理，如利用3DMax和Maya等建模工具进行三维物体的建模；然后在三维引擎中利用透视投影原理将三维模型像素化转变成二维图像，显示在二维屏幕空间中。但是对于复杂的物体，基于几何图形的绘制方法费时费力，且对于实时渲染而言GBR方法计算强度大，速度慢；基于图像的渲染(Image Based Rendering, IBR)是实时地生成照片般逼真的计算机图形的一种新方法，不用建立几何模型就可提供逼真的场景和动画。这种方法的优点是1、占用计算资源较少，实时性好；2、渲染时间与所建模型的复杂度无关；3、预先获取的图像可来自真实场景或虚拟环境，既可以来自实景照片，也可以来自离线渲染的几何三维模型。其中，Lippman的Movie-map系统是构造基于图像的绘制系统的最早的尝试之一。在Movie-map系统中，他们将成千上万的参考图像存储在计算中，系统可以围绕固定的视点左右、上下地摇转镜头、或将景物拉近推远。Movie-map系统的原理可以解释为从各个角度拍摄物体的参考图像，前提是参考图像的采样密度足够大。当用户选择某一个视点观察物体时，则根据视点临近匹配的原则，选择图像库中与之最接近的一张图片作为当前的视点看到图像。根据用户所选择视点的远近，将图片适当的放缩。IBR技术的出现使得建模与渲染有了更快速更有效的实现方法，并于近年来在互联网中得到了部分应用。如国内知名IT网站太平洋电脑网，其推出了电子产品的三维360度浏览功能，但是诸如此类的功能都是通过人工的手段，围绕物体进行多个角度拍照，再利用美工编辑(如PS等软件)将物体的背景人为的去除掉。用户可以使用360度浏览功能实际上是一张一张的切换各个视角所拍摄的处理后的图片。物体的360度浏览技术本质上是基于IBR技术的一种渲染实现，其技术要点在于二占.--^ \\\ ·1、快速有效的采集足够的密度的图片作为渲染的参考图像。采集图片数量过少，会出现视角变化过大导致不连续的现象，最终用户的体验感会比较差；2、高效并自动化的减除背景，只保留物体的前景，只保留物体本身去除背景可以使得用户的关注度提高，并增强观察物体三维效果和真实感。3、当用户所选择的观察视点不在参考图像范围中的时候，如何进行新的视点合成，根据已有的图像序列生成用户所需要的图像。目前国内所出现的基于图像的三维浏览系统，如太平洋电脑网，主要存在以下三个缺点1、图像采集手段仍然停留在人工，利用美工编辑进行图像拍摄，因而效率低下，不便于进行高密度采样拍摄和处理，基本都是十几张图片来描述一个物体；2、背景减除赖于手工，基本都是利用PS等软件处理，没有实现自动化处理；3、当用户所选择的视点不在参考图像范围，没有策略进行新视点合成，无法生成用户当前视点所需要的图像，渲染手段比较被动，只能浏览所拍摄的图像。其中背景减除作为关键技术之一，在国内外图像处理领域普遍使用背景差分法进行背景的减除，但是这种方法对于光源要求高，要求环境光稳定，且背景与前景色彩上要差别较大，如电视台演播室、影视拍摄现场利用蓝色或者绿色的背景布，并配合严格的光照条件来实现影视录制中的背景减除。本文以附图1为例，说明传统背景减除的实现方法步骤1 采集前景图像和背景图像(此处无特殊说明，图像均为M位彩色图像，8位色深)；步骤2 将前景图像和背景图像进行差分，具体实现是，将前景图像和背景图像进行逐像素做减运算，即分别利用RGB三个通道的值相减，得到RGB差分图像；步骤3 将步骤2得到的RGB差分图像进行灰度化，即采用一定RGB彩色图像转换灰度的算法，得到差分灰度图像；步骤4:为了减少椒盐噪声等其他因素的干扰，采取一定的滤波算法进行图像去噪处理，如中值滤波算法。得到滤波后的灰度图。步骤5 对步骤4得到的灰度图，采用二值化算法得到二值蒙版图像，即一张灰度只有0，1和图像(0代表黑色，1代表白色)；步骤6 利用二值蒙版图像与原前景图像逐个像素进行“与”运算，在相应的某个像素点上，如果蒙版图像当前的像素值为“ 1”，则原前景图对应的像素值保持不变，即被保留了下来；反之，如果蒙版图像当前的像素值为“0”，则对应前景像素值则在“与”运算之后就变成了“0”，即被减除掉了。经过二值蒙版图像和原前景图像的“与”运算后，即得到了背景减除后的最终图像。但是传统的背景减除方法存在以下两个难以克服的缺点1、对光照条件依赖度高，要求光照均勻且不变，普遍适应性差；2、当前景物体的色彩与背景颜色一致时，可能出现把物体的某些部分(与背景颜色接近的部分)当做背景减除掉，出现“镂空”现象；典型的“镂空”现象，如附图2所示，由于前景物体的某部分颜色与背景颜色非常接近，导致所生成的蒙版图像本身存在“镂空”，最终图像在合成的时候也出现了 “镂空”，出现这种情况时需要后期人工修补“镂空”部分，导致了效率低下适应性不强。传统背景差分算法的固有缺陷导致了目前应用领域没有能够实现自动化的快速建模与渲染IBR系统
技术实现思路
本专利技术的目的是为了解决上述问题，提出了一种基于IBR技术快速的物体三维建模与渲染系统及三维模型生成、渲染方法，本专利技术应用工业摄像机配合步进电机转动平台，采集物体的360度图像；首次提出并应用双蒙版背景差分法成功解决了图像背景差分后渲染出现“镂空”的问题，使得基于IBR技术的快速建模与渲染具有更好的抗噪性能；此外，提出了在低密度均勻采样的条件下，可采用邻近帧线性插值法进行新的视点合成，解决了用户选择的观察视点不在所采集范围的情况。一种物体三维建模与渲染系统，包括步进电机转动平台、电机控制系统、图像采集和处理系统、背景板更换装置和图像采集装置；步进电机转动平台底部设有步进电机，上端设有平台，平台用于放置物体，通过步进电机的驱动使得平台转动；步进电机通过电机控制系统连接图像采集和处理系统，电机控制系统包括DSP芯片和外围电路，作为连接步进电机转动平台与图像采集和处理系统的纽带，电机控制系统控制步进电机的转动，实现步进电机转动平台的转度调节和开关控制，图像采集和处理系统与电机控制系统采用串行通讯，图像采集和处理系统向电机控制系统发送指令，通过电机控制系统控制步进电机的转动速率，使得步进电机的转动速率与图像采集和处理系统中的图像采集同步；背景板更换装置位于平台上物体的后方，背景板更换装置中背景板的颜色能够更换；图像采集和处理系统控制图像采集装置采集平台上物体的图像和背景板更换装置的图像，图像采集装置采集图像的频率与平台的转动频率同步；图像采集和处理系统全部采集完图像后，基于双蒙版背景差分法，实现采集图像的背景抠除。一种物体三维建模与渲染系统的三维模型生成方法，包括以下几个步骤步骤一系统初始化；设定电机转速为V转/分，设置需要采集图像的分辨率，设定旋转一周要采集的图片数N;步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：龚光红，宋子健，李妮，黄展鹏，丁莹，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：