用于显示对象的方法技术

本发明专利技术涉及用于处理和生成图像数据的技术以及用于可视化三维（3D）图像的技术。技术结果使在可视图像上描绘对象的照片图像或视频图像的真实纹理成为可能。根据所要求保护的方法，生成3D模型，产生对象的照片图像或视频图像，可视化3D模型，3D模型连同参考图案以及纹理化部分的坐标一起被存储在显示设备的存储器中，该纹理化部分的坐标对应于3D模型的多边形，产生对象的照片图像或视频图像的至少一个帧，基于参考图案识别帧中的对象，如果存在多于一个帧，从图像质量的角度从帧中作出选择，生成将照片图像坐标转换成专用坐标的矩阵，通过使用坐标变换矩阵和数据内插来生成图像感应区域的纹理给3D模型的元素着上照片图像的相应元素的颜色，然后，指定3D模型的纹理。

A method for displaying objects

The invention relates to technology for processing and generating image data and for visualization of a three-dimensional (3D) image. The result of the technology makes it possible to describe the photo image or the real texture of the video image on the visual image. According to the inventive method, build the 3D model, produced photo image or the video object, visual 3D model, 3D model together with the reference pattern and texture coordinates of the display device together is stored in memory, the corresponding part of the texture coordinates of the polygon in 3D model, at least one photo frame the image or the video object, object reference frame based on pattern recognition, if there is more than one frame, from the perspective of image quality from the frame to make a choice, will generate matrix photo image coordinates into special coordinates, by using coordinate transformation matrix and data interpolation to generate the image texture to the induction area 3D model elements with corresponding elements on the photo image of the color, and then specify the 3D texture model.

【技术实现步骤摘要】
【国外来华专利技术】用于显示对象的方法
本专利技术涉及图像数据的处理和生成、图像及其纹理的分析以及3D（三维）图像的呈现，包括3D图像的纹理显示。
技术介绍
最相近的技术本质是以实时尺度生成纹理的方式，包括以下步骤：获取观察者的位置；计算视场；确定用于可视化所要求的分辨率；获取主题对象的位置地图；获取主题对象的参数；形成主题对象掩模；从主题对象接收影像数据；制备主题对象的主题纹理；用掩模对主题对象进行纹理化；把纹理化的主体对象放置在纹理图上；获取3D对象的图像的位置地图；获取3D对象参数；确定对象的类型；形成3D对象模型；获取3D对象的纹理；对3D对象进行纹理化；对3D对象进行呈现；形成3D对象的图像的掩模；形成3D对象的点元素图像或助记图像；形成3D对象的点元素图像掩模或助记图像掩模；将3D对象图像放置在纹理图上，以及进行可视化（见RU2295772C1,cl.G06T11/60）。已知方法能够被实施，用于地形的形貌图像的可视化，已知方法使用主题对象的参数数据以构成它们的图像的纹理。已知方法的缺点在于有条件的纹理的有界集为每个特定对象而被提前限定。已知方法不提供输出图像的对象表面的真实图片的传送。
技术实现思路
在此获得的技术结果在于提供显示输出图像的能力，该输出图像具有照片或视频图像的真实纹理，通过消除对存储对象的参考纹理的数据库的需要来简化实施方案，使在2D对象上不可视的3D模型区域纹理化。所述结果由根据选项1的显示对象的方法来实现，该方法包括：形成3D模型，获取对象的照片或视频图像，可视化3D模型，将3D模型连同参考图像和纹理化片段的坐标一起存储在显示设备的存储器中，该纹理化片段的坐标对应于3D模型的多边形；基于参考图像接收对象的至少一个图像或图像视频帧，基于参考图像在帧上识别对象，如果有多于一个帧，则基于图像质量进行选择，形成变换矩阵，该变换矩阵适于将照片图像的坐标转换成它自己的坐标，通过形成正在被扫描的图像区域的纹理来给3D模型的元素绘制上相应的照片元素的颜色，进一步使用坐标变换矩阵和内插数据，然后设置3D模型的纹理，使得相应的多边形根据在纹理化阶段确定的坐标而被相应的纹理区域所覆盖，不存在于对象的照片图像上的3D模型的至少一些部分根据预先确定的顺序被纹理化，其中对象是二维的或被感知为二维图像，相对于该二维图像的至少部分形成3D模型，使用增强现实工具和/或计算机视觉算法在视频流上将3D模型可视化。此外，形成由多边形表示的3D模型；形成坐标变换矩阵，以将照片图像坐标转换成它自己的坐标，即笛卡尔（Decart）坐标，该笛卡尔坐标以坐标轴的正交性为特征；其中，不存在于对象的图像上的3D模型的片段是图像细节的背面的部分；其中，根据预先确定的顺序对3D模型进行的纹理化包括生成纹理坐标，使得模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；其中，不存在于对象的图像上的3D模型的片段基于图像可视部分的数据外推而被纹理化；其中，3D模型是动画式的；其中，被感知为二维图像的对象是在曲面上被执行的图形图像。技术结果提供在输出图像上显示对象照片或视频图像的真实纹理的能力，为儿童提供在绘图程序中的训练能力，通过消除对存储对象的参考纹理数据库的需要来简化实施方案，使在2D对象上不可视的3D模型纹理化，以及通过为未经训练的用户提供将通常技术用于绘制3D模型的可能来简化使用纹理化过程。根据选项2来显示对象以实现所述结果，包括：形成3D模型，获取对象的照片或者视频图像，将3D模型连同参考图像和纹理化片段的坐标一起保存在显示设备的存储器中，该纹理化片段的坐标对应于3D模型的范围，获取对象的至少一个图像或视频图像帧，根据参考图像在帧上识别对象，如果有多于一个帧，则根据图像质量来进行选择，形成坐标变换矩阵，该坐标变换矩阵适用于将照片图像坐标转换成自己的图像坐标，使用坐标变换矩阵在预先确定的影像图像点进行颜色扫描，在此基础上通过确定3D模型材料的颜色来给3D模型的元素绘制上相应的照片元素，然后将颜色分配至相应的3D模型材料，从对象的照片图像消失的3D模型的至少一些部分根据预先确定的顺序而被纹理化。对象是二维的或被感知为二维图像，则相对于该二维图像的至少部分来形成3D模型，使用增强现实工具和/或计算机视觉算法在系列视频帧上呈现3D模型。此外，形成由多边形表示的3D模型；形成变换矩阵，该变换矩阵用于将照片图像的坐标转换成它自己的坐标，即笛卡尔（Decart）坐标，该笛卡尔坐标以坐标轴的正交性为特征；其中，不存在于对象的图像上的3D模型的片段是图像细节的背面的部分；其中，根据预先确定的顺序对3D模型进行纹理化意为以这样的方式生成纹理坐标，该方式为模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；其中，不存在于对象的图像上的3D模型的片段基于图像的可视部分的数据外推而被纹理化；其中，3D模型是动画式的；其中，被感知为二维图像的对象是在曲面上执行的图形图像。附图说明图1描绘基于PC的显示设备和远程服务器的框图，远程服务器用于存储参考图像和在示例2中描述的3D模型。图2示出原始对象的图像，该原始对象的图像为上色前的二维图形图像，对应于对象的参考图像。图3是绘制好的原始图形图像，以及在显示设备的屏幕上呈现、在图片的屏幕上可视化的3D模型。图4是显示设备的计算辅助工具的框图。以下附图标记被用于附图中：1-视频摄像机或相机，2-计算机辅助工具，3-服务器，4-监视器，5-因特网，6-输入初始数据：3D模型、纹理坐标、参考图像、视频流，7-视频流分析，8-验证视频流包含参考图像的条件，9-帧分析，10-验证成帧条件，11-生成考虑到坐标变换矩阵的照片图像，12-在分配的片段中纹理扫描-纹理化片段，13-进入视频摄像机，检查在视频图像上的对象的识别条件，14-输出至监视器，在视频上可视化3D模型，15-程序结束，16-打印机，17-原始对象-二维图形图像，18-用户绘制的二维图形图像，19-显示设备（智能手机），20-在监视器显示设备上可视化的3D模型，21-可视化的3D模型背景部件。具体实施方式显示对象的方法，该对象包括根据选项1的二维图像，该方法包括按顺序进行以下操作：形成对象的参考图像并将该对象的参考图像存储在显示设备的存储器中，该对象的参考图像具有纹理化区域且由3D模型多边形表示，其中所述多边形的坐标对应于纹理化区域的坐标；接收对象的至少一个图像帧或视频帧；基于参考图像，在照片图像上识别对象；选择满足图像质量要求（如清晰度、细节、信噪比等）的帧；形成坐标变换矩阵，该坐标变换矩阵用于将照片图像的坐标转换成它自己的坐标，其系统正交地指向坐标轴；通过使用坐标变换矩阵和数据内插来形成图像扫描区域的图像纹理，给3D模型元素绘制上相应照片元素的颜色；接着用扫描区域的获取的图像来替换3D模型结构，使得相应的多边形根据在纹理化阶段预先形成的坐标而被各自的纹理化区域所覆盖。然后，呈现3D模型可视化。同时，3D模型的至少一些部分（如图案的背面的部分）根据预先确定的顺序被绘制，并且相对于该二维图像的至少部分形成3D模型，例如，相对于最重要的聚合多个图像。识别之后，从扫描数据的角度，在捕捉到的帧中选择具有最多信息的帧。这样的帧能够是具有最清晰图像、最多细节等的帧。使用本文档来自技高网...

【技术保护点】
一种用于显示对象的方法，该方法包括形成3D模型、获取对象的照片图像或视频图像、可视化3D模型，其特征在于，3D模型连同参考图像以及纹理化片段的坐标一起被存储在显示设备的存储器中，该纹理化片段的坐标对应于3D模型范围，获取对象的至少一个图像或视频图像帧，基于参考图像，在帧上识别对象，如果有多于一个帧，根据图像质量选择帧，形成矩阵，该矩阵用于将照片图像的坐标转换成它们自己的坐标，通过使用坐标变换矩阵和内插数据来形成图像感应区域的纹理，然后将3D模型纹理分配至相应的图片元素的颜色，使得相应的范围在纹理化阶段沿预先形成的坐标被相应的纹理部分所覆盖，根据预先确定的顺序对不存在于对象的照片图像上的3D模型的至少一些部分进行纹理化；对象是二维的或被感知为二维图像，相对于该二维图像的至少一部分形成3D模型，使用增强现实和/或计算机视觉算法在视频上进行3D模型的可视化。

【技术特征摘要】
【国外来华专利技术】2015.03.25 RU 20151111321.一种用于显示对象的方法，该方法包括形成3D模型、获取对象的照片图像或视频图像、可视化3D模型，其特征在于，3D模型连同参考图像以及纹理化片段的坐标一起被存储在显示设备的存储器中，该纹理化片段的坐标对应于3D模型范围，获取对象的至少一个图像或视频图像帧，基于参考图像，在帧上识别对象，如果有多于一个帧，根据图像质量选择帧，形成矩阵，该矩阵用于将照片图像的坐标转换成它们自己的坐标，通过使用坐标变换矩阵和内插数据来形成图像感应区域的纹理，然后将3D模型纹理分配至相应的图片元素的颜色，使得相应的范围在纹理化阶段沿预先形成的坐标被相应的纹理部分所覆盖，根据预先确定的顺序对不存在于对象的照片图像上的3D模型的至少一些部分进行纹理化；对象是二维的或被感知为二维图像，相对于该二维图像的至少一部分形成3D模型，使用增强现实和/或计算机视觉算法在视频上进行3D模型的可视化。2.根据权利要求1所述的方法，其特征在于，形成由范围表示的3D模型。3.根据权利要求1所述的方法，其特征在于，形成矩阵，该矩阵用于将照片图像的坐标转换成它自己的坐标，即笛卡尔（Cartesian）坐标，该笛卡尔坐标以坐标轴的正交性为特征。4.根据权利要求1所述的方法，其特征在于，图像细节的背面的部分是不存在于对象的照片图像上的3D模型的部分。5.根据权利要求1所述的方法，其中根据预先确定的顺序的3D模型的纹理化是纹理坐标的生成，使得模型的背面的区域与相应的正面部分在纹理上具有相同的坐标。6.根据权利要求1所述的方法，其中不存在于对象的图像上的三维模型的部分基于对图像的可视部分的数据进行外推而被纹理化。7.根据权利要求1所述的方法，其中3D模型是动画式的。8.根据权利要求1所述的方法，其中被...

【专利技术属性】
技术研发人员：维塔利·塔利耶维奇·埃弗亚诺夫，安德烈·瓦勒耶维奇·柯米萨罗夫，
申请(专利权)人：实验室二四股份有限公司，
类型：发明
国别省市：俄罗斯,RU