对用于形成增强现实环境的装置进行控制的方法制造方法及图纸

本发明专利技术涉及处理和生成图像数据、包括纹理分析的图像分析以及显示3D图像的领域。一种控制用于生成增强现实的装置的方法包括：从用户装置传感器接收与对象相关的数据，识别对象并生成虚拟对象，其中，预先验证标识了包含对象的图形集合的激活码的真实性，以对象的图片或视频图像的至少一帧的形式获得与对象相关的数据，通过与存储在用户装置的存储器中的图像进行比较在图片或视频图像的帧上标识出对象，以3D模型的形式生成虚拟对象，在所接收到的图片或视频图像的帧的顶部利用用户装置的显示器来实时再现虚拟对象的图像，其中与生成3D模型相关的对象是在分配了激活码的集合中包含的图形上绘制的至少一项的二维图像。

【技术实现步骤摘要】
【国外来华专利技术】对用于形成增强现实环境的装置进行控制的方法
本专利技术涉及处理和生成图像数据、包括纹理的图像分析以及3D图像可视化。
技术介绍
最接近技术本质的原型是计算机实现的方法，其包括：使用用户装置接收位于用户附近的物理对象的传感数据，所述数据由与用户装置相关联的传感器生成；识别对象；响应于对象识别，生成与物理对象具有预定关系的虚拟对象；以及根据前述预定关系，将虚拟对象发送到与用户装置相关联的显示器以呈现给用户(参见RU2013154098A，分类号G06F15/16)。可以使用已知方法来创建与真实物理对象相关的虚拟对象。已知方法的缺点是由于使用传感器获得数据而仅检测到对传感器的影响，因此不能创建关于远程对象的增强现实环境。已知方法的另一缺点是由于除了由传感器生成的数据之外缺少关于对象的其他数据，因此不能提供识别其特征相似的对象的高可靠性。已知解决方案的另一缺点是它没有公开虚拟对象形成的细节。根据虚拟对象正被发送到与用户装置相关联的显示器的指示，可以得出的结论是：虚拟对象是远程生成的，这意味着在传送大量数据的通信速度方面，对于与远程生成模块(或装置)的通信有着高要求。另外，已知方法的使用不能提供依据用户的特质(例如，根据专业或年龄标准)来区分对内容的访问的能力。
技术实现思路
本文提出的技术目标是提供创建关于物理对象(包括使用物理对象的照片或视频图像的远程对象)的增强现实环境的能力，同时通过使用与特定对象相关联的唯一激活码来提高识别其特征相似的对象的可靠性，通过减少对通信模块的要求来简化实施，以及提供以某种标准限制用户对增强现实环境的形成进行访问的能力。上述结果通过使用用户装置形成增强现实环境的方法来实现，所述方法包括：从用户装置的传感器获得与对象相关联的数据；识别对象并生成虚拟对象；对激活码进行验证，所述激活码标识了包含多个对象的图片集合；以包含对象的至少一个照片或视频图像帧的形式获得与对象相关联的数据；通过与存储在用户设备的存储器中的图像进行比较来对图片或视频帧进行对象识别；生成虚拟对象作为在接收到的照片或视频图像的帧上在用户装置的屏幕上实时显示的3D模型，其中，与3D模型的形成相关的对象是在关联于激活码的组合的图片集合中所描绘的至少一个对象的二维图像。另外，-激活码可以是包含字母和/或数字的序列的码字；-激活码可以是可用照片或摄像机扫描的二维图像；-如果接收到的照片或视频图像多于一帧，则根据可接受的图像质量从中对其进行选择；-响应于对象识别，形成与对象相关的3D模型上下文；-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵形成扫描的图像区域的纹理并内插数据，随后将纹理分配给3D模型，来以照片图像的相应元素的颜色对3D模型的元素进行绘制，从而相应的多边形根据在先前步骤中确定的纹理坐标而被纹理的相应部分覆盖；-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在照片图像的预定点通过基于颜色读取来确定3D模型的材料的颜色，而以相应的照片元素的颜色对3D模型的元素进行着色，然后将颜色分配给3D模型的相应材料；-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵创建包括照片部分的纹理而以相应的照片元素的颜色对3D模型的元素进行着色，所述照片部分填充有在照片图像的预定点拍摄的纯色；-通过用相邻像素的颜色绘制为了3D模型而创建的纹理上的以前已知的区域，以去除将在所得图像上进行绘制的对象的轮廓；-阴影图也应用于为3D模型而创建的纹理。使用附图解释了使用用户装置形成增强现实环境的方法，其中，图1示出了使用用户装置形成增强现实环境的示例，图2是增强现实环境形成模块的框图，图3是用于控制用户装置计算模块的处理器的算法。在附图中做出以下指定：1、来自图片集合的图片；2、创建增强现实环境相关的对象；3、用户装置(移动装置)；4、摄像机或相机；5、显示器；6、输入模块；7、与服务器通信的模块；8、用于识别激活码的模块；9、用于验证激活码的模块；10、用于识别对象的模块；11、用于生成3D模型的模块；12、存储模块；13、声音输出模块；14、用于生成最终图像的信号的模块；15、获取激活码数据；16、激活码的初步验证；17、将激活码传输到服务器且接收验证结果；18、对服务器上的激活码的验证结果进行评估；19、开始形成增强现实环境；20、从照相机或摄像机的输出接收图像信号；21、在图像上识别对象；22、生成用于显示的最终图像信号；23、包括激活码验证模块的服务器；24、因特网；25、用户装置的计算模块。用于控制适于形成增强现实环境的装置的方法使用用户装置和激活服务器来提供增强现实环境的形成，所述方法包括以下步骤：与创建增强现实环境相关的对象是由图片(图1)表示的至少一个对象的二维图像。图片被组合成由若干图片组成的集合，该集合设置有激活码，激活码是包含字母和/或数字的序列的码字，或者是可以用照相机或摄像机扫描的二维图像。验证激活码的真实性，所述代码标识了包含要显示为3D模型的对象的图片集合。在验证结果成功的情况下，激活码开始渲染3D空间模型的过程，在该过程中，通过用户装置的照相机或摄像机获取对象的至少一个照片或视频图像帧。基于存储在包括增强现实形成模块的用户装置的存储器中的参考图像，在帧上识别对象，然后形成与对象具有语义连接的3D模型，通过显示模块在接收到的照片或视频图像的帧上实时再现其图像。在这种情况下，获取对象的照片或视频图像的至少一帧，其中如果获得照片或视频图像的多于一个的帧，则基于图片质量来选择帧。形成彩色3D模型，其中用三种方法中的一种来执行着色。第一着色方法包括：形成用于使照片图像的坐标变换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，并且通过使用坐标变换矩阵来形成读取区域的图像的纹理并内插数据，随后分配给3D纹理模型，来将3D模型的元素着色为相应的照片图像元素的颜色，从而通过在纹理化阶段预先形成纹理坐标，相应的多边形被纹理的相应部分覆盖。第二着色方法包括：形成用于使照片图像的坐标变换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在照片图像的预定点基于颜色读取来确定3D模型材料的颜色，然后将颜色分配给3D模型的相应材料，来以相应的照片元素的颜色对3D模型的元素进行着色。第三着色方法包括：形成用于使照片图像的坐标转换成其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵创建由照片部分组成的纹理来以相应的照片元素的颜色对3D模型的元素进行着色，所述照片部分填充有在照片图像的预定点拍摄的纯色。在为3D模型而生成的纹理上，通过用相邻像素的颜色进行填充来绘制预定的区域，以去除正在所得图像上进行绘制的对象的轮廓，并且还将环境光遮蔽图(ambientocclusionmap)应用于为3D模型所创建的纹理。如下使用了利用用户装置形成增强现实环境的方法。增强现实效果是使用用户装置并且还使用向用户装置提供适当的接口的服务器硬件来创建的，用户装置是包括内置照相机或摄像机、计算模块、存储模块、用于显示图像的输入和显示模本文档来自技高网...

【技术保护点】
1.一种使用用户装置生成增强现实环境的方法，所述方法包括：从用户装置传感器获取与对象相关联的数据，识别所述对象并生成虚拟对象，其特征在于，其对标识了包含对象的图片集合的激活码进行验证，为此，将所述激活码发送到服务器，其中，在测试结果为肯定的情况下，生成用以形成增强现实环境的激活命令并将其传输到所述用户装置，以所述对象的至少一个照片或视频图像帧的形式获取与所述对象相关联的数据，通过与存储在所述用户装置的存储器中的图像进行匹配来对所述照片或视频图像帧执行对象识别，将所述虚拟对象生成为3D模型，通过所述用户装置的显示模块在所获取的照片或视频图像的帧上实时地再现所述3D模型的图像，同时与形成所述3D模型有关的对象是在所述图片中表示的至少一个对象的二维图像，所述图片被组合成与所述激活码相关联的集合。

【技术特征摘要】
【国外来华专利技术】2015.12.02 RU 20151514811.一种使用用户装置生成增强现实环境的方法，所述方法包括：从用户装置传感器获取与对象相关联的数据，识别所述对象并生成虚拟对象，其特征在于，其对标识了包含对象的图片集合的激活码进行验证，为此，将所述激活码发送到服务器，其中，在测试结果为肯定的情况下，生成用以形成增强现实环境的激活命令并将其传输到所述用户装置，以所述对象的至少一个照片或视频图像帧的形式获取与所述对象相关联的数据，通过与存储在所述用户装置的存储器中的图像进行匹配来对所述照片或视频图像帧执行对象识别，将所述虚拟对象生成为3D模型，通过所述用户装置的显示模块在所获取的照片或视频图像的帧上实时地再现所述3D模型的图像，同时与形成所述3D模型有关的对象是在所述图片中表示的至少一个对象的二维图像，所述图片被组合成与所述激活码相关联的集合。2.根据权利要求1所述的方法，其中，所述激活码是包含字母和/或数字的序列的码字。3.根据权利要求1所述的方法，其中，所述激活码是能够使用照相机或摄像机扫描的二维图像。4.根据权利要求1所述的方法，其中，在获取的照片或视频图像存在多于一帧的情况下，基于可接受的图像质量进行帧选择。5.根据权利要求1所述的方法，其中，响应于所述对象识别而生成的所述3D模型是与所述对象相关的上下文。6.根据权利要求1所述的方法，其中，所述3D模型形成为彩色，所述方法还包括：形成使图像的坐标变换为其自己的矩阵...

【专利技术属性】
技术研发人员：维塔利·维塔利耶维奇·艾维瑞亚诺夫，安德烈·瓦勒耶维奇·科米萨罗夫，
申请(专利权)人：杜瓦娱乐有限公司，
类型：发明
国别省市：塞浦路斯,CY