用于3D建模的装置和方法制造方法及图纸

一种用于三维(3D)建模的处理器实现方法，包括：基于在从传感器接收的图像中检测到的对象的位置的可变性和对象的形状的可变性，确定对象的运动类型；基于确定的运动类型，将对象分割成一个或多个块，每个块对应于运动的单位；基于图像中对象的一个或多个块的一个或多个特征点的位置的变化来校正确定的运动类型；基于对象的校正后的运动类型来确定对象的运动状态；基于对象的状态来校正传感器的姿态；以及基于对象的所确定的状态和传感器的校正后的姿态来更新对象的一个或多个块中的每个块的姿态。块的姿态。块的姿态。

【技术实现步骤摘要】
用于3D建模的装置和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2021年12月10日在韩国知识产权局递交的韩国专利申请No.10
‑
2021
‑
0176262的优先权，其全部公开内容通过引用合并于此以用于所有目的。


[0003]以下描述涉及用于三维(3D)建模的装置和方法。

技术介绍

[0004]三维(3D)建模技术可以包括将关于真实空间的3D信息转换为点云、网格、CAD等的形式以具有3D几何信息和红
‑
绿
‑
蓝(RGB)信息。作为用于3D建模的各种方法的示例，存在使用基于语义的对象来分割真实空间并基于该对象执行建模的方法。正在积极进行对使用面向对象的3D模型来估计基于对象的相机的姿态的技术、或基于通过相机姿态估计所估计的对象之间的相对位置关系来部署虚拟3D对象的技术的研究。

技术实现思路

[0005]提供本
技术实现思路
以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在标识所请求保护的主题的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于三维3D建模的处理器实现的方法，包括：确定在从传感器接收的图像中检测到的对象的运动类型；基于所述对象的运动类型和对应于所述对象的3D模型信息，将所述对象分割成与运动的单位相对应的块；基于所述图像中的对象的每个块的特征点的位置的变化，校正所述对象的运动类型；基于所述对象的校正后的运动类型以及对应于所述图像的帧而确定的所述对象的每个块的姿态，确定所述对象的运动状态；基于所述对象的所述运动状态来校正所述传感器的姿态；以及基于所述对象的所述运动状态和所述传感器的校正后的姿态来更新所述对象的每个块的姿态。2.根据权利要求1所述的方法，其中，校正所述对象的运动类型包括：基于所述图像中的所述帧的先前帧，确定所述对象的每个块的特征点的位置的变化；基于所述对象的每个块的特征点的位置的变化，确定同一对象中包括的块之间的相对位置是否改变；以及基于确定所述相对位置是否改变的结果，校正所述对象的运动类型。3.根据权利要求1所述的方法，其中，确定所述对象的运动状态包括：基于对应于所述帧所估计的所述对象的每个块的特征点的位置，确定与所述帧相对应的所述对象的每个块的姿态；基于对应于所述帧的先前帧所确定的所述对象的每个块的姿态以及对应于所述帧所确定的所述对象的每个块的姿态，确定所述对象的每个块的姿态的变换信息；以及基于所述对象的校正后的运动类型和所述对象的每个块的姿态的变换信息，确定所述对象的运动状态。4.根据权利要求3所述的方法，其中，确定与所述帧相对应的所述对象的每个块的姿态包括：基于被训练以提取对象的每个块的特征点的神经网络来估计与所述帧相对应的所述对象的每个块的特征点。5.根据权利要求3所述的方法，其中，确定与所述帧相对应的所述对象的每个块的姿态包括：基于对所述图像中包括的对象的每个块的特征点的跟踪来估计与所述帧相对应的所述对象的每个块的特征点。6.根据权利要求1所述的方法，其中，校正所述传感器的姿态包括：基于作为确定对象的运动状态的结果而被确定为处于静止状态的对象的每个块的姿态，来校正所述传感器的姿态。7.根据权利要求1所述的方法，其中，更新所述对象的每个块的姿态包括：基于所述传感器的校正后的姿态，更新作为确定对象的运动状态的结果而被确定为处于运动状态的对象的每个块的姿态。8.根据权利要求1所述的方法，其中，所述对象的运动类型包括第一类型、第二类型和第三类型中的任何一种或任何两种或更多种的任何组合，其中，在所述第一类型中所述对象的位置和形状是不变的，在所述第二类型中所述对象的位置是可变的而所述对象的形状是不变的，以及在所述第三类型中所述对象的位置和形状均是可变的。9.根据权利要求1所述的方法，其中，确定所述对象的运动类型包括：基于通过对所述
图像的分割而检测到的对象的识别信息，确定与所述对象的识别信息相匹配的所述对象的运动类型。10.根据权利要求1所述的方法，其中，将所述对象分割成所述块包括以下操作中的一者或两者：确定对应于所述对象而预先存储的3D模型信息；以及通过重建所述图像中包括的所述对象的图像来确定与所述对象相对应的3D模型信息。11.根据权利要求1所述的方法，还包括：输出所述传感器的姿态和所述对象的每个块的姿态中的一者或两者。12.根据权利要求1所述的方法，其中，对应于所述对象的3D模型信息包括：用于表示所述对象的形状的网格信息和所述对象的结构信息。13.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时，配置所述一个或多个处理器执行根据权利要求1所述的方法。14.一种用于三维3D建模的处理器实现的方法，包括：基于从传感器接收到的图像的一部分帧来确定所述图像中包括的对象的运动类型；以及对于接收到的所述图像的所述一部分帧中的每一帧：基于关于其运动类型已确定的对象的信息，确定在相应帧中所述对象的每个块的特征点的位置；基于在相应帧中所述对象的每个块的特征点的位置，确定与相应帧相对应的所述对象的每个块的姿态；基于与相应帧相对应的所述对象的运动类型和与相应帧相对应的所述对象的每个块的姿态，确定与相应帧相对应的所述对象的运动状态；基于所述对象的所述运动状态来校正所述传感器的姿态；以及基于所述对象的所述运动状态和所述传感器的校正后的姿态来更新所述对象的每个块的姿态。15.根据权利要求14所述的方法，其中，确定在相应帧中所述对象的每个块的特征点的位置包...

【专利技术属性】
技术研发人员：金知姸，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：