The invention provides a method, storage medium and device for transforming a 2D picture set into a 3D model. The method includes: step 11: recognizing the category of each object and the contour information of each object in a 2D picture set by a deep learning algorithm; step 12: extracting the detail characteristic information of each object in each picture by a computer vision algorithm, and the detail characteristic information to Less includes the texture information, color information and shape information of each object; Step 13: Based on the classification, shape information and contour information of each object, matching the successful 3D model for each object; Step 14: Mapping the texture information and color information of each object to each object's 3D model. Based on the method of the present invention, a realistic 3D model is constructed to overcome the shortcomings of generating 3D model and 3D video based on parallax, improve the user experience of 3D video or 3D model, and enhance entertainment and interesting.
【技术实现步骤摘要】
2D图片集转3D模型的方法、存储介质和装置
本专利技术涉及计算机领域，特别涉及一种2D图片集转3D模型的方法、存储介质和装置。
技术介绍
目前，可以基于视差原理将2D图片或视频转成3D模型或3D视频，但其本质是生成两幅针对左右眼不同的2D图片，并未生成实质的3D模型。由于视差都是错觉，使得用户在观看基于视差生成的3D模型或3D视频时会感到不适、失真、并容易疲劳，用户使用体验较差，影响娱乐性和趣味性。
技术实现思路
有鉴于此，本专利技术提供一种2D图片集转3D模型的方法、存储介质和装置，以解决如何基于2D图片集构建3D模型的问题。本专利技术提供一种2D图片集转3D模型的方法，2D图片集至少包括一张图片，该方法包括：步骤11：通过深度学习算法识别2D图片集中每张图片所包含每个对象的类别以及每个对象的轮廓信息；步骤12：通过计算机视觉算法提取2D图片集中每张图片中每个对象的细节特性信息，细节特征信息至少包括每个对象的纹理信息、颜色特征信息和形状特征信息；步骤13：基于对象的类别、形状特征信息、轮廓信息匹配3D模型，匹配成功的3D模型为该对象的3D模型；步骤14：将每个匹配成...
【技术保护点】
1.一种2D图片集转3D模型的方法，其特征在于，所述2D图片集至少包括一张图片，所述方法包括：步骤11：通过深度学习算法识别所述2D图片集中每张图片所包含每个对象的类别以及每个对象的轮廓信息；步骤12：通过计算机视觉算法提取所述2D图片集中每张图片中每个对象的细节特性信息，所述细节特征信息至少包括每个对象的纹理信息、颜色特征信息和形状特征信息；步骤13：基于每个对象的类别、形状特征信息、轮廓信息匹配3D模型，匹配成功的3D模型为该对象的3D模型；步骤14：将每个匹配成功的对象的纹理信息和颜色特征信息映射到该对象的3D模型上。
【技术特征摘要】
1.一种2D图片集转3D模型的方法，其特征在于，所述2D图片集至少包括一张图片，所述方法包括：步骤11：通过深度学习算法识别所述2D图片集中每张图片所包含每个对象的类别以及每个对象的轮廓信息；步骤12：通过计算机视觉算法提取所述2D图片集中每张图片中每个对象的细节特性信息，所述细节特征信息至少包括每个对象的纹理信息、颜色特征信息和形状特征信息；步骤13：基于每个对象的类别、形状特征信息、轮廓信息匹配3D模型，匹配成功的3D模型为该对象的3D模型；步骤14：将每个匹配成功的对象的纹理信息和颜色特征信息映射到该对象的3D模型上。2.根据权利要求1所述的方法，其特征在于，所述步骤11之前还包括：步骤10：提取2D视频中的关键帧作为所述2D图片集中的图片。3.根据权利要求2所述的方法，其特征在于，所述步骤10包括：步骤101：解码2D视频，获取所述2D视频的所有静态帧；步骤102：聚类分析所述所有静态帧，提取每个聚类中熵最大的静态帧为该聚类的关键帧。4.根据权利要求1所述的方法，其特征在于，所述步骤11包括：步骤111：将所述2D图片集中的任一图片输入卷积神经网络，所述卷积神经网络输出所述任一图片的n级特征图P1…Pn，n≥2；步骤112：通过区域建议网络定位所述P1…Pn中的目标候选区域，所述每个候选区域至少包含一个候选框；步骤113：当任一所述候选区域包括至少两个候选框时，采用非极大值抑制算法筛选每个候选区域的候选框，保留其中前景分数最高的候选框，并舍弃其他候选框；步骤114：对于所述P1…Pn中的每个候选框，将其分割为第一预设尺寸的池化单元，通过最大池化提取每个子单元的特征值后输出池化后的P1…Pn；步骤115：将所述池化后的P1…Pn映射为全连接特征，在所述全连接特征上识别每个候选框的对象类别，并缩小候选框尺寸；步骤116：通过全卷积网络识别每个所述缩小候选框区域内的对象的轮廓信息。5.根据权利要求4所述的方法，其特征在于，所述卷积神经网络包括残差网络和特征金字塔网络，所述残差网络的3X3的卷积采用深度可分离卷积替代。6.根据权利要求5所述的方法，其特征在于，所述特征金字塔网络包含第一金字塔和第二金字塔，所述第一金字塔从底层至顶层的输出依次输入所述第二金字塔的顶层至底层。7.根据权利要求1所述的方法，其特征在于，其特征在于，所述细节特征信息还包括：所述2D图片是否为对象的单独目标帧。8.根据权利要求1所述的方法，其特征在于，其特征在于，所述步骤12包括：步骤121：通过超像素和/或阈值分...
【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。