一种基于草图检索且形状可控的沉浸式虚拟烟花模拟方法技术

本发明专利技术公开了一种基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，包括：(1)在客户端，用户在虚拟场景中绘制想要观赏模型的草图，作为系统输入；(2)在服务器端，利用模型检索方法，检索出与绘制的草图最相似的3D烟花模型，将其作为3D结果模型；(3)选取聚类质心，聚类质心收敛后形成中间形状，模拟发射点到中间形状的第一级爆炸过程；(4)存储步骤(2)得到的3D结果模型的采样顶点位置及纹理坐标，模拟中间形状到最终形状的第二级爆炸过程。本发明专利技术方法让用户沉浸在虚拟场景中，手绘制出想要观赏的烟花形状，服务器进行处理模拟烟花多级爆炸，使用户体验栩栩如生的视觉特效。

An Immersive Virtual Fireworks Simulation Method Based on Sketch Retrieval and Shape Controllability

【技术实现步骤摘要】
一种基于草图检索且形状可控的沉浸式虚拟烟花模拟方法
本专利技术涉及计算机图形学及虚拟现实
，特别是涉及一种基于草图检索且形状可控的沉浸式虚拟烟花模型方法。
技术介绍
目前烟花的模拟，采用的都是粒子系统，粒子系统为三维计算机图形学中模拟一些特定的模糊现象的技术，该技术使用大量的小面片、3D模型或其他图形基元来模拟一些不规则的模糊现象，用简单的元素构造复杂的物体。经过二十几年的发展，粒子系统被广泛地用于模拟火、尘、云、雾、、烟、水流、爆炸火花、流星尾迹等复杂的、没有明显平滑表面的物体。通常粒子系统在三维空间中的位置与运动是由发射器控制的。发射器主要由一组粒子行为参数以及在三维空间中的位置所表示。粒子行为参数可以包括粒子生成速度(即单位时间粒子生成的数目)、粒子初始速度向量(例如什么时候向什么方向运动)、粒子寿命(经过多长时间粒子湮灭)、粒子颜色、在粒子生命周期中的变化以及其它参数等等。使用大概值而不是绝对值的模糊参数占据全部或者绝大部分是很正常的，一些参数定义了中心值以及允许的变化。典型的粒子系统更新循环可以划分为模拟和渲染两个不同的阶段，每个循环执行每一帧动画。现有的烟花模拟方法中，都是模拟烟花爆炸过程，或者模拟特定形状的烟花爆炸过程，例如授权公告号为CN101276480B的专利文献公开了一种生成特定形状烟花的计算机模拟方法，用户可在客户端输入表示特定形状的三维模型或者三维模型的索引信息，服务器端利用粒子系统模拟烟花升空过程，到爆炸形成到用户指定的三维模型的形状，最后消失的计算机动画模拟过程，生成的个性动画文件既可以通过电子邮件发给用户，也可以通过彩信发送到用户的手机上。申请公布号为CN109461205A的专利文献中公开了一种从烟花视频重建三维烟花的方法，利用神经网络强大的非线性拟合能力，训练出一个模型深度学习模型，从视频中提取烟花的特征，从给定的二维视频中，利用粒子系统构建出与原视频相似的渲染烟花模型。随着计算机图形学和虚拟设备的普及，用户对于虚拟世界的要求越来越高，用户往往不仅想要在虚拟世界中欣赏平日里难得一见的景致，也希望能通过虚拟设备与虚拟环境中的物体进行互动。目前，虚拟现实作为一种流行的新式媒介，已广泛应用于教育培训、游戏娱乐等方面。在虚拟环境中，用户希望能像在真实环境中一样操作虚拟对象：学习者能够根据个性表现在虚拟环境中尝试完成不同任务或通过不同方式完成任务；娱乐者能直观地接触游戏场景，与游戏角色互动沟通。然而现有的烟花模拟方法中，并没有能让用户操作虚拟对象，让娱乐者能更直观地接触游戏场景、高度地沉浸在虚拟世界中的烟花模型，因此，将传统现象的模拟与虚拟现实结合在一起，具有非凡的意义。
技术实现思路
本专利技术的目的在于提供一种基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，通过本专利技术的烟花模拟方法，用户可以沉浸在虚拟场景中，自行绘制想要观赏的烟花形状，模拟具有复杂轮廓的3D烟花模型形状。本专利技术采用如下技术方案：一种基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，包括：(1)在客户端，用户在虚拟场景中绘制想要观赏模型的草图，作为系统输入；(2)在服务器端，利用模型检索方法，检索出与绘制的草图最相似的3D烟花模型，将其作为3D结果模型；(3)基于K-means聚类算法选取聚类质心，聚类质心收敛后形成中间形状，模拟发射点到中间形状的第一级爆炸过程；(4)基于高斯曲率的点采样算法，存储步骤(2)得到的3D结果模型的采样顶点位置及纹理坐标，模拟中间形状到最终形状的第二级爆炸过程。本专利技术方法中，用户在虚拟场景中绘制草图，服务器端对草图进行处理后，检索到模型库中最相似的3D烟花模型，提取3D烟花模型的形状及纹理信息，模拟烟花从发射到中间形状，再从中间形状到被检索到3D烟花模型的精确形状，完成二级爆炸。本专利技术方法可使用户与虚拟现实互动，根据用户自行绘制草图形状，模拟出用户想要观赏的烟花形状，不仅可以模拟简单的3D烟花模型形状，还可以模拟具有复杂轮廓的3D烟花模型形状。在步骤(1)中，用户可佩戴沉浸式虚拟现实设备，手持控制器对草图进行绘制。用户可以直接操作虚拟对象，娱乐者能更直观地接触游戏场景、高度地沉浸在虚拟世界中的烟花模型。在步骤(2)中，所述的模型搜索方法具体为：(2.1)将数据库中的每个3D烟花模型的各个视图方向上生成2D线描图组，利用滤波器提取2D线描图组的特征，以将2D线描图组编码为局部图像描述符；(2.2)通过K-means聚类算法，构建一个视觉词典(visualvocabulary)，聚类算法中得到的每个聚类质心代表一个视觉词汇(visualword)，对每个2D线描图的局部图像描述符进行量化，确定视觉词汇(visualwords)出现频率的直方图，保存在用于在线查询的倒排索引中；(2.3)在用户提交草图后，服务器端提取草图的局部图像描述符，进行量化，编码为视觉词汇(visualwords)出现频率的直方图，利用Tf-idf加权函数确定视觉词汇(visualwords)的权重；(2.4)将草图的视觉词汇(visualwords)出现频率的直方图，与倒排索引中的3D烟花模型的各视图方向上的视觉词汇(visualwords)出现频率的直方图进行对比，检索出最相似的3D烟花模型。进一步，在步骤(2.1)中，为了简化2D线描组的管线，在3D烟花模型的球体上统一均匀地选择102个视点，从所选择的102个视点方向，将3D烟花模型投影到线描图中,生成2D线描图组。在步骤(3)中，所述的第一级爆炸过程具体为：采用K-means聚类算法，假设N为到达最终目的地的所需粒子的数量，随机选取F个质心作为初始质心，计算每个粒子到F个质心的距离，划分距离最近的质心的集合，根据已获得的集合重新计算质心，再计算每个粒子到新质心的距离，划分距离最近的质心的集合，反复计算直到结果收敛，获得最终的聚类质心，形成中间形状，粒子系统以3D结果模型的几何中心为发射点，释放并落在相应的聚类质心上，完成发射点到中间形状的第一次爆炸过程。在步骤(4)中，所述的第二级爆炸过程具体为：采用具有3D对象离散顶点的高斯曲率的点采样算法，各个离散顶点构建成三角形网格，计算出三角形网格上的顶点的高斯曲率，再根据高斯曲率的绝对值的不同，设置相应等级，确定在顶点的相邻三角形区域中随机采样的点的数量，记录这些采样点的位置及纹理坐标，作为最终第二级爆炸的最终目的地及纹理信息，即最终的烟花形状及颜色；第二级爆炸以第一级爆炸的中间形状为起点，以高斯曲率算法得出的采样点为终点，完成第二级爆炸。在纹理信息的采样过程中，为了从3D结果模型中采集到的纹理映射到每个采样点，本专利技术利用高斯曲率的点采样算法得到采样点，再利用双线性插值算法获得更准确、详细的颜色信息。将纹理信息采样过程中获得的颜色信息，设置为第二级爆炸期间粒子的颜色，从而在模拟烟花过程中还原检索到的3D烟花模型的纹理效果。本专利技术方法可以让用户佩戴虚拟现实设备，沉浸在虚拟场景中，手持控制器绘制草图，绘制出想要观赏的烟花形状，服务器端对草图进行处理后，检索到模型库中最相似的3D烟花模型，返回3D结果模型，提取3D结果模型的形状及纹理信息，模拟烟花从发射到中间形状，再从中间形状到被检索到3D结果模型的精确形状本文档来自技高网...

【技术保护点】
1.一种基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，包括：(1)在客户端，用户在虚拟场景中绘制想要观赏模型的草图，作为系统输入；(2)在服务器端，利用模型检索方法，检索出与绘制的草图最相似的3D烟花模型，将其作为3D结果模型；(3)基于K‑means聚类算法选取聚类质心，聚类质心收敛后形成中间形状，模拟发射点到中间形状的第一级爆炸过程；(4)基于高斯曲率的点采样算法，存储步骤(2)得到的3D结果模型的采样顶点位置及纹理坐标，模拟中间形状到最终形状的第二级爆炸过程。

【技术特征摘要】
1.一种基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，包括：(1)在客户端，用户在虚拟场景中绘制想要观赏模型的草图，作为系统输入；(2)在服务器端，利用模型检索方法，检索出与绘制的草图最相似的3D烟花模型，将其作为3D结果模型；(3)基于K-means聚类算法选取聚类质心，聚类质心收敛后形成中间形状，模拟发射点到中间形状的第一级爆炸过程；(4)基于高斯曲率的点采样算法，存储步骤(2)得到的3D结果模型的采样顶点位置及纹理坐标，模拟中间形状到最终形状的第二级爆炸过程。2.根据权利要求1所述的基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，其特征在于，步骤(1)中，用户佩戴沉浸式虚拟现实设备，手持控制器对草图进行绘制。3.根据权利要求1所述的基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，其特征在于，步骤(2)中，所述的模型搜索方法具体为：(2.1)将数据库中的每个3D烟花模型的各个视图方向上生成2D线描图组，利用滤波器提取2D线描图组的特征，以将2D线描图组编码为局部图像描述符；(2.2)通过K-means聚类算法，构建一个视觉词典，聚类算法中得到的每个聚类质心代表一个视觉词汇，对每个2D线描图的局部图像描述符进行量化，确定视觉词汇出现频率的直方图，保存在用于在线查询的倒排索引中；(2.3)在用户提交草图后，服务器端提取草图的局部图像描述符，进行量化，编码为视觉词汇出现频率的直方图，利用Tf-idf加权函数确定视觉词汇的权重；(2.4)将草图的视觉词汇出现频率的直方图，与倒排索引中的3D烟花模型的各视图方向上的视觉词汇出现频率的直方图进行对比，检索出最相似的3D烟花模型。4.根据权利要求3所述的基于草图检索且形状可控的沉浸式虚拟烟花模拟方法，其特征在于，在步骤(2.1)中，在所述的3D烟花模...

【专利技术属性】
技术研发人员：崔逍宇，金小刚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33