一种基于增强现实的空间绘画方法技术

本发明专利技术公开了一种基于增强现实的空间绘画方法，主要是通过模板配置和空间绘制两模块完成空间绘画。模板配置过程主要负责设置画笔颜色、宽度、素材纹理、动画等，AE(After Effects)合成工具将图片、脚本等转换成绘画画笔素材模板。空间绘制模块主要负责对人机交互界面产生的操作进行一系列的数据处理，生成圆滑的3D空间曲线并通过OpenGL/Metal渲染到真实的3D场景中。使用移动端在现实场景中绘画，增强绘画作品的真实感和立体感，通过人机交互界面，切换不同的纹理画刷，实现多样化绘制，并支持实时动态播放绘图过程，满足人们的创作需求和作品欣赏。

A Space Painting Method Based on Augmented Reality

【技术实现步骤摘要】
一种基于增强现实的空间绘画方法
本专利技术涉及计算机
，更具体的说是涉及一种基于增强现实的空间绘画方法。
技术介绍
目前，大多数空间绘画技术都是基于VR(虚拟现实)的空间画笔完成，需要通过VR设备和手柄实现在虚拟场景中进行艺术创作，如果没有眼镜现实设备作为载体，则无法体验3D立体场景绘画。而在这个互联网盛行的时代，电子移动终端和AR(增强现实技术)快速发展，移动终端得到普及，基于移动终端的增强现实应用越来越受大众欢迎。现今人机交互、计算机绘图还处于一个应用多种设备辅助完成的阶段，其操作较复杂且失去创作绘画的乐趣，因此将AR技术与图形绘制算法相结合应用到资源和计算能力有限的手持移动终端随之成为研究热点。因此，如何将增强现实技术应用于移动端实现现实场景绘画，增强绘画作品的真实感和立体感是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于增强现实的空间绘画方法，为了实现上述目的，本专利技术采用如下技术方案：一种基于增强现实的空间绘画方法，采用增强现实技术利用移动端实现在移动端的现实场景绘画，以下为具体步骤：步骤1：利用移动端的摄像机拍摄画面，采用增强现实开发本文档来自技高网...

【技术保护点】
1.一种基于增强现实的空间绘画方法，其特征在于，采用增强现实技术利用移动端实现在移动端的现实场景绘画，以下为具体步骤：步骤1：利用移动端的摄像机拍摄画面，采用增强现实开发框架中的3D虚拟空间中的相机ARCamera捕捉所述拍摄画面，并作为背景纹理进行存储，通过会话ARSession管理设备相机和ARKit追踪设备与现实世界之间的相对位置和运动数据实时的捕获所述背景纹理，最后将所述背景纹理的YUV颜色空间转为RGB颜色空间，并渲染成3D场景在所述人机交互界面上显示；步骤2：根据所述3D场景同时计算所述摄像机的V观察矩阵和P投影矩阵，用户选择任意画笔素材，进行绘图操作，所述移动端获取所述绘图操作的...

【技术特征摘要】
1.一种基于增强现实的空间绘画方法，其特征在于，采用增强现实技术利用移动端实现在移动端的现实场景绘画，以下为具体步骤：步骤1：利用移动端的摄像机拍摄画面，采用增强现实开发框架中的3D虚拟空间中的相机ARCamera捕捉所述拍摄画面，并作为背景纹理进行存储，通过会话ARSession管理设备相机和ARKit追踪设备与现实世界之间的相对位置和运动数据实时的捕获所述背景纹理，最后将所述背景纹理的YUV颜色空间转为RGB颜色空间，并渲染成3D场景在所述人机交互界面上显示；步骤2：根据所述3D场景同时计算所述摄像机的V观察矩阵和P投影矩阵，用户选择任意画笔素材，进行绘图操作，所述移动端获取所述绘图操作的2D坐标轨迹，通过将所述3D场景的2D屏幕坐标转为3D空间坐标，从而对应得到所述2D坐标轨迹的3D空间运动轨迹坐标；步骤3：采用线性插值算法和曲线平滑算法对所述3D空间运动轨迹坐标进行圆滑处理，形成均匀且圆滑的3D坐标轨迹；步骤4：根据所述3D坐标轨迹和选择的所述画笔素材信息，构造三角网格图形；在所述3D坐标轨迹的每个3D顶点生成两个对称坐标点，将所述对称坐标点依次连接形成带状三角网格图形；然后采用OpenGL/Metal渲染管线对所述绘图操作进行3D图像渲染，将所述3D坐标轨迹数据投影到屏幕渲染输出；步骤5：记录所述绘图操作生成过程，并生成视频文件，选择播放类型，点击开播放绘画过程，点击关，所述人机交互界面显示绘画结束时的静止状态。2.根据权利要求1所述的一种基于增强现实的空间绘画方法，其特征在于，所述步骤2中计算所述3D空间坐标转换的数学公式为：pt3Dnear＝pt2DscreenNear*inv(V*P*M)(1)pt3Dfar＝pt2DscreenFar*inv(V*P*M)(2)pt3D＝pt3Dnear+(pt3Dfar-pt3Dnear)*scale(3)其中，pt2DscreenNear为近裁剪平面坐标，其中z坐标取值为0；pt2DscreenFar为远裁剪平面坐标，其中z坐标取值为1；inv()为矩阵逆运算，M为世界矩阵，V为观察矩阵，P为投影矩阵，scale是自定义的比例参数，pt3D为3D空间坐标值；根据公式(1)～(3)依次计算得到所述3D空间坐标值，形成所述3D空间运动轨迹坐标。3.根据权利要求1所述的一种基于增强现实的空间绘画方法，其特征在于，利用所述线性插值算法将所述3D运动轨迹坐标转换为均匀间距的所述3D运动轨迹坐标，所述线性插值算法的计算公式为：q＝p+α(p-n)(4)其中α为系数，p为前驱顶点，n为后继顶点，q为需要插入的顶点。4.根据权利要求3所述的一种基于增强现实的空间绘画方法，其特征在于，采用曲线平滑算法对均匀间距的所述3D空间运动轨迹坐标进行计算，输出平滑的3D坐标轨迹；所述曲线平滑算法采用三角函...

【专利技术属性】
技术研发人员：刘培，张金矿，
申请(专利权)人：杭州趣维科技有限公司，
类型：发明
国别省市：浙江,33