一种基于web的AR场景互动sdk制造技术

本发明专利技术公开了一种基于web的AR场景互动sdk。该sdk提供了固定标记物识别、目标检测、屏幕录制、透明背景视频播放的能力。获取视频流数据，当出现标记物时触发固定标记物的回调函数，应用webgl方法构建模型，在用户界面中渲染模型；目标检测采用YOLO算法，利用tensorflow.js在前端完成目标检测；对纯色背景视频利用ffmpeg进行切帧，通过MediaRecorder获取视频流，由录制开始按钮触发事件。本发明专利技术构建可移植、组件化、低耦合的前端AR组件，并结合Tensorflow.js在前端构建深度学习网络，在前端实现目标检测需求，有效降低后台服务负载，在准确率和时效性之间取得平衡。衡。

【技术实现步骤摘要】
一种基于web的AR场景互动sdk


[0001]本专利技术涉及计算机
，具体涉及一种基于web的AR场景互动sdk。

技术介绍

[0002]现有的商用AR定制业务依赖于原生APP，以支付宝、QQ、手机百度等原生应用的扫一扫作为AR触发入口，在原生应用中进行AR的体验与交互。原生应用作为AR的唯一入口在实际应用场景中存在着局限性。在进行AR体验时需要在移动设备中下载并安装相应的应用、无法进行便利的分享，无法跨平台进行AR体验。

技术实现思路

[0003]针对现有技术中的不足，本专利技术的目的在于提供一种基于web的AR场景互动sdk，以方便跨平台进行AR体验的问题。
[0004]为实现上述目的，本专利技术采用了以下技术方案：
[0005]基于AR的场景互动前端系统基本功能分为：平面图片或固定标志物的识别追踪及触发，实体识别追踪及触发，3D模型、视频的渲染，场景互动中的复杂交互。通过构建通用功能组件以满足不同业务的需求。AR体验中的识别和触发是整个体验的第一步，在识别环节中分为静态2D图片、标记物识别和3D实体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于web的AR场景互动sdk，其特征在于：包括接入层、编辑运营层、应用服务层和基础服务层；所述基础服务层包括固定目标物触发模型、YOLO
‑
v3目标检测模块、屏幕录制模块和透明背景视频播放模块；所述接入层提供sdk的接入方式；所述编辑运营层提供sdk运行中的数据编辑、处理功能；所述应用服务层包括用户可开发使用的任务和功能；所述固定目标物触发模型提供sdk的固定标记物识别、固定标记物跟踪、固定标记物屏幕坐标回调函数功能，所述固定目标物触发模型包括组件detection.js、组件model.js、组件Three.js，所述组件detection.js中封装有检测方法，所述组件model.js中封装有组件Three.js的实现模型；所述组件Three.js与固定标记物识别进行联系，当触发固定标记物回调函数时，在固定标记物检测界面利用组件Three.js渲染模型，对识别到的固定标记物进行跟踪并在对应识别区域渲染模型；所述YOLO
‑
v3目标检测模块是采用voc数据集格式，利用darknet在后端进行模型训练，将训练好的模型进行模型优化，得到目标检测模型，并将目标检测模型得到的静态pb文件转换为适合前端网络页面的加载文件；基于Tensorflow.js实现YOLO目标检测；将训练后的Tensorflow模型saved_model，将save_model转化为可以在Tensorflow构建的前端神经网络中直接加载的web_model模型；所述屏幕录制模块提供sdk的屏幕录制功能，所述屏幕录制模块包括组件button.js、组件countdown.js、组件timer.js，所述组件button.js中封装有录屏开始按钮、屏幕录制界面、触发事件及点击方法，开始录制和结束方法；所述组件countdown.js中封装有实现倒计时方法，所述组件timer.js中封装有录制时计时方法；所述透明背景视频播放模块提供sdk的透明背...

【专利技术属性】
技术研发人员：高佩文，
申请(专利权)人：山西云芯新一代信息技术研究院有限公司，
类型：发明
国别省市：