一种远程协作场景中基于自由圈画的AR动态标注方法技术

本发明专利技术公开了一种远程协作场景中基于自由圈画的AR动态标注方法，包括：标注者基于远端视频画面发起标注指令，服务端根据标注指令生成启动标注信息，并将启动标注信息通过信令IM通道发送至被标注者；被标注者接收启动标注信息并根据启动标注信息进行本地AR标注渲染，标注完成标注信息随视频画面的移动一直附着在被标注的目标物体上，同时获取本地视频流传输到音视频会议中，实现远端标注者对本地视频画面的AR动态标注。本发明专利技术通过远端专家对现场工程师视频画面进行标注，解决了复杂工业场景下远程指导检修时的沟通效率问题，实现了WEB、移动端的多端标注。移动端的多端标注。移动端的多端标注。

【技术实现步骤摘要】
一种远程协作场景中基于自由圈画的AR动态标注方法


[0001]本专利技术属于信息
，特别是涉及一种远程协作场景中基于自由圈画的AR动态标注方法。

技术介绍

[0002]在工业企业遇到设备故障问题需要专家远程紧急定位时，传统的视频会议模式往往只能简单的进行语音视频的传递。当现场设备的构造比较复杂的时候，仅用音视频的方式进行沟通交互往往会说不清道不明，需要有更好的协同方式帮助远程的专家快速指明定位过程中需要现场工程师辅助操作或查看的具体位置，提升协同的效率。
[0003]而现有的AR标注方案依赖于标注端的设备，无法满足工业场景下远程协作检修时专家随时随地快速接入的需求。特别是无法实现WEB端的AR标注，需要借助PC客户端应用，无法做到轻量级接入。

技术实现思路

[0004]为解决上述问题，本专利技术提供了如下方案：一种远程协作场景中基于自由圈画的AR动态标注方法，包括：
[0005]标注者基于远端视频画面发起标注指令，服务端根据所述标注指令生成启动标注信息，并将所述启动标注信息通过信令IM通道发送至被标注者；
[0006]被标注者接收所述启动标注信息并根据所述启动标注信息进行本地AR标注渲染，标注完成标注信息随视频画面的移动一直附着在被标注的目标物体上，同时获取本地视频流传输到音视频会议中，实现远端标注者对本地视频画面的AR动态标注。
[0007]优选地，标注者基于远端视频画面发起标注指令的过程包括，标注者根据现场实际需求选择被标注者，对所述被标注者的视频画面进行放大，标注者基于放大后的视频画面进行自由圈画，服务端根据所述自由圈画情况生成标注指令；其中，所述自由圈画包括框、自由线条。
[0008]优选地，被标注者接收所述启动标注信息并根据所述标注信息进行本地AR标注渲染的过程包括，
[0009]被标注者收到所述启动标注信息后启动ARCamera进行环境感知，获得环境感知结果；
[0010]标注者根据所述环境感知结果进行笔画标注，服务端对所述笔画标注进行自由圈画操作编码后通过信令IM通道实时将笔画数据发送给被标注者；
[0011]被标注者收到所述笔画数据按照规则进行解码后进行AR标注渲染。
[0012]优选地，被标注者收到所述启动标注信息后启动ARCamera进行环境感知，获得环境感知结果的过程包括，
[0013]被标注者收到所述启动标注信息后启动ARKit或ARCore，通过ARCamera对摄像头所拍摄到的周围环境进行环境理解与平面检测，同时采用深感设备对摄像头与环境中平面
的距离进行深度估算，获得估算结果。
[0014]优选地，所述笔画标注包括新增、撤销、清空；
[0015]所述自由圈画操作编码后获得的笔画数据包括笔画标注数据、笔画位置数据。
[0016]优选地，被标注者收到所述笔画数据按照规则进行解码后进行AR标注渲染的过程包括，
[0017]被标注者收到所述笔画数据按照规则进行解码，根据解码数据在视频画面上进行第一个笔画的渲染，同时借助AR引擎进行点击碰撞估计，计算获得标注笔画与实体位置所在平面的交点；后续笔画的渲染和所述第一笔画的渲染保持在同一平面进行渲染。
[0018]优选地，借助AR引擎进行点击碰撞估计，计算获得标注笔画与实体位置所在平面的交点的过程包括，
[0019]当交点所在的平面没有其他锚点时则新建一个锚点，当交点所在的平面有其他锚点时则共用锚点，并计算交点和锚点之间的向量距离和方向。
[0020]优选地，获取本地视频流传输到音视频会议中的过程包括，
[0021]在渲染过程完毕后按照每秒30帧捕获渲染后的视频流，并通过音视频通道传输给会议中的其他人员。
[0022]优选地，标注完成使标注信息随视频画面的移动一直附着在被标注的目标物体上的过程包括，对完成AR动态标注的本地视频画面进行运动跟踪；所述运动跟踪的过程包括，
[0023]基于ARCore或ARKit，被标注端利用相机和IMU传感器感知设备的位置相对检测平面的距离及角度的变化，根据所述变化更新锚点距离摄像头的距离以及平面与设备之间的角度，依据新的锚点位置以及平面角度渲染笔画的位置；并持续按照每秒30帧捕获渲染后的视频流，通过音视频通道传输给会议中的其他人员，实现标注信息随视频画面的移动一直附着在被标注的目标物体上。
[0024]本专利技术公开了以下技术效果：
[0025]本专利技术提供的远程协作场景中基于自由圈画的AR动态标注方法，专家基于远端发起标注指令，并通过信令IM进行指令传递。现场工程师收到后开启AR标注，远端专家的标注指令通过IM进行传输，现场工程师收到后进行本地AR标注，标注完毕后获取本地视频流传输到音视频会议中。整个流程能够实现远端专家通过任意端对现场工程师视频画面进行标注；同时，采用被标注端渲染并捕获渲染流传输到会议中的方式，协作会议中所有的成员均能够看到标注的内容，从而实现WEB、移动端多端标注。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本专利技术实施例的方法流程图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0030]如图1所示，本专利技术提供了一种远程协作场景中基于自由圈画的AR动态标注方法,包括如下步骤：
[0031]第一步、远程专家发起标注
[0032]远程专家选择需要标注的现场工程师，选择过后现场工程师的视频画面被最大化。专家在视频画面进行自由圈画，圈画提供框、自由线条等选择。当专家启动标注后通过信令发送启动标注信息：
[0033][0034]第二步、被标注人启动ARCamera
[0035]被标注人收到启动动态标注的信息后启动ARKit或ARCore，通过ARCamera对摄像头所拍摄到的周围环境进行环境理解，平面检测。同时采用深感设备对摄像头与环境中平面的距离进行深度估算。
[0036]第三步、自由圈画操作编码传输
[0037]自有圈画包括新增、撤销和清空三种，在专家做相关操作后将操作广播到协作会议室，广播格式如下：
[0038][0039]自由圈画的笔画按照规则进行编码，编码后通过实时信令系统将笔画数据发送给被标注人。发送信息包括编码后的笔画数据和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程协作场景中基于自由圈画的AR动态标注方法，其特征在于，包括：标注者基于远端视频画面发起标注指令，服务端根据所述标注指令生成启动标注信息，并将所述启动标注信息通过信令IM通道发送至被标注者；被标注者接收所述启动标注信息并根据所述启动标注信息进行本地AR标注渲染，标注完成标注信息随视频画面的移动一直附着在被标注的目标物体上，同时获取本地视频流传输到音视频会议中，实现远端标注者对本地视频画面的AR动态标注。2.根据权利要求1所述的方法，其特征在于，标注者基于远端视频画面发起标注指令的过程包括，标注者根据现场实际需求选择被标注者，对所述被标注者的视频画面进行放大，标注者基于放大后的视频画面进行自由圈画，服务端根据所述自由圈画情况生成标注指令；其中，所述自由圈画包括框、自由线条。3.根据权利要求1所述的方法，其特征在于，被标注者接收所述启动标注信息并根据所述标注信息进行本地AR标注渲染的过程包括，被标注者收到所述启动标注信息后启动ARCamera进行环境感知，获得环境感知结果；标注者根据所述环境感知结果进行笔画标注，服务端对所述笔画标注进行自由圈画操作编码后通过信令IM通道实时将笔画数据发送给被标注者；被标注者收到所述笔画数据按照规则进行解码后进行AR标注渲染。4.根据权利要求3所述的方法，其特征在于，被标注者收到所述启动标注信息后启动ARCamera进行环境感知，获得环境感知结果的过程包括，被标注者收到所述启动标注信息后启动ARKit或ARCore，通过ARCamera对摄像头所拍摄到的周围环境进行环境理解与平面检测，同时采用深感设备对摄像头与环境中平面的距离进行深度估算，获得估算结果。5.根据权利要求3所述的...

【专利技术属性】
技术研发人员：王迎昌，刘随江，孙学贺，郑金辉，乌优娜，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：