一种实现远程协助的方法及相关设备技术

技术编号:24798966 阅读:57 留言:0更新日期:2020-07-07 20:57
本发明专利技术实施例公开了一种实现远程协助的方法及相关设备,其中方法之一包括:协助方设备接收并显示第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;发送第二数据。如此,实现了协助方对请求协助方的实时视频内容叠加电子白板,使得远程协助更加高效准确。

【技术实现步骤摘要】
一种实现远程协助的方法及相关设备
本专利技术实施例涉及但不限于多媒体视频会议
,更具体的涉及一种实现远程协助的方法及相关设备。
技术介绍
现有远程协助方案主要包括如下几类:1)、图片,文档等文件形式数据离线回传,然后语音在线或者消息等离线方式协助;2)、集成监控系统,采用单向视频实时监控数据回传,然后其他方式协作;3)远程桌面等方式远程协助。这几类方案的主要问题在于协助手段有限,无法准确实时把协助方的指示传送到前方(请求协助方)。
技术实现思路
有鉴于此,本专利技术实施例提供了一种实现远程协助的方法,包括:协助方设备接收并显示第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;发送第二数据,所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。本专利技术实施例还提供了一种实现远程协助的方法,包括:请求协助方设备发送第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;接收并显示第二数据,所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。本专利技术实施例还提供了一种实现远程协助的方法,包括:协助服务器接收请求协助方设备发送的第一数据,并转发给协助方设备;所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;接收所述协助方设备发送的第二数据,并转发给所述请求协助方设备;所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。本专利技术实施例还提供了一种实现远程协助的方法,包括:第三方协助设备接收协助方设备发送的第一请求,所述第一请求用于请求第三方参与协助;向协助服务器发送建立连接请求,并接收所述协助服务器发送的第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;发送第三数据,所述第三数据包括以下之一:所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。本专利技术实施例还提供了一种实现远程协助的方法,包括:协助服务器接收至少一个第三方协助设备发送的建立连接请求,并向所述至少一个第三方协助设备发送第一数据;接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据;将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。本专利技术实施例还提供了一种实现远程协助的方法,包括:请求协助方设备接收并显示第四数据,所述第四数据包括:将第二数据和第三数据中的音频流进行混音处理后得到的音频流,将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后得到的第四电子白板数据,以及正在进行电子白板标注的第一数据中的视频流或者正在进行电子白板标注的从所述第一数据中的视频流中截取的图片或者正在进行电子白板标注的从所述第一数据中的视频流中选取的回放视频流。本专利技术实施例还提供了一种协助方设备,包括:接收及显示单元,用于接收并显示第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;发送单元,用于发送第二数据,所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。本专利技术实施例还提供了一种请求协助方设备,包括:发送单元,用于发送第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;接收及显示单元,用于接收并显示第二数据,所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。本专利技术实施例还提供了一种协助服务器,包括:第一接收及转发单元,用于接收请求协助方设备发送的第一数据,并转发给协助方设备;所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;第二接收及转发单元,用于接收所述协助方设备发送的第二数据,并转发给所述请求协助方设备;所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一本文档来自技高网...

【技术保护点】
1.一种实现远程协助的方法,包括:/n协助方设备接收并显示第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;/n发送第二数据,所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。/n

【技术特征摘要】
1.一种实现远程协助的方法,包括:
协助方设备接收并显示第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;
发送第二数据,所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。


2.根据权利要求1所述的方法,其特征在于,当所述第一数据包括所述请求协助方设备采集的音频视频流和第一电子白板数据时,所述显示第一数据包括:
将所述请求协助方设备采集的音频视频流和第一电子白板数据进行叠加合成后进行显示。


3.根据权利要求1所述的方法,其特征在于,所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息;
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息,或者所述协助方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息,或者所述协助方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。


4.根据权利要求1所述的方法,其特征在于,在所述协助方设备接收第一数据之前,该方法还包括:
所述协助方设备与所述请求协助方设备建立连接通道;
通过所述连接通道接收所述第一数据以及发送所述第二数据。


5.根据权利要求1所述的方法,其特征在于,在所述协助方设备接收第一数据之前,该方法还包括:
所述协助方设备通过协助服务器与所述请求协助方设备建立连接;
通过所述协助服务器接收所述第一数据以及发送所述第二数据。


6.根据权利要求1所述的方法,其特征在于,在协助方设备接收并显示第一数据之后,该方法还包括:
向至少一个第三方协助设备发送第一请求,所述第一请求用于请求第三方参与协助。


7.一种实现远程协助的方法,包括:
请求协助方设备发送第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;
接收并显示第二数据,所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。


8.根据权利要求7所述的方法,其特征在于,
当所述第二数据包括所述第一数据中的视频流和第二电子白板数据时,所述显示第二数据包括:
将所述第一数据中的视频流和第二电子白板数据进行叠加合成后进行显示;
或者,当所述第二数据包括从所述第一数据中的视频流中截取的图片和第二电子白板数据时,所述显示第二数据包括:
将从所述第一数据中的视频流中截取的图片和第二电子白板数据进行叠加合成后进行显示;
或者,当所述第二数据包括从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据时,所述显示第二数据包括:
将从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据进行叠加合成后进行显示。


9.根据权利要求7所述的方法,其特征在于,
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息;
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息,或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息,或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。


10.根据权利要求7所述的方法,其特征在于,在所述请求协助方设备发送第一数据之前,该方法还包括:
所述请求协助方设备与所述协助方设备建立连接通道;
通过所述连接通道发送所述第一数据以及接收所述第二数据。


11.根据权利要求7所述的方法,其特征在于,在所述请求协助方设备发送第一数据之前,该方法还包括:
所述请求协助方设备通过协助服务器与所述协助方设备建立连接;
通过所述协助服务器发送所述第一数据以及接收所述第二数据。


12.一种实现远程协助的方法,包括:
协助服务器接收请求协助方设备发送的第一数据,并转发给协助方设备;所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;
接收所述协助方设备发送的第二数据,并转发给所述请求协助方设备;所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。


13.根据权利要求12所述的方法,其特征在于,
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息;
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息,或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息,或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。


14.根据权利要求12所述的方法,其特征在于,在所述接收请求协助方设备发送的第一数据之前,该方法还包括:
接收所述接收请求协助方设备发送的协助请求;
为所述接收请求协助方设备分配对应的所述协助方设备,并为所述请求协助方设备和所述协助方设备建立在线连接。


15.一种实现远程协助的方法,包括:
第三方协助设备接收协助方设备发送的第一请求,所述第一请求用于请求第三方参与协助;
向协助服务器发送建立连接请求,并接收所述协助服务器发送的第一数据,所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;
发送第三数据,所述第三数据包括以下之一:所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。


16.根据权利要求15所述的方法,其特征在于,
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息;
所述第三电子白板数据为所述第三方在所述第一数据中的视频流上做的标注涂写信息,或者所述第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息,或者所述第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。


17.一种实现远程协助的方法,包括:
协助服务器接收至少一个第三方协助设备发送的建立连接请求,并向所述至少一个第三方协助设备发送第一数据;
接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据;
将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。


18.根据权利要求17所述的方法,其特征在于,
所述第一数据包括以下之一:请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据;
所述第二数据包括以下之一:所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据;
所述第三数据包括以下之一:所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。


19.根据权利要求18所述的方法,其特征在于,该方法还包括:
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息;
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息,或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息,或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息;
所述第三电子白板数据为所述至少一个第三方在所述第一数据中的视频...

【专利技术属性】
技术研发人员:苏达峰
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1