基于三维模型的交互方法、装置和系统制造方法及图纸

本发明专利技术实施例公开了一种基于三维模型的交互方法、装置、系统、电子设备和存储介质，其中，该基于三维模型的交互方法应用于第一用户终端，第一用户终端呈现有用户页面，该基于三维模型的交互方法包括：响应于检测到用户针对用户页面的目标交互操作，向为用户页面提供页面数据的服务器发送针对目标交互操作的交互请求，其中，用户页面用于呈现三维模型；接收服务器从第二用户终端获取的流媒体视频；在用户界面上呈现流媒体视频和三维模型。本发明专利技术实施例通过在终端设备的同一页面呈现流媒体视频和三维模型，有助于采用流媒体视频向用户呈现三维模型相关的信息，提高了交互方式的多样性，有助于满足用户更多元化的交互需求。

【技术实现步骤摘要】
基于三维模型的交互方法、装置和系统
本专利技术涉及流媒体技术，尤其是一种基于三维模型的交互方法、装置、系统、电子设备和存储介质。
技术介绍
相对于二维画面，三维模型可以给人以更为强烈的视觉观感。有了物体的三维数据，便可以向用户呈现该物体的任意视图，并且，视图间可以保持正确的投影关系。现有技术中，在用户终端呈现三维模型的同时，可以支持用户终端间的实时语音同屏交互，也即，在用户终端呈现三维模型的过程中，用户终端的对端用户的语音可以实时传输至该用户终端，并且，用户终端获取的语音也可以实时传输至对端。然而，现有技术中的上述交互方式较为单一，语音交互通常存在局限性。
技术实现思路
本专利技术实施例提供一种基于三维模型的交互方法、装置、系统、电子设备和存储介质，以提高基于三维模型的交互方式的多样性，满足用户更多元化的交互需求。根据本专利技术实施例的一个方面，提供的一种基于三维模型的交互方法，所述基于三维模型的交互方法应用于第一用户终端，所述第一用户终端呈现有用户页面，所述方法包括：响应于检测到用户针对所述用户页面的目标交互操作，向为所述用户页面提供页面数据的服务器发送针对所述目标交互操作的交互请求，其中，所述用户页面用于呈现三维模型，所述三维模型与第二用户终端登录的用户账号预先建立关联关系；接收所述服务器从所述第二用户终端获取的流媒体视频；在所述用户界面上呈现所述流媒体视频和所述三维模型。可选地，在本专利技术任一实施例的方法中，所述接收所述服务器从所述第二用户终端获取的流媒体视频，包括：响应于所述服务器接收到所述第二用户终端针对所述交互请求发送的交互确认信息，接收所述服务器从所述第二用户终端获取的流媒体视频。可选地，在本专利技术任一实施例的方法中，所述方法还包括：响应于所述第一用户终端的当前网速值小于或等于预设网速阈值，基于所述流媒体视频中的各帧语音，对目标用户图像进行调整，生成新视频，其中，所述新视频表征所述目标用户图像指示的用户执行所述各帧语音指示的动作；采用所述新视频替代所述流媒体视频进行呈现。可选地，在本专利技术任一实施例的方法中，所述方法还包括：基于所述流媒体视频中的图像，生成目标用户图像；或者将与所述用户账号相关联的用户图像确定为目标用户图像。可选地，在本专利技术任一实施例的方法中，所述方法还包括：响应于所述用户页面呈现有所述新视频，向所述服务器发送摄像头关闭确认信息，其中，所述摄像头关闭确认信息用于确定所述第二用户终端是否关闭摄像头。可选地，在本专利技术任一实施例的方法中，所述接收所述服务器从所述第二用户终端获取的流媒体视频，包括：将所述第一用户终端的当前网速值发送至所述服务器；接收所述服务器发送的分辨率与所述当前网速值相匹配的、所述第二用户终端获取的流媒体视频。可选地，在本专利技术任一实施例的方法中，所述方法还包括：接收所述服务器发送的模型调整信息，其中，所述模型调整信息指示使用所述第二用户终端的用户对呈现于所述第二用户终端的所述三维模型的调整操作，所述调整操作包括以下至少一项：缩放、旋转、移动、视点切换；按照所述模型调整信息指示的调整操作，对所述用户界面上呈现的所述三维模型进行相同调整操作。可选地，在本专利技术任一实施例的方法中，所述三维模型包括多个子空间场景的三维子模型，所述多个子空间场景中的子空间场景与预先确定的关键词集合中的关键词相对应；以及所述方法还包括：对所述流媒体视频中的语音进行语音识别，得到语音识别结果；响应于确定所述语音识别结果包含所述关键词集合中的关键词，在所述用户界面上呈现与所述语音识别结果包含的关键词相对应的子空间场景的三维子模型。可选地，在本专利技术任一实施例的方法中，所述方法还包括：获取用户针对所述流媒体视频的反馈信息；将所述反馈信息发送至所述服务器，其中，所述服务器用于将所述反馈信息与所述用户账号建立关联关系。根据本专利技术实施例的第二个方面，提供的一种基于三维模型的交互方法，所述基于三维模型的交互方法，应用于第二用户终端，其特征在于，所述第二用户终端登录的用户账号与三维模型预先建立关联关系，所述方法包括：所述第二用户终端登录的用户账号与三维模型预先建立关联关系，所述方法包括：响应于接收到服务器发送的交互请求，获取流媒体视频，其中，所述交互请求指示第一用户终端检测到用户针对所述第一用户终端呈现的用户页面的目标交互操作，所述用户页面用于呈现所述三维模型；向所述服务器发送所述流媒体视频，其中，所述服务器用于将所述流媒体视频发送至所述第一用户终端，以使所述第一用户终端在所述用户界面上呈现所述流媒体视频和所述三维模型。可选地，在本专利技术任一实施例的方法中，所述响应于接收到服务器发送的交互请求，获取流媒体视频，包括：响应于接收到服务器发送的交互请求，确定是否检测到用户针对所述交互请求的确认操作响应于检测到所述确认操作；响应于检测到所述确认操作，获取流媒体视频。可选地，在本专利技术任一实施例的方法中，所述方法还包括：响应于所述第一用户终端的当前网速值小于或等于预设网速阈值，从所述服务器接收摄像头关闭确认信息，以及呈现所述摄像头关闭确认信息，其中，所述摄像头关闭确认信息用于确定所述第二用户终端是否关闭摄像头。可选地，在本专利技术任一实施例的方法中，所述方法还包括：响应于从所述服务器接收到用户对呈现于所述第一用户终端的所述三维模型的调整操作，按照所述模型调整信息指示的调整操作，对所述第二用户终端呈现的所述三维模型进行相同调整操作，其中，所述调整操作包括以下至少一项：缩放、旋转、移动、视点切换。可选地，在本专利技术任一实施例的方法中，所述方法还包括：响应于检测到用户对呈现于所述第二用户终端的所述三维模型的调整操作，向所述服务器发送指示所述调整操作的模型调整信息，以使所述服务器控制所述第一用户终端按照所述模型调整信息指示的调整操作，对所述用户界面上呈现的所述三维模型进行相同调整操作，其中，所述调整操作包括以下至少一项：缩放、旋转、移动、视点切换。可选地，在本专利技术任一实施例的方法中，所述三维模型包括多个子空间场景的三维子模型，所述多个子空间场景中的子空间场景与预先确定的关键词集合中的关键词相对应；以及所述方法还包括：对所述第一用户终端获取的语音进行语音识别，得到语音识别结果；响应于确定所述语音识别结果包含所述关键词集合中的关键词，在所述用户界面上呈现与所述语音识别结果包含的关键词相对应的子空间场景的三维子模型。可选地，在本专利技术任一实施例的方法中，所述方法还包括：响应于接收到所述服务器发送的、使用所述第一用户终端的用户针对所述流媒体视频的反馈信息，执行与所述反馈信息相匹配的操作。根据本专利技术实施例的第三个方面，提供的一种基于三维模型的交互装置，该基于三维模型的交互装置设置于第一用户终端，所本文档来自技高网...

【技术保护点】
1.一种基于三维模型的交互方法，应用于第一用户终端，其特征在于，所述第一用户终端呈现有用户页面，所述方法包括：/n响应于检测到用户针对所述用户页面的目标交互操作，向为所述用户页面提供页面数据的服务器发送针对所述目标交互操作的交互请求，其中，所述用户页面用于呈现三维模型，所述三维模型与第二用户终端登录的用户账号预先建立关联关系；/n接收所述服务器从所述第二用户终端获取的流媒体视频；/n在所述用户界面上呈现所述流媒体视频和所述三维模型。/n

【技术特征摘要】
1.一种基于三维模型的交互方法，应用于第一用户终端，其特征在于，所述第一用户终端呈现有用户页面，所述方法包括：
响应于检测到用户针对所述用户页面的目标交互操作，向为所述用户页面提供页面数据的服务器发送针对所述目标交互操作的交互请求，其中，所述用户页面用于呈现三维模型，所述三维模型与第二用户终端登录的用户账号预先建立关联关系；
接收所述服务器从所述第二用户终端获取的流媒体视频；
在所述用户界面上呈现所述流媒体视频和所述三维模型。


2.根据权利要求1所述的方法，其特征在于，所述接收所述服务器从所述第二用户终端获取的流媒体视频，包括：
响应于所述服务器接收到所述第二用户终端针对所述交互请求发送的交互确认信息，接收所述服务器从所述第二用户终端获取的流媒体视频。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
响应于所述第一用户终端的当前网速值小于或等于预设网速阈值，基于所述流媒体视频中的各帧语音，对目标用户图像进行调整，生成新视频，其中，所述新视频表征所述目标用户图像指示的用户执行所述各帧语音指示的动作；
采用所述新视频替代所述流媒体视频进行呈现。


4.一种基于三维模型的交互方法，应用于第二用户终端，其特征在于，所述第二用户终端登录的用户账号与三维模型预先建立关联关系，所述方法包括：
响应于接收到服务器发送的交互请求，获取流媒体视频，其中，所述交互请求指示第一用户终端检测到用户针对所述第一用户终端呈现的用户页面的目标交互操作，所述用户页面用于呈现所述三维模型；
向所述服务器发送所述流媒体视频，其中，所述服务器用于将所述流媒体视频发送至所述第一用户终端，以使所述第一用户终端在所述用户界面上呈现所述流媒体视频和所述三维模型。


5.根据权利要求4所述的方法，其特征在于，所述响应于接收到服务器发送的交互请求，获取流媒体视频，包括：
响应于接收到服务器发送的交互请求，确定是否检测到用户针对所述交互请求的确认操作响应于检测到所述确认操作；...

【专利技术属性】
技术研发人员：郑深圳，白杰，张蕾，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：天津;12