一种基于多特征识别的交互方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种基于多特征识别的交互方法、装置以及计算机设备，其中，该方法包括：获取目标设备的目标视频流数据；根据目标视频流数据调用目标设备的三维模型；将三维模型的数据发送至远端设备；接收远端设备反馈的三维模型的变化增量信息；根据变化增量信息显示三维模型的变化。通过实施本发明专利技术，解决了相关技术中存在的远程维修维护的作业无法准确、有效的问题，结合根据目标视频流数据生成的三维模型，以及接收到的远端设备反馈的变化增量信息，可以使现场设备获取到准确的指导信息，实现了增强现实方式和电力设备三维模型的远程虚实融合的交互。

【技术实现步骤摘要】
一种基于多特征识别的交互方法、装置及计算机设备
本专利技术涉及流媒体以及信息通信领域，具体涉及一种基于多特征识别的交互方法、装置及计算机设备。
技术介绍
随着互联网、信息通信及5G通信技术的发展，音视频流通话技术主要经历了本地模拟信号音视频系统、基于PC的多媒体远程协助系统、基于Web服务器的远程音视频协作系统、基于移动端的音视频协作系统等四个发展阶段。目前音视频流通话技术发展正处于基于移动端的音视频协作系统(音视频通话)的阶段。而随着科技发展，对协作方式也提出了更高的要求。相关技术中远程视频通话的协作方式仍存在较大局限性，具体来说，电力企业作为关系能源安全和国计民生的公共服务企业，具备电网输变配巡视、检修、应急抢修等作业现场，电力设备类型多且操作复杂、新问题不断涌现且识别处理难度大，处理时需要跨班组及跨工区协同作业以及需要技术专家或设备制造厂商远程支持，而相关技术中，提供远程支持的方式多为通过普通视频通话实现，由于远端使用视频通话设备所采集的视频的视角相对有限，很可能无法实现以相同视角对现场进行实时指导操作，从而导致远程维修维护的作业本文档来自技高网...

【技术保护点】
1.一种基于多特征识别的交互方法，其特征在于，包括：/n获取目标设备的目标视频流数据；/n根据所述目标视频流数据调用所述目标设备的三维模型；/n将所述三维模型的数据发送至远端设备；/n接收所述远端设备反馈的所述三维模型的变化增量信息。/n

【技术特征摘要】
1.一种基于多特征识别的交互方法，其特征在于，包括：
获取目标设备的目标视频流数据；
根据所述目标视频流数据调用所述目标设备的三维模型；
将所述三维模型的数据发送至远端设备；
接收所述远端设备反馈的所述三维模型的变化增量信息。


2.根据权利要求1所述的方法，其特征在于，还包括：
根据所述变化增量信息显示所述三维模型的变化；
根据所述三维模型的变化控制所述目标设备。


3.根据权利要求1所述的方法，其特征在于，所述获取目标设备的目标视频流数据，包括：
采集并发送目标区域内目标设备的初始视频流数据；
接收所述远端设备发送的初始关键帧；
根据所述初始关键帧，确定目标关键帧；
根据所述目标关键帧，获取目标设备的目标视频流数据。


4.根据权利要求3所述的方法，其特征在于，所述根据所述初始关键帧，确定目标关键帧，包括：
提取所述初始视频关键帧中的颜色特征信息、纹理特征信息以及运动特征信息；
将所述颜色特征信息、纹理特征信息以及运动特征信息融合，分别计算各初始视频关键帧的相似度；
根据各初始视频关键帧的相似度，确定候选视频关键帧；
根据预设自适应算法，确定目标关键帧。


5.根据权利要求4所述的方法，其特征在于，所述根据所述目标关键帧，获取目标设备的目标视频流数据，包括：
获取第一视频流数据；
根据预设光流法识别所述第一视频流数据中的第一特征点，以及识别所述目标关键帧中的第二特征点；
当所述第一特征点与所述第二特征点的相似度大于预设相似阈值时，确定所述第一视频流数据与所述目标关键帧匹配；
当所述第一视频流数据与所述目标关键帧匹配时，将所述第一视频流确定为目标设备的目标视频流数据。


6.根据权利要求5所述的方法，其特征在于，还包括：
根据所述第一特征点以及预设相对距离，确定所述目标关键帧的第一中心位置；
根据所述第二特征点以及预设相对距离，确定所述第一视频流数据的第二中心位置...

【专利技术属性】
技术研发人员：侯战胜，宋金根，孙世军，
申请(专利权)人：全球能源互联网研究院有限公司，国家电网有限公司，国网浙江省电力有限公司，国网山东省电力公司，
类型：发明
国别省市：北京;11