物联网视频远程控制方法及系统技术方案

本发明专利技术提供了一种物联网视频远程控制方法及系统，方法包括：网络服务器，图像处理服务器，远程控制服务器，RTMP推流服务器，通过网络服务器实现对网络摄像头以及远程控制平台的直接操作，以及通过html页面或者flash技术在浏览器界面中实现视频画面与虚拟界面的动态融合，实现虚拟界面元件跟随视频画面的变化而变化。实现了用户在网页中直接对网络摄像机和物理硬件的操作，以及视频画面与虚拟界面在网页中的融合。本平台兼顾了物联网远程控制中视频画面的临场感以及虚拟界面的低延时性，提高了用户体验，系统的用户交互部分完全通过Web平台实现，具有可移植性好易于推广的特点。

【技术实现步骤摘要】
物联网视频远程控制方法及系统
本专利技术涉及物联网，视频远程控制领域，特别指一种基于互联网架构，通过图像处理技术将虚拟界面与视频画面动态融合，实现用户通过浏览器在视频画面直接进行监控以及远程操作的物联网视频远程控制方法及系统。
技术介绍
当前物联网远程控制主要应用在大规模工业生产中，实现方式主要是采用虚拟界面，用虚拟开关，度量表，虚拟图表等表示真实变量的状态。或者采用组态模块进行控制变量的表示，比较常用的比如LabVIEW等。除此之外这些软件也可以实现视频的嵌入，通过这种方式用户除了可以观察虚拟界面中变量的状态之外，还可以更直观的观察硬件设备当前的状态。提高用户的临场体验。但是采用这种方式的远程控制系统存在一些问题，首先是互联网应用方面，这种方式搭建的网络控制系统一般需要在客户端安装软件从而实现远端访问，或者开发ActiveX控件，通过浏览器加载插件的方式实现客户端的功能。但是ActiveX控件又存在一定局限性，首先是难以实现手机端等类似移动终端设备的访问，其次是ActiveX控件对终端浏览器，计算机配置以及浏览器安全等级有一定要求，在大范围使用过程中存在很多不便。同时在视频监控领域，对于网络远端监控摄像机的访问大都采用RTSP/RTMP协议，对于这一类网络摄像机的访问，同样也会存在第三方ActiveX控件所带来的安全和兼容性问题，为了解决这一问题，实现基于html网页技术的网络监控摄像机的控制，可以采用视频系统与远程控制系统分离设计，服务器中包含Web服务器与摄像机控制服务器，摄像机控制服务器由摄像机SDK开发包实现，专门用于与摄像机有关的数据传递，而Web服务器负责除摄像机外的其他数据传递，以及通过SOCKET通讯接口调用摄像机服务器中相关数据并将全部信息整合用于用户交互。但是采用这种方案时，用户端与网络摄像机之间包含了Web服务器和摄像机控制服务器两个服务器的消息转发，这样在时延消除和系统可靠性上都会有所欠缺。除此之外，不管是基于组态软件还是基于网络摄像机SDK所开发的视频远程控制系统，视频画面只是起到监控的作用。尤其在摄像机视角变化时，画面中的实体元件与虚拟界面中组态模块无法一一对应。视频画面与虚拟界面无法有效的动态融合。所以在此类远程控制系统中，视频只是辅助，虚拟界面是用户交互的关键。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术的主要目的在于基于Web服务器以及图像处理机器学习技术提供一种通用的、便于移植的视频监控远程控制方法及系统。通过Web服务器实现对摄像头以及远程控制平台的直接操作，以及通过html页面或者flash技术在浏览器界面中实现视频画面与虚拟界面的动态融合，实现虚拟界面元件跟随视频画面的变化而变化。为实现上述技术效果，本专利技术的第一方面提供了一种物联网视频远程控制方法的实施例，其包括：获取来自用户交互页面的控制指令，所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面；将所述控制指令传输至远程控制服务器，以指示所述远程控制服务器根据所述控制指令操作执行机构；响应于所述控制指令，调用网络摄像机接口向网络摄像机发送拍摄指令，以指示所述网络摄像机执行拍摄操作；获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息，并根据所述图像偏移信息修改用户交互页面中的虚拟界面，使虚拟界面中的执行机构与视频画面中的执行机构保持一致；以及在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。在一些实施例中，所述方法还包括：生成用户交互页面；并且其中，所述获取来自用户交互页面的控制指令，包括：响应于生成的所述用户交互页面接收到控制指令，获取所述控制指令。在一些实施方式中，所述将所述控制指令传输至远程控制服务器，以指示所述远程控制服务器根据所述控制指令操作执行机构，还包括：获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据；所述方法还包括：获取查询请求；并且，根据所述查询请求，对所述实时操作数据进行数据处理，在所述用户交互页面展示经数据处理的所述实时操作数据。在一些实施方式中，本专利技术方法还包括：通过一推流服务器采集所述网络摄像机拍摄的视频画面的画面码流，并向所述用户交互页面进行推流，以展示所述视频画面。在一些实施方式中，所述获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息，包括：通过一图像处理服务器周期性获取视频画面，对虚拟界面中预先设置的执行机构重新进行定位与标定，并与预先设置的执行机构的定位与标定进行比对，获取图像偏移信息。本专利技术的第二方面提供了一种物联网视频远程控制系统的实施例，其包括：获取模块，用于获取来自用户交互页面的控制指令，所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面；传输模块，用于将所述控制指令传输至远程控制服务器，以指示所述远程控制服务器根据所述控制指令操作执行机构；调用模块，用于响应于所述控制指令，调用网络摄像机接口向网络摄像机发送拍摄指令，以指示所述网络摄像机执行拍摄操作；界面交互模块，用于获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息，并根据所述图像偏移信息修改用户交互页面中的虚拟界面，使虚拟界面中的执行机构与视频画面中的执行机构保持一致；以及展示模块，用于在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。在一些实施方式中，本专利技术系统还包括：一页面生成模块，用于生成用户交互页面；并且，所述获取模块还用于：响应于生成的所述用户交互页面接收到控制指令，获取所述控制指令。在一些实施方式中，本专利技术系统还包括：一数据库管理模块，用于获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据；并且，所述获取模块还用于：获取查询请求，并根据所述查询请求，对所述实时操作数据进行数据处理，在所述用户交互页面展示经数据处理的所述实时操作数据。在一些实施方式中，本专利技术系统还包括：一推流服务器，用于采集所述网络摄像机拍摄的视频画面的画面码流，并向所述用户交互页面进行推流，以展示所述视频画面。在一些实施方式中，本专利技术系统还包括一图像处理服务器，用于周期性获取视频画面，对虚拟界面中预先设置的执行机构重新进行定位与标定，并与预先设置的执行机构的定位与标定进行比对，得到图像偏移信息。本专利技术由于采用以上技术方案，具有以下优点：由于视频部分采用网络摄像机，并通过发送控制指令可以直接对网络摄像机进行控制，无需中间服务器进行指令转发，使用户可以在用户交互页面中直接观看视频画面并在用户交互页面中完成对网络摄像机以及执行机构的一系列操作。避免了采用通常网络监控所需要的安装软件或在网页中嵌入ActiveX控件，从而避免了ActiveX控件的浏览器兼容问题和安全问题。同时本专利技术方法通过图像处理技术实现了对于视频图像中执行机构的识别，在用户交互页面中可以将视频画面中执行机构(如按钮等)用特殊符号标记，在网络摄像机移动的情况下这些标记在画面中同步移动，实现了用户交互页面中真实的视频画面与虚拟界面的融合，相比于纯粹的虚拟界面极大的提高用户临场体验。同时由于这一方法可直接在浏览器中运行，系统更新只需在网络服务器中进行，系统维护更为便利。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对本文档来自技高网...

【技术保护点】
一种物联网视频远程控制方法，其特征在于，包括：获取来自用户交互页面的控制指令，所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面；将所述控制指令传输至远程控制服务器，以指示所述远程控制服务器根据所述控制指令操作执行机构；响应于所述控制指令，调用网络摄像机接口向网络摄像机发送拍摄指令，以指示所述网络摄像机执行拍摄操作；获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息，并根据所述图像偏移信息修改用户交互页面中的虚拟界面，使虚拟界面中的执行机构与视频画面中的执行机构保持一致；以及在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。

【技术特征摘要】
1.一种物联网视频远程控制方法，其特征在于，包括：获取来自用户交互页面的控制指令，所述用户交互页面包括视频画面和供用户交互的执行机构的虚拟界面；将所述控制指令传输至远程控制服务器，以指示所述远程控制服务器根据所述控制指令操作执行机构；响应于所述控制指令，调用网络摄像机接口向网络摄像机发送拍摄指令，以指示所述网络摄像机执行拍摄操作；获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息，并根据所述图像偏移信息修改用户交互页面中的虚拟界面，使虚拟界面中的执行机构与视频画面中的执行机构保持一致；以及在所述用户交互页面展示所述网络摄像机拍摄的所述视频画面和经修改的所述虚拟界面。2.如权利要求1所述的物联网视频远程控制方法，其特征在于，所述方法还包括：生成用户交互页面；并且其中，所述获取来自用户交互页面的控制指令，包括：响应于生成的所述用户交互页面接收到控制指令，获取所述控制指令。3.如权利要求1所述的物联网视频远程控制方法，其特征在于，所述将所述控制指令传输至远程控制服务器，以指示所述远程控制服务器根据所述控制指令操作执行机构，还包括：获取并保存来自所述远程控制服务器的操作所述执行机构的实时操作数据；所述方法还包括：获取查询请求；并且，根据所述查询请求，对所述实时操作数据进行数据处理，在所述用户交互页面展示经数据处理的所述实时操作数据。4.如权利要求1所述的物联网视频远程控制方法，其特征在于，所述方法还包括：通过一推流服务器采集所述网络摄像机拍摄的视频画面的画面码流，并向所述用户交互页面进行推流，以展示所述视频画面。5.如权利要求1～4中任一项所述的物联网视频远程控制方法，其特征在于，所述获取所述网络摄像机拍摄的视频画面中的执行机构的图像偏移信息，包括：通过一图像处理服务器周期性获取视频画面，对虚拟界面中预先设置的执行机构重新进行定位与标定，并与预先设置的执行机构的定...

【专利技术属性】
技术研发人员：王元，田作华，
申请(专利权)人：王元，
类型：发明
国别省市：黑龙江,23