一种面向远程操控的鼠标与回传画面的同步方法及系统技术方案

本发明专利技术公开了一种面向远程操控的鼠标与回传画面的同步方法及系统，其通过对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面，实现鼠标与回传画面的同步。采用该方法不仅可以让管理人员在参考重绘后的回传画面进行远程操控时，提高眼手配合度的体验感，而且不会影响受控端主机实时画面上的鼠标光标移动，不改变受控端主机原来的工况。原来的工况。原来的工况。

【技术实现步骤摘要】
一种面向远程操控的鼠标与回传画面的同步方法及系统


[0001]本专利技术涉及远程操控及视频传输
，尤其是涉及一种面向远程操控的鼠标与回传画面的同步方法及系统。

技术介绍

[0002]随着音视频编解码技术和人机交互技术的发展，远程操控技术在分布式坐席管理、协同办公及桌面共享等领域得到了广泛应用。当前基于IP的远程操控技术,主要是通过对键盘鼠标信号和主机的视频信号分别进行编码传输及远端解码，实现管理人员在不同地理位置可通过键鼠来异地操控远端计算机，从而减少系统内站位值守的人员配置，提高系统调度的实时响应。
[0003]由于在通过键鼠进行远程操控时，管理人员需要将远端主机的回传画面作为参考画面,因此键鼠与回传画面的同步性非常重要。尤其是鼠标的移动会产生回传画面的连续变化，鼠标光标是否能够及时到达目标点，管理人员的动作幅度需要多大，这些在很大程度上决定了远程操控的体验感。
[0004]进一步地，回传画面的鼠标光标的实时性能主要取决于以下两个方面:远端受控主机鼠标光标的画面实时性和经过编码、传输和解码后的受控主机在本地的回传画面实时性。
[0005]键鼠和视频画面的数据编解码流向如图1所示。键鼠信号编码及传输在局域网内一般为约5～20ms，这个延时对操控者而言基本是可以忽略感觉不到的。而高清视频画面在60fps通过编码、网络传输、解码延时约100ms左右，4K画面延时甚至可达200ms。这就造成了受控端主机画面的鼠标光标实际已到位而回传画面看到的鼠标光标滞后的情况出现。当回传画面与受控端主机实时画面延时相差过大时，用户通过本地鼠标操控远程主机时，就容易产生回传画面上的鼠标光标并不能随心所欲移动到目标位置，存在延迟滞后、不易对准等现象。因此如何解决回传画面延时与鼠标光标实际移动速度的同步问题，是提高远程操控体验感的关键问题。
[0006]目前未找到专门针对提高鼠标和回传画面实时性的相关专利。从技术角度而言，为了达到该目的，通常采用减小回传画面的延时的方法来提高回传画面与鼠标的同步性。目前减小画面传输延时主要有如下两类技术途径：
[0007]1、从视频编码技术上减小延时，如目前主流的浅压缩技术，还有光纤视频传输技术。如“一种可远程操控主机的显示器”，申请号：201621043186.X,采用同轴光纤将KVM接口信号调制实现远距离传输，虽然受控主机回传画面具有较高的实时性，但没有进行视频压缩，也不支持基于IP交换的分布式架构，属于传统的视频信号延长处理方法，无法实现音视频数据与IP数据同传；浅压缩的流量也基本在300M左右，对系统架构、应用灵活性上存在较大的限制。
[0008]2、采用提高视频流网络通信效率方式来减小回传画面的延时。在专利“一种实现零拷贝发送流媒体数据的方法和系统”(申请号：2008101429.2)，“一种流媒体解码方法、系
统及移动终端”(申请号：201310122798.2)，主要通过优化网络协议栈或共享内存等方式，对视频报文的字段进行识别、协议卸载等优化处理，该方法主要从软件角度减少网络报文进出栈和拷贝的次数，来提高视频传输实时性，但对视频编码、解码延时没法进行优化，而且网络性能与硬件平台相关性较大，提升能力有限。

技术实现思路

[0009]本专利技术提出一种面向远程操控的鼠标与回传画面的同步方法及系统，以克服上述技术不足。
[0010]为达到上述技术目的，本专利技术的技术方案第一方面提供一种面向远程操控的鼠标与回传画面的同步方法，其包括如下步骤：
[0011]对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；
[0012]在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；
[0013]对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。
[0014]本专利技术第二方面提供一种面向远程操控的鼠标与回传画面的同步系统，其包括如下功能模块：
[0015]原始坐标获取模块，用于对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；
[0016]目的坐标迁移模块，用于在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；
[0017]象素处理输出模块，用于对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。
[0018]本专利技术第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种面向远程操控的鼠标与回传画面的同步方法的步骤。
[0019]本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种面向远程操控的鼠标与回传画面的同步方法的步骤。
[0020]与现有技术相比，本专利技术所述一种面向远程操控的鼠标与回传画面的同步方法及系统，其通过在操控端对接收到的来自受控端的回传画面进行解码及图像识别处理，得到回传画面中鼠标光标的原始坐标，并结合操控端截取到的鼠标位移命令来修改对应象素点进行重绘回传画面，实现鼠标与回传画面的同步。
[0021]采用该方法不仅可以让管理人员在参考重绘后的回传画面进行远程操控时，提高眼手配合度的体验感，而且不会影响受控端主机实时画面上的鼠标光标移动，不改变受控端主机原来的工况。
附图说明
[0022]图1是键鼠和视频画面的数据编解码流向的示意图；
[0023]图2是本专利技术实施例所述一种面向远程操控的鼠标与回传画面的同步方法的流程框图；
[0024]图3是本专利技术实施例所述远程操控应用示意图；
[0025]图4是图1中步骤S1的子流程框图；
[0026]图5是图1中步骤S1的另一子流程框图；
[0027]图6是图1中步骤S2的子流程框图；
[0028]图7是本专利技术实施例所述回传画面重绘过程图；
[0029]图8是本专利技术实施例所述一种面向远程操控的鼠标与回传画面的同步系统的模块框图。
具体实施方式
[0030]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0031]基于上述内容，本专利技术实施例提供一种面向远程操控的鼠标与回传画面的同步方法，如图2所示，其包括如下步骤：
[0032]S1、对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标。
[0033]如图3所示，本专利技术实施例中，在操控端的视频编码器及视频解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向远程操控的鼠标与回传画面的同步方法，其特征在于，包括如下步骤：对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；在操控端截取并解析鼠标的操控命令，得到对应鼠标光标的目的坐标，将主机画面中的鼠标光标对应象素点从原始坐标迁移到目的坐标；对主机画面中鼠标光标的原始坐标的象素点进行插值处理，将处理后的主机画面进行显示输出，作为操控时的参考画面。2.根据权利要求1所述一种面向远程操控的鼠标与回传画面的同步方法，其特征在于，所述对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；具体包括如下内容：对受控端传回的回传画面进行解码，得到主机画面的原始图像；预设的鼠标光标特征，自当前最新回传画面帧中分割得到鼠标光标的原始轮廓；在当前回传画面帧中提取关于鼠标光标属性的图像截片区域，并记录鼠标光标的原始象素点坐标MS(X，Y)及YUV分量∑Yuv(x,y)。3.根据权利要求1所述一种面向远程操控的鼠标与回传画面的同步方法，其特征在于，所述对受控端传回的回传画面进行解码，得到主机画面的原始图像，并自主机画面的原始图像中获取鼠标光标的原始坐标；具体包括如下内容：对受控端传回的回传画面进行解码，得到主机画面的原始图像；对比最新收到并解码后的三帧连续图像的差值，得到回传画面中移动目标的运动轨迹；将移动目标的运动轨迹与预设的鼠标光标特征结合，自当前最新回传画面帧中分割得到鼠标光标的原始轮廓；在当前回传画面帧中提取关于鼠标光标属性的图像截片区域，并记录鼠标光标的原始象素点坐标MS(X，Y)及YUV分量∑Yuv(x,y)。4.根据权利要求2或3所述一种面向远程操控的鼠标与回传画面的同步方法，其特征在于，所述在操控端截取并解析鼠标的操控命令，得到...

【专利技术属性】
技术研发人员：陈敏，林晖，赵恢寿，沈艳，张少锋，
申请(专利权)人：中国船舶重工集团公司第七零九研究所，
类型：发明
国别省市：