一种在网络监控中识别远程桌面语义的方法、装置和系统制造方法及图纸

本发明专利技术提出了一种在网络监控中识别远程桌面语义的方法，包括:S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地;S2.将所述的数据副本转发到语义提取服务器进行语义的提取；S3.从所述的数据副本中获取鼠标点击坐标（x0,y0），顶点确定之后就可以截取出所点击的图标元素的区域图像；S4.提取区域图像的三种特征，然后分别作为三个事先训练好的分类器，与特征库中的数据特征进行对比输出语义结果。本发明专利技术还公开了一种在网络监控中识别远程桌面语义的装置和系统。实施本发明专利技术的在网络监控中识别远程桌面语义的方法，装置和系统能够识别远程桌面语义，实现高效和低成本的远程桌面监控，用户体验度高。

【技术实现步骤摘要】

本专利技术涉及通讯领域，特别涉及一种在网络监控中识别远程桌面语义的方法、装置及其系统。
技术介绍
在网络运维中，远程桌面应用监控是非常重要的一个环节。远程桌面会话产生的日志数据通常是以视频数据的形式存储。目前的远程桌面监控方式主要通过观看监控视频获取主要信息，目前尚未存在能够识别远程桌面语义的方法。这种监控方式存在几个方面的缺点:1.视频数据占据空间大，存储资源消耗高。视频数据包含大量的冗余信息，这些冗余信息占总的日志信息的很大一部分，目前还没有好的办法消除这些冗余信息。2.视频数据的回放时间成本和人力成本高。视频数据的记录是按照自然时间的流逝进行，所以在回放时候需要花费等量的时间成本才能了解整个视频的内容。3.视频数据做不到准确定位。在未对整体记录了解之前，无法定位到某个操作发生的特定点。针对视频监控的这些缺点，有一个主要的方法进行解决。就是进行视频摘要的提取。视频摘要是把视频中的一些关键帧提取出来作为整个视频内容的描述。但是视频摘要只是减弱了视频监控的缺点，未能从根本上解决其问题。其缺点包括:1.无法实现实时的处理方式，必须进行后期处理。视频摘要的提取需要对总的视频进行分析处理。`2.视频摘要提取对硬件要求高。目前还没有非常高效的视频摘要的提取算法，如果硬件资源不足，这将是一个非常漫长的过程。3.视频摘要对于复杂变化的视频效果不显著。如果视频变化频繁，意味着关键帧的数量非常多。这样提取得到的视频摘要依然比较大量，仍然造成大量时间成本和人力成本的发生。
技术实现思路
本专利技术的目的是提供一种在网络监控中识别远程桌面语义的方法、装置及其系统，以解决上述视频监控中存在的存储空间大、效率低、无法准确定位、时间和人力成本高的缺点和问题，实现高效和低成本的远程桌面监控。解决上述问题，本专利技术采用了如下技术方案:本专利技术公开了一种在网络监控中识别远程桌面语义的方法，包括:S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；S2.将所述的数据副本转发到语义提取服务器进行语义的提取；S3.从所述的数据副本中获取鼠标点击坐标(x0，y0)，然后从该点出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；S4.提取区域图像的三种特征:颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类器，与特征库中的数据特征进行对比输出语义结果。在本专利技术所述的在网络监控中识别远程桌面语义的方法中，步骤S4后还包括以下步骤:S5.根据用户的后续输入，进行下一步的输入判断；S6.如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；如果是落在同一区域，则进入重命名状态，并输出语义结果；S7.如果输入的是“delete”键，则进入确认删除状态，输出语义结果。在本专利技术所述的在网络监控中识别远程桌面语义的方法中，所述的分类器完成第一层的语义识别处理，输出的结果是在使用关联特征类型情况下计算输入和特征库中所有语义模型之间的相似度；二层分类器会对第一层的输出结果进行过滤得到候选的结果；如果候选结果多于一个，则对候选结果执行模板匹配算法，模板为预先为每一个语义模型保存的标准图标图像，匹配的图像为输入的区域图像；步骤执行完之 后就得到了确定的一个语义结果；这个语义结果在切换到状态“选中”的时候会输入到实时监控客户端的文本监控窗口，同时保存至日志数据库中，以备以后的日志回放。在本专利技术所述的在网络监控中识别远程桌面语义的方法中，所述的特征库具有若干个文字或单词的字体的图像特征。本专利技术公开了一种在网络监控中识别远程桌面语义的装置，包括:会话数据截获单元，用于监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地；语义提取单元，用于将所述的数据副本转发到语义提取服务器进行语义的提取；边缘点查找单元，用于从所述的数据副本中获取鼠标点击坐标(x0，y0)，然后从该点出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；区域图像特征提取单元，用于提取区域图像的三种特征:颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类器，与特征库中的数据特征进行对比输出语义结果。在本专利技术所述的在网络监控中识别远程桌面语义的装置中，所述的区域图像特征提取单元后还包括以下单元:后续输入单元，用于根据用户的后续输入，进行下一步的输入判断；点击判断单元，用于如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内；如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端；如果是落在同一区域，则进入重命名状态，并输出语义结果；删除状态判断单元，用于如果输入的是“delete”键，则进入确认删除状态，输出语义结果。本专利技术公开了一种在网络监控中识别远程桌面语义的系统，包括:远程连接客户端、远程目标服务器、监控服务器、语义提取服务器、定时监控客户端，其中，所述的远程连接客户端、远程目标服务器及语义提取服务器均与监控服务器相连，所述的语义提取服务器还与定时监控客户端相连，所述的监控服务器具有上述的在网络监控中识别远程桌面语义的装置。在本专利技术所述的在网络监控中识别远程桌面语义的系统中，所述的定时监控客户端包括智能手机和/或电脑和/或智能电视。实施本专利技术的一种在网络监控中识别远程桌面语义的方法、装置及其系统，具有以下有益的技术效果:本专利技术与现有技术相比，采用本专利技术的在网络监控中识别远程桌面语义的方法，装置及封装系统，能够识别远程桌面语义，实现高效和低成本的远程桌面监控，用户体验度闻。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1本专利技术一种在网络监控中识别远程桌面语义的方法流程图；图2本专利技术一种在网络监控中识别远程桌面语义的装置构造方框图；图3是本专利技术一种在网络监控中识别远程桌面语义的系统构造方框图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术通过图像和视频分析的方法对监控日志进行处理，得到用户一系列操作的描述文本，这些描述文本能够简明扼要的表达用户在远程控制过程的一系列操作过程，监控者通过快速的浏览这些文本即能够了解用户所做的所有操作过程。请参阅图1，本专利技术的较佳实施例，一种在网络监控中识别远程桌面语义的方法，包括:S1.监控服务器将客户端和目标服务本文档来自技高网...

【技术保护点】
一种在网络监控中识别远程桌面语义的方法，其特征在于，包括:S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地;S2.将所述的数据副本转发到语义提取服务器进行语义的提取；S3.从所述的数据副本中获取鼠标点击坐标（x0,y0），然后从该点出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；S4.提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类器，与特征库中的数据特征进行对比输出语义结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：李翠微，
申请(专利权)人：广州天锐锋信息科技有限公司，
类型：发明
国别省市：