基于智能终端的实时会议批注方法及系统技术方案

本发明专利技术公开了一种基于智能终端的实时会议批注方法及系统，本发明专利技术通过对讲者的电脑桌面进行截屏，通过相关中间处理，将图像信息实时发送到用户进行会议批注的客户端，并在客户端上进行图像渲染，然后再进行截屏或者控制方面的操作，最后对批注后的图像保存到本地。采用本发明专利技术的方案，可以有效的实现用户在本地对会议内容进行实时批注处理，解决目前实时会议软件中所出现的各种缺陷问题，让本发明专利技术的实时批注方案能够很好的服务于参会人员。

Real-time Conference Annotation Method and System Based on Intelligent Terminal

The invention discloses a real-time conference annotation method and system based on Intelligent terminal. The method transmits image information to the client for conference annotation in real time through screen capture of the speaker's computer desktop and relevant intermediate processing, and carries out image rendering on the client side, and then carries out screen capture or control operation. Finally, the annotated image is processed. Save it locally. The scheme of the present invention can effectively realize the real-time annotation processing of conference content by users, solve various defects in the current real-time conference software, and enable the real-time annotation scheme of the present invention to serve the participants well.

【技术实现步骤摘要】
基于智能终端的实时会议批注方法及系统
本专利技术属于桌面共享技术邻域，具体涉及一种基于智能终端的实时会议批注方案。
技术介绍
当前的开会模式通常是讲者通过投影仪将自己正在讲的内容投影到幕布上，而听者都要时刻盯着这个幕布去听讲，但是在一些会议室，比如圆桌型会议室，如果要时刻盯着幕布，需要转过身去，这样时间长了，会让听讲者感觉不适，另外如果听者对讲的内容想做一些自己的备注信息，也不是很方便。所以，有必要突破这种传统的开会模式，研发一种基于共享桌面技术，在局域网内实现桌面共享，客户端对相关内容进行备注和图像保存的实时会议批注系统。目前虽存在少数桌面共享软件，但是其仍然存在进一步提升的空间，比如，QQ提供了远程共享桌面的功能，但是这样的功能必须是先加为好友才能使用，而在很大可能的情况下，在实时会议时有很多人不是好友，这样这种QQ功能就不能再去使用。而其他的比如Teamviewer软件可以实现实时远程控制的功能，但是这种软件没有做实时批注功能，即客户端的功能不能真正满足需求。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供本专利技术的专利技术目的是开发一款软件，可以进行会议交流，即进行会议画面共享以及进行实时批注的功能，通过实现这样一款软件，可以提高与会者听会效率，方便与会者参与到会议中并做相关笔记以便后续交流。本专利技术的基于智能终端的实时会议批注方法，包括下列步骤：对会议讲者的电脑桌面进行有间隔的截图处理，每个间隔时段内截取固定数量的桌面截图；例如间隔时段为1秒，截取的桌面截图的数量为15张；对截取的桌面截图进行数据传输处理，传输至会议批注用户的客户端：将首张桌面截图直接传输至客户端；对非首张桌面截图，将其与前一张桌面截图进行图像数据比较，将当前桌面截图的图像变化数据传输至客户端；即若当前桌面截图与前一张桌面截图不存在图像数据变化，则不传输，跳过当前桌面截图；其中，所述图像数据比较方式具体为：对当前桌面截图和前一张桌面截图采用隔行与隔列扫描，查找到上一桌面截图中与当前桌面截图中发生像素变化第一和第二个像素点时，由当前的第一和第二个像素点得到一个图像变化矩阵，并保存当前图像变化矩阵的位置信息和图像块内容；继续对前桌面截图和前一张桌面截图采用隔行与隔列扫描，查找图像变化矩阵，直到扫描完整幅桌面截图；由所有图像变化矩阵的位置信息和图像块内容得到当前桌面截图的图像变化数据；客户端基于当前接收的图像变化数据和最近生成的重构图像进行图像重构处理，生成当前重构图像，并对当前重构图像进行图像渲染处理，实现对会议讲者的电脑桌面的实时显示，供用户在本地进行会议实时批注操作并保存；其中，若当前为首次接收图像变化数据，即不存在最近生成的重构图像，则基于当前接收的图像变化数据和接收的首张桌面截图进行图像重构处理。同时，本专利技术还公开了对应上述方法的实时会议批注系统，包括服务端和客户端；其中，服务端用于显示会议讲者的演讲内容，以及采集显示内容并实时传输至客户端；客户端用于实时显示演讲内容，以及实现实时批注操作；所述服务端包括内容显示模块、数据采集模块、数据变化比较处理模块、存储模块和数据传输模块；其中，内容显示模块用于显示会议讲者的演讲内容；数据采集模块对显示的演讲内容进行有间隔的截图处理，每个间隔时段内截取固定数量的桌面截图并存储到存储模块中；数据传输模块将存储模块中的首张桌面截图实时传输至客户端；数据变化比较处理模块实时读取存储模块中的各非首张桌面截图，并对其与前一张桌面截图进行图像数据比较，获取将当前桌面截图的图像变化数据，并通过数据传输模块将当前桌面截图的图像变化数据实时传输至客户端；所述客户端包括存储模块、图像重构模块、图像渲染处理模块、批注模块、显示模块和传输模块；其中，存储模块用于保存服务端传输的数据；传输模块用于实现与客户端的数据传输；图像重构模块用于基于当前接收的图像变化数据和最近生成的重构图像进行图像重构处理，生成当前重构图像；若不存在最近生成的重构图像，则基于当前接收的图像变化数据和接收的首张桌面截图进行图像重构处理；图像渲染处理模块，图像渲染处理模块用于对最近生成的重构图像进行渲染处理，并通过显示模块进行实时显示；若当前不存在重构图像，则直接对首张桌面截图进行渲染处理并通过显示模块进行实时显示；批注模块用于用户对当前显示的图像进行批注处理。进一步的，本专利技术的服务端和客户端还分别包括远程控制模块，其中客户端的远程控制模块用于向服务端发送远程控制请求，以及获取用户在本地的远程操控指令，通过比例缩放，计算器所述远程操控指令在服务端的操控位置，并将远程操控指令和操控位置通过本端的传输模块发送至服务端；服务端的远程控制模块用于接收客户端的远程控制请求，并接收通过远程控制请求的客户端发送的远程操控指令和操控位置，再对其(远程操控指令和操控位置)进行对应的操作后通过本端内容显示模块进行实时显示。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：采用本专利技术的方案，可以有效的实现用户在本地对会议内容进行实时批注处理，来解决目前实时会议软件中所出现的各种缺陷问题；同时，本专利技术通过采用动态分块的图像比对方法，来降低网络发送的数据量，利用隔行隔列扫描方式，能够更快的找到像素差异点，从而让本专利技术的方案具有良好的实时性，让本专利技术的方案能够很好的服务于参会人员。附图说明图1是本专利技术的会议批注系统处理过程示意图；图2是本专利技术的客户端效果示意图；图3是本专利技术的批注功能展示示意图；图4是本专利技术的实时编辑示例图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。本专利技术通过对讲者的电脑桌面进行截屏，通过相关中间处理，将图像信息进行数据发送，并在客户端上进行图像渲染，然后再进行截屏或者控制方面的操作，最后对批注后的图像保存到本地，参见图1，主要处理过程如下：(1)在服务器上进行有间隔的图像截图，为了能够降低传输的数据量，本专利技术通过采用动态分块的思想进行图像数据比较，只发送本张图像与前一张图像中发生像素变化的数据，从而可以极大的降低发送的数量，降低带宽的利用率，从而带来很好的实时性效果，具体方法是：在服务器上截取第一张图像，并将该张图像发送到客户端，同时服务器与客户端对这张图像都做一个缓存，服务器截取第二张图像，并且将第二张图像与第一张图像的像素进行比较，比较方法采用动态分块的思想，即这两张图像同时采用隔行扫描与隔列扫描的方式，去查找第一张图像与第二张图像中发生像素变化的第一个像素点，将查找到的第一个发生变化的像素点作为发生图像变化的第一个点，随之去查找另一个变化的像素点，这样通过所查找到的两个像素点可以得到一个图像矩阵，然后将这个图像矩阵的位置信息以及图像内容进行数据封装后发送到客户端上，客户端再通过其之前所保存的一张图像数据进行数据改变，然后再在UI(用户界面)上重新渲染显示，完成图像的显示工作。(2)为了实现数据渲染与数据接收的时延匹配，本专利技术在客户端上使用一个缓冲队列进行数据缓冲维护，当网络中有数据可读的时候，就将读取的数据放到缓冲队列中，当需要图像渲染的时候，就从队列中读取一张图像数据进行相关操作。为了在客户端上实现实时批注，首先在客户端上进行截屏，然后再在截屏后的图像上进行相关本文档来自技高网...

【技术保护点】
1.基于智能终端的实时会议批注方法，其特征在于，包括下列步骤：对会议讲者的电脑桌面进行有间隔的截图处理，每个间隔时段内截取固定数量的桌面截图；对截取的桌面截图进行数据传输处理，传输至会议批注用户的客户端：将首张桌面截图直接传输至客户端；对非首张桌面截图，将其与前一张桌面截图进行图像数据比较，将当前桌面截图的图像变化数据传输至客户端；其中，所述图像数据比较方式具体为：对当前桌面截图和前一张桌面截图采用隔行与隔列扫描，查找到上一桌面截图中与当前桌面截图中发生像素变化第一和第二个像素点时，由当前的第一和第二个像素点得到一个图像变化矩阵，并保存当前图像变化矩阵的位置信息和图像块内容；继续对前桌面截图和前一张桌面截图采用隔行与隔列扫描，查找图像变化矩阵，直到扫描完整幅桌面截图；由所有图像变化矩阵的位置信息和图像块内容得到当前桌面截图的图像变化数据；客户端基于当前接收的图像变化数据和最近生成的重构图像进行图像重构处理，生成当前重构图像，并对当前重构图像进行图像渲染处理，实现对会议讲者的电脑桌面的实时显示，供用户在本地进行会议实时批注操作并保存；其中，若不存在最近生成的重构图像，则基于当前接收的图像变化数据和接收的首张桌面截图进行图像重构处理。...

【技术特征摘要】
1.基于智能终端的实时会议批注方法，其特征在于，包括下列步骤：对会议讲者的电脑桌面进行有间隔的截图处理，每个间隔时段内截取固定数量的桌面截图；对截取的桌面截图进行数据传输处理，传输至会议批注用户的客户端：将首张桌面截图直接传输至客户端；对非首张桌面截图，将其与前一张桌面截图进行图像数据比较，将当前桌面截图的图像变化数据传输至客户端；其中，所述图像数据比较方式具体为：对当前桌面截图和前一张桌面截图采用隔行与隔列扫描，查找到上一桌面截图中与当前桌面截图中发生像素变化第一和第二个像素点时，由当前的第一和第二个像素点得到一个图像变化矩阵，并保存当前图像变化矩阵的位置信息和图像块内容；继续对前桌面截图和前一张桌面截图采用隔行与隔列扫描，查找图像变化矩阵，直到扫描完整幅桌面截图；由所有图像变化矩阵的位置信息和图像块内容得到当前桌面截图的图像变化数据；客户端基于当前接收的图像变化数据和最近生成的重构图像进行图像重构处理，生成当前重构图像，并对当前重构图像进行图像渲染处理，实现对会议讲者的电脑桌面的实时显示，供用户在本地进行会议实时批注操作并保存；其中，若不存在最近生成的重构图像，则基于当前接收的图像变化数据和接收的首张桌面截图进行图像重构处理。2.如权利要求1所述的方法，其特征在于，截图处理的间隔时段优选为1秒。3.如权利要求1或2所述的方法，其特征在于，每个间隔时段内截取的桌面截图的数量优选为15张。4.基于智能终端的实时会议批注系统，其特征在于，包括服务端和客户端；所述服务端包括内容显示模块、数据采集模块、数据变化比较处理模块、存储模块和数据传输模块；其中，内容显示模块用于显示会议讲者的...

【专利技术属性】
技术研发人员：邢建川，韩保祯，康亮，丁志新，孟令豪，刘佳玺，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51