System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 远程桌面的交互图像的生成方法、电子设备和存储介质技术_技高网

远程桌面的交互图像的生成方法、电子设备和存储介质技术

技术编号:41184762 阅读:2 留言:0更新日期:2024-05-07 22:17
本公开提供一种远程桌面的交互图像的生成方法、电子设备和存储介质,服务器在对图像序列进行编码的过程中,识别所述图像序列中的图像是否包含鼠标指针,若所述图像序列中的图像不包含鼠标指针,则向客户端发送用于指示所述客户端在所述图像上绘制鼠标指针的绘制鼠标通知,以使客户端在服务器传输的画面中没有鼠标指针的情况下,能够绘制本地鼠标指针。在服务器端编码的过程中,便判断出所编码的图像中是否包含了鼠标指针,若不包含鼠标指针,则通知客户端绘制本地鼠标指针,避免采集图像中包含鼠标指针且客户端直接进行本地鼠标指针绘制的双鼠标现象,使得用户看到的互动图像中只有一个鼠标指针,提高用户体验。

【技术实现步骤摘要】

本公开涉及云计算,尤其涉及远程桌面的交互图像的生成方法、电子设备和存储介质


技术介绍

1、远程桌面系统是指用户通过客户端远程访问服务器,服务器在网络一端,客户端在网络的另一端。客户端的设备通常只有一套输入输出设备和一套仅用来解码的计算装置。输入输出设备典型的如一个显示器和一套键盘鼠标。用户的键盘鼠标事件通过网络发送到服务器端,服务器端将它的计算机桌面压缩编码后通过网络发送给用户,用户端的解码装置收到码流后进行解码,将解码产生的图像通过显示器展示给用户。

2、服务器端的图像是操作系统渲染出来的,由采集模块采集,交给编码模块编码。对于一般的图像元素没有什么问题,但是鼠标是一种特殊的图像,在大部分操作系统上,鼠标指针和其他桌面图像元素不在同一个图层上,由于操作系统本身的特性,有的系统能够直接采集到鼠标指针,有的系统不能采集到。

3、通常这种情况下,客户端在解码完每帧图像后,将客户真实的鼠标画出来,叠加在解码出来的图像帧上。用户实际看到的鼠标指针一般被称为本地鼠标指针,相应的,将服务器端操作系统原生的鼠标指针称为远程鼠标指针。

4、然而,这种方式经常会出现双鼠标现象,也就是本地鼠标指针和远程鼠标指针同时出现在画面上,影响了用户的使用体验。


技术实现思路

1、本公开实施例提供一种远程桌面的交互图像的生成方法、电子设备和存储介质,能够解决远程桌面系统中,用户看到的画面中鼠标指针显示不正常的问题。所述技术方案如下:

2、根据本公开实施例的第一方面,提供一种远程桌面的交互图像的生成方法,包括:

3、在对图像序列进行编码的过程中,识别所述图像序列中的图像是否包含鼠标指针;

4、若所述图像序列中的图像不包含鼠标指针,则向客户端发送绘制鼠标通知,所述绘制鼠标通知用于指示所述客户端在所述图像上绘制鼠标指针。

5、在一个实施例中,所述在对图像序列进行编码的过程中,识别所述图像序列中的图像是否包含鼠标指针,包括:

6、在对图像序列进行编码的过程中,检测是否发生鼠标移动事件;

7、若检测到发生鼠标移动事件,则识别所述图像序列中的图像是否包含鼠标指针。

8、在一个实施例中,所述若检测到发生鼠标移动事件,则识别所述图像序列中的图像是否包含鼠标指针,包括:

9、若检测到发生鼠标移动事件,则获取第一个图像组,所述第一个图像组中包含从发生鼠标移动事件的开始时刻起,对应的连续n帧图像,n为大于1的整数;

10、识别所述第一个图像组中的图像中是否包含鼠标指针;

11、所述若所述图像序列中的图像不包含鼠标指针,则向客户端发送绘制鼠标通知,包括:

12、若所述第一个图像组中的图像中均不包含鼠标指针,则向客户端发送绘制鼠标通知。

13、在一个实施例中,所述识别所述第一个图像组中的图像中是否包含鼠标指针,包括:

14、获取所述第一个图像组中每帧图像对应的鼠标位置信息;

15、对所述识别所述第一个图像组中后n-1帧图像中的每帧目标图像分别进行如下处理:

16、根据目标图像对应的鼠标位置信息和所述目标图像的前一帧图像对应的鼠标位置信息,确定鼠标移动区域;

17、判断所述目标图像中的鼠标移动区域与所述目标图像的前一帧图像中的鼠标移动区域之间对应位置的像素是否相同;

18、若所述目标图像中的鼠标移动区域与所述目标图像的前一帧图像中的鼠标移动区域之间对应位置的像素相同,则确定所述目标图像中不存在鼠标指针;

19、所述如果所述第一个图像组中的图像中均不包含鼠标指针,则向客户端发送绘制鼠标通知,包括:

20、若所述第一个图像组中后n-1帧图像中的每帧图像中不存在鼠标指针,则向客户端发送绘制鼠标通知。

21、在一个实施例中,所述方法还包括:

22、若所述目标图像中的鼠标移动区域与所述目标图像的前一帧图像中的鼠标移动区域之间对应位置的像素不完全相同,且所述目标图像中的鼠标移动区域与所述目标图像的前一帧图像中的鼠标移动区域之间存在全局运动向量,则确定所述目标图像中存在鼠标指针;

23、若所述第一个图像组中后n-1帧图像中的每帧图像中存在鼠标指针,则确定所述第一个图像组已经绘制鼠标指针。

24、在一个实施例中,所述方法还包括:

25、若所述第一个图像组中后n-1帧图像中的所有图像中存在不包含鼠标指针的图像,则识别所述第一个图像组之后的目标图像组中的图像是否包含鼠标指针;

26、若所述目标图像组中的图像均不包含鼠标指针,则向客户端发送绘制鼠标通知;

27、若所述目标图像组中的图像中的部分或者全部包含鼠标指针,则将所述目标图像组的下一个图像组作为目标图像组,返回执行识别所述目标图像组中的图像是否包含鼠标指针,直到所述目标图像组中的图像均不包含鼠标指针,或者对所述第一个图像组之后的连续m个图像组进行了处理为止,m为大于1的整数。

28、在一个实施例中,所述方法还包括:

29、若所述图像序列中的图像包含鼠标指针,则向所述客户端发送不绘制鼠标通知,所述不绘制鼠标通知用于指示所述客户端无需在所述图像上绘制鼠标指针。

30、根据本公开实施例的第二方面,提供一种远程桌面的交互图像的生成方法,包括:

31、在对码流进行解码的过程中,若接收到编码设备发送的绘制鼠标通知,则在解码出的图像上绘制鼠标指针,所述绘制鼠标通知是编码设备在对图像序列进行编码的过程中,识别出所述图像序列中的图像不包含鼠标指针以后生成的。

32、根据本公开实施例的第三方面,提供一种电子设备,包括处理器和存储器,存储器中存储有至少一条计算机指令,指令由处理器加载并执行以实现第一方面以及第一方面的任一实施例所描述的远程桌面的交互图像的生成方法中所执行的步骤。

33、根据本公开实施例的第四方面,提供一种电子设备,包括处理器和存储器,存储器中存储有至少一条计算机指令,指令由处理器加载并执行以实现第二方面以及第二方面的任一实施例所描述的远程桌面的交互图像的生成方法中所执行的步骤。

34、根据本公开实施例的第五方面,提供一种计算机可读存储介质,存储介质中存储有至少一条计算机指令,指令由处理器加载并执行以实现第一方面以及第一方面的任一实施例所描述的远程桌面的交互图像的生成方法中所执行的步骤。

35、根据本公开实施例的第六方面,提供一种计算机可读存储介质,存储介质中存储有至少一条计算机指令,指令由处理器加载并执行以实现第二方面以及第二方面的任一实施例所描述的远程桌面的交互图像的生成方法中所执行的步骤。

36、本公开实施例提供的远程桌面的交互图像的生成方法、电子设备和存储介质,服务器在对图像序列进行编码的过程中,识别所述图像序列中的图像是否包含鼠标指针,也就是服务器在编码的过程中在图像上生成的远程鼠标本文档来自技高网...

【技术保护点】

1.一种远程桌面的交互图像的生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在对图像序列进行编码的过程中,识别所述图像序列中的图像是否包含鼠标指针,包括:

3.根据权利要求2所述的方法,其特征在于,所述若检测到发生鼠标移动事件,则识别所述图像序列中的图像是否包含鼠标指针,包括:

4.根据权利要求3所述的方法,其特征在于,所述识别所述第一个图像组中的图像中是否包含鼠标指针,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种远程桌面的交互图像的生成方法,其特征在于,包括:

9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有至少一条计算机指令,所述指令由所述处理器加载并执行以实现权利要求1至权利要求7任一项,或者权利要求8所述的远程桌面的交互图像的生成方法中所执行的步骤。

10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条计算机指令,所述指令由处理器加载并执行以实现权利要求1至权利要求7任一项,或者权利要求8所述的远程桌面的交互图像的生成方法中所执行的步骤。

...

【技术特征摘要】

1.一种远程桌面的交互图像的生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在对图像序列进行编码的过程中,识别所述图像序列中的图像是否包含鼠标指针,包括:

3.根据权利要求2所述的方法,其特征在于,所述若检测到发生鼠标移动事件,则识别所述图像序列中的图像是否包含鼠标指针,包括:

4.根据权利要求3所述的方法,其特征在于,所述识别所述第一个图像组中的图像中是否包含鼠标指针,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

【专利技术属性】
技术研发人员:张路
申请(专利权)人:西安万像电子科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1